DeepSix giới thiệu kiến trúc AI thế hệ tiếp theo 'mHC' vượt qua liên kết residual

Nguồn: TokenPost Tiêu đề gốc: 中 딥시크, 잔차 연결 넘는 차세대 AI 아키텍처 ‘mHC’ 공개 Liên kết gốc: https://www.tokenpost.kr/news/ai/320188 DeepSeek( của tổ chức nghiên cứu AI Trung Quốc DeepSeek) đã công bố một kiến trúc mới có thể nâng cao đáng kể hiệu suất học tập trí tuệ nhân tạo thế hệ tiếp theo. Được đặt tên là ‘mHC(Manifold-Constrained Hyper-Connections)’, công nghệ này vượt qua phương pháp ‘kết nối dư(residual connection)’ cần thiết trong các mô hình ngôn ngữ lớn(LLM) và mô hình nhận thức thị giác, nâng cao độ chính xác học tập cũng như hiệu quả phần cứng, nhận được đánh giá tích cực.

mHC là phương pháp cải tiến từ công nghệ ‘siêu kết nối(Hyper-Connections)’ truyền thống. Siêu kết nối giúp truyền tải thông tin giữa các lớp(layer) của mô hình học sâu một cách hiệu quả hơn, nhưng trong thực tế vận hành lại bị hạn chế bởi nhiều giới hạn kỹ thuật. DeepSeek đã vượt qua giới hạn này bằng cách kết hợp khái niệm ‘mạng đa chiều(manifold)’. Mạng đa chiều là không gian có cấu trúc nhiều lớp về mặt toán học, từ hình tròn đơn giản đến các cấu trúc phức tạp vượt quá 3 chiều. DeepSeek giải thích rằng mHC sử dụng cấu trúc dựa trên mạng đa chiều này để đảm bảo tính ổn định và nhất quán của tín hiệu đạo hàm(tín hiệu lan truyền ngược lỗi) trong quá trình huấn luyện mô hình.

Để kiểm chứng hiệu suất của kiến trúc này, DeepSeek đã huấn luyện ba loại LLM có số tham số lần lượt là 3 tỷ, 9 tỷ và 27 tỷ theo cấu trúc mHC, và so sánh với các mô hình cùng cấu hình dựa trên siêu kết nối. Kết quả cho thấy các mô hình mHC đạt hiệu suất vượt trội trên tổng cộng 8 tiêu chuẩn đánh giá. Đặc biệt, về mặt yêu cầu bộ nhớ, mô hình này cho phép huấn luyện hiệu quả hơn so với cấu trúc cũ, đồng thời chi phí phần cứng trong quá trình huấn luyện chỉ chiếm khoảng 6.27%.

Các nhà nghiên cứu của DeepSeek nhấn mạnh: “Hiểu sâu hơn về mối quan hệ giữa cấu trúc hình học của mạng đa chiều và thuật toán tối ưu sẽ giúp mHC vượt qua giới hạn hiện tại của các mô hình AI và mở ra con đường mới cho thiết kế hạ tầng dựa trên nền tảng này.”

Thông báo này thu hút sự chú ý vì xuất hiện trong bối cảnh toàn cầu đang xem xét lại các kiến trúc học tập AI gần đây. Phương pháp kết nối dư từ năm 2015 đã được sử dụng rộng rãi trong các mô hình LLM và phân loại hình ảnh. Cấu trúc này truyền tín hiệu lỗi từ lớp cuối cùng ngược trở lại các lớp trước để truyền tải thông tin huấn luyện, đồng thời giúp giảm thiểu hiện tượng biến dạng thông tin xảy ra trong quá trình này.

Tuy nhiên, khi các mô hình AI ngày càng trở nên siêu lớn, giới hạn của kết nối dư đã lộ rõ, và nhiều nỗ lực cải tiến đã được thực hiện. mHC của DeepSeek là công nghệ mới nhất trong bối cảnh này, được dự đoán sẽ góp phần trực tiếp nâng cao hiệu quả huấn luyện mô hình, nền tảng của toàn bộ ngành công nghiệp AI.