DeepSix, нова архітектура AI наступного покоління, що перевищує з'єднання Residual, представлена

Джерело: TokenPost Оригінальна назва: 中 딥시크, 잔차 연결 넘는 차세대 AI 아키텍처 ‘mHC’ 공개 Оригінальне посилання: https://www.tokenpost.kr/news/ai/320188 Китайський дослідницький центр AI DeepSeek(DeepSeek) оголосив про нову архітектуру, яка значно підвищує продуктивність навчання наступного покоління штучного інтелекту. Технологія під назвою ‘mHC(Manifold-Constrained Hyper-Connections)’ є структурою, що перевищує традиційний метод ‘залишкових з’єднань(residual connection)’, який є необхідним для великих мовних моделей(LLM) та моделей зорового сприйняття. Вона підвищує точність навчання та ефективність апаратного забезпечення.

mHC є покращеною версією існуючої технології ‘гіпер-зв’язків(Hyper-Connections)’. Гіпер-зв’язки допомагають більш ефективно передавати інформацію між шарами(layer) в глибоких моделях, але через технічні обмеження вони не отримали широкого застосування в реальних умовах. DeepSeek подолав цей обмеження, поєднавши його з концепцією ‘маніфольду(manifold)’. Маніфольд — це математична структура багатошарових просторів, що може бути простим колом або складною структурою з понад трьома вимірами. DeepSeek пояснив, що mHC використовує цю структуру для забезпечення стабільності та послідовності градієнтів(помилка зворотного поширення) під час навчання моделей.

Для перевірки ефективності архітектури DeepSeek навчила три типи LLM з 30 мільярдами, 90 мільярдами та 270 мільярдами параметрів у структурі mHC, а також провела порівняльні експерименти з моделями того ж розміру, побудованими на основі гіпер-зв’язків. За результатами, моделі з структурою mHC показали стабільно кращі результати у 8 бенчмарках. Особливо відзначається більш ефективне використання пам’яті та зменшення апаратних накладних витрат під час тренування до 6.27%.

Команда DeepSeek підкреслює, що “глибше розуміння зв’язку між топологічною структурою маніфольду та алгоритмами оптимізації дозволить mHC подолати сучасні обмеження AI-моделей і відкрити нові шляхи для розробки інфраструктури наступного покоління”.

Ця новина привертає увагу у контексті глобального перегляду архітектур AI, що відбувається останнім часом. Традиційні залишкові з’єднання були впроваджені ще у 2015 році у дослідженнях глибокого навчання і широко використовуються у LLM та моделях класифікації зображень. Вони передають помилки з останнього шару назад до попередніх, забезпечуючи навчання. Однак з ростом масштабів моделей виникли обмеження цієї технології, і з’явилися різні спроби їх подолати. Новітня технологія mHC від DeepSeek є відповіддю на ці виклики і може суттєво підвищити ефективність навчання моделей у всій індустрії штучного інтелекту.