DeepSeek представляет архитектуру ИИ следующего поколения «mHC», которая выходит за рамки остаточной связности

Источник: TokenPost Оригинальный заголовок: 中 딥시크, 잔차 연결 넘는 차세대 AI 아키텍처 ‘mHC’ 공개 Оригинальная ссылка: https://www.tokenpost.kr/news/ai/320188 Китайский исследовательский институт AI DeepSeek(DeepSeek) представил новую архитектуру, которая значительно повышает производительность обучения следующего поколения искусственного интеллекта. Технология, названная ‘mHC(Manifold-Constrained Hyper-Connections)’, представляет собой структуру, превосходящую по принципу ‘остаточные связи(residual connection)’, которые являются необходимыми для крупных языковых моделей(LLM) и моделей визуального восприятия, что повысило как точность обучения, так и эффективность аппаратного обеспечения.

mHC — это усовершенствованный вариант технологии ‘гипер-связей(Hyper-Connections)’. Гипер-связи помогают более эффективно передавать информацию между слоями(layer) в моделях глубокого обучения, однако в реальных условиях эксплуатации из-за технических ограничений они широко не использовались. DeepSeek преодолела этот барьер, интегрировав концепцию ‘манifold(manifold)’. Манifold — это математическое пространство с многослойной структурой, которое может быть простым кругом или сложной структурой, превышающей трехмерность. Компания объяснила, что mHC использует структуру на базе manifold для обеспечения стабильности и согласованности градиентов(ошибки обратного распространения), возникающих при обучении модели.

Для проверки эффективности архитектуры DeepSeek обучила три типа LLM с 30 миллиардами, 90 миллиардами и 270 миллиардами параметров в структуре mHC, а также провела сравнение с моделями того же размера, основанными на гипер-связях. По результатам, модели с архитектурой mHC показали более высокие показатели на 8 различных бенчмарках. Особенно отмечается более эффективное использование памяти и снижение аппаратных накладных расходов при обучении, которые составили всего около 6.27%.

Исследователи DeepSeek подчеркнули: «Глубже понимая взаимосвязь между топологической структурой manifold и алгоритмами оптимизации, mHC способен преодолеть текущие ограничения AI-моделей и открыть новые пути для проектирования инфраструктуры следующего поколения».

Это объявление особенно актуально на фоне глобальных обсуждений и пересмотров архитектур обучения AI. Традиционные остаточные связи, введённые в 2015 году в исследованиях глубокого обучения, широко применялись в LLM и моделях классификации изображений. Эта структура передает ошибочные сигналы с последнего слоя обратно через все слои, компенсируя искажения информации, возникающие в процессе.

Однако по мере увеличения масштабов AI-моделей выявились ограничения этих связей, и начались различные попытки их улучшения. Новая технология mHC от DeepSeek — это современное решение, которое, по мнению экспертов, может значительно повысить эффективность обучения моделей и стать основой для развития индустрии искусственного интеллекта.