DeepSeek dévoile une architecture d’IA de nouvelle génération 'mHC' qui va au-delà de la simple connectivité résiduelle

Source : TokenPost Titre Original : 中 딥시크, 잔차 연결 넘는 차세대 AI 아키텍처 ‘mHC’ 공개 Lien Original : https://www.tokenpost.kr/news/ai/320188 DeepSeek(, un institut de recherche en IA en Chine, a annoncé une nouvelle architecture capable d’améliorer considérablement les performances d’apprentissage de l’intelligence artificielle de prochaine génération. Nommée ‘mHC)Manifold-Constrained Hyper-Connections(’, cette technologie dépasse la méthode ‘connexion résiduelle)residual connection(’ essentielle dans les modèles linguistiques de grande taille)LLM( et les modèles de reconnaissance visuelle, en améliorant à la fois la précision d’apprentissage et l’efficacité matérielle.

mHC est une version améliorée de la technologie ‘hyper-connexion)Hyper-Connections(’ existante. Les hyper-connexions ont été remarquées pour leur capacité à transmettre plus efficacement l’information entre les couches)layer( d’un modèle d’apprentissage profond, mais leur utilisation a été limitée dans les environnements opérationnels en raison de diverses contraintes techniques. DeepSeek a surmonté cette limite en intégrant le concept de ‘maniifold)manifold(’. Un manifold est un espace mathématique à structure multi-niveaux, allant de formes simples comme des cercles à des structures complexes en plus de 3 dimensions. DeepSeek explique que mHC utilise cette structure basée sur le manifold pour assurer la stabilité et la cohérence du gradient)erreur de rétropropagation( généré lors de l’apprentissage du modèle, jouant un rôle clé.

Pour valider la performance de cette architecture, DeepSeek a entraîné trois types de LLM comportant respectivement 3 milliards, 9 milliards et 27 milliards de paramètres avec la structure mHC, et a comparé ces modèles à des modèles de même spécification utilisant des hyper-connexions. Selon l’entreprise, les modèles mHC ont montré des performances supérieures de manière cohérente sur 8 benchmarks. En particulier, ils ont permis un apprentissage plus efficace en termes de consommation mémoire, avec un surcoût matériel lors de l’entraînement limité à 6,27 %.

Les chercheurs de DeepSeek ont déclaré : « En approfondissant la compréhension de la relation entre la structure topologique basée sur le manifold et l’algorithme d’optimisation, mHC pourrait dépasser les limites actuelles des modèles IA et ouvrir de nouvelles voies pour la conception d’infrastructures de prochaine génération. »

Cette annonce intervient dans un contexte de réévaluation mondiale récente des architectures d’apprentissage IA. La méthode de connexion résiduelle, introduite en 2015 dans la recherche en deep learning, a été largement utilisée dans les modèles LLM et la classification d’images. Elle consiste à faire remonter le signal d’erreur généré par la dernière couche de sortie pour transmettre l’information d’apprentissage à toutes les couches précédentes, en compensant les déformations de l’information qui peuvent survenir dans ce processus.

Cependant, à mesure que les modèles IA deviennent de plus en plus massifs, les limites de cette connexion résiduelle ont été révélées, et diverses tentatives d’amélioration ont été entreprises. La technologie mHC de DeepSeek, en tant que dernière innovation dans ce contexte, pourrait contribuer directement à améliorer l’efficacité de l’apprentissage des modèles, qui constitue la base de l’industrie de l’IA.