DeepSeek, arsitektur AI generasi berikutnya yang mengatasi koneksi residual, diperkenalkan sebagai 'mHC'

Sumber: TokenPost Judul Asli: 中 딥시크, 잔차 연결 넘는 차세대 AI 아키텍처 ‘mHC’ 공개 Tautan Asli: https://www.tokenpost.kr/news/ai/320188 DeepSeek( dari lembaga riset AI China, DeepSeek), mengumumkan arsitektur baru yang secara signifikan dapat meningkatkan kinerja pembelajaran kecerdasan buatan generasi berikutnya. Diberi nama ‘mHC(Manifold-Constrained Hyper-Connections)’, teknologi ini merupakan struktur yang melampaui metode ‘residual connection(’ yang esensial dalam model bahasa besar)LLM( dan model pengenalan visual, dan dikatakan mampu meningkatkan akurasi pembelajaran serta efisiensi perangkat keras.

mHC adalah pengembangan dari teknologi ‘Hyper-Connections)’ yang sudah ada. Hyper-Connections dikenal sebagai struktur yang membantu menyampaikan informasi antar lapisan(layer) dalam model deep learning secara lebih efisien, tetapi dalam praktiknya, penggunaannya terbatas karena berbagai kendala teknis. DeepSeek( mengatasi batasan ini dengan menggabungkan konsep ‘manifold)’. Manifold secara matematis adalah ruang dengan struktur berlapis-lapis, mulai dari bentuk lingkaran sederhana hingga struktur kompleks yang melampaui dimensi 3. DeepSeek( menjelaskan bahwa mHC memanfaatkan struktur berbasis manifold ini untuk memastikan stabilitas dan konsistensi sinyal error backpropagation) dari gradient( selama pelatihan model, yang merupakan kunci keberhasilan.

Untuk menguji performa arsitektur ini, DeepSeek) melatih tiga jenis LLM dengan parameter masing-masing 3 miliar, 9 miliar, dan 27 miliar menggunakan struktur mHC, dan membandingkannya dengan model ber spesifikasi sama yang menggunakan Hyper-Connections. Hasilnya, model dengan struktur mHC secara konsisten menunjukkan performa yang lebih baik di 8 benchmark berbeda. Khususnya, dari segi kebutuhan memori, pelatihan menjadi lebih efisien dibandingkan struktur sebelumnya, dan overhead perangkat keras selama pelatihan dilaporkan hanya sekitar 6,27%.

Tim peneliti DeepSeek menegaskan, “Dengan memahami lebih dalam hubungan antara struktur topologi berbasis manifold dan algoritma optimisasi, mHC dapat mengatasi batasan model AI saat ini dan membuka jalan baru dalam desain infrastruktur generasi berikutnya,” serta menekankan pentingnya inovasi ini secara teknis.

Pengumuman ini menarik perhatian karena muncul di tengah gerakan global untuk meninjau ulang arsitektur pembelajaran AI terbaru. Metode residual connection yang ada sejak penelitian deep learning tahun 2015 telah digunakan secara luas dalam model LLM dan pengklasifikasi gambar. Struktur ini mengalirkan sinyal error dari output akhir ke lapisan-lapisan sebelumnya, membantu memperbaiki distorsi informasi yang terjadi selama proses tersebut.

Namun, seiring dengan semakin besar dan kompleksnya model AI, batasan residual connection ini mulai terlihat, dan berbagai upaya perbaikan pun dilakukan. mHC dari DeepSeek merupakan teknologi terbaru dalam konteks ini, dan diperkirakan dapat memberikan kontribusi langsung terhadap peningkatan efisiensi pelatihan model yang menjadi dasar industri AI secara keseluruhan.