Gensynテストネットがオンラインになりました。AIのトレーニングをより効率的かつ分散化するにはどうすればよいですか？

! Gensynテストネットがローンチ、AIトレーニングをより効率的かつ分散化するには?

AIは現在の暗号業界で最も注目されている細分野であり、その中でもa16zが主導し、総資金調達規模が5000万ドルに達する分散型AIコンピューティングネットワークGensynは、間違いなく競争力のあるプロジェクトです。最近、Gensynは正式にテストネットに上线し、当初の計画よりも1年遅れましたが、テストネットの上线により新しい段階に突入しました。

機械学習のために特別に設計されたカスタマイズされたEthereum RollupであるGensynテストネットは、オフチェーン実行、検証、通信フレームワークを統合しており、分散化されたAIシステムに対して、持続的なアイデンティティ、参加追跡、帰属維持、支払い、リモート実行調整、信頼性のない検証、トレーニングプロセスの記録、そして大規模なトレーニングタスクのクラウドファンディングなどの重要な機能を提供することを目的としています。

テストネットの第一段階は、RL Swarm内の参加状況の追跡に重点を置いています。RL Swarmは、協調型強化学習後のトレーニングに使用されるアプリケーションで、そのノードはオンチェーンIDにバインドされ、各参加ノードの貢献が正確に記録されることを保証します。

RL Swarm：コア機能と協調トレーニング

Gensyn テストネットにおいて、コアアプリケーションとしての RL Swarm は分散化ネットワークに基づいて構築されたモデル協同訓練システムです。従来の単一モデルの独立訓練とは異なり、RL Swarm は複数のモデルがネットワーク内で相互に交流し、批評し、改善することで、全体のパフォーマンスを共同で向上させます。その核心理念は「群体智慧」であり、各ノードモデル間の協力とフィードバックを通じて、より効率的な訓練効果を実現します。

簡単に言えば、DeepSeek-R1などのモデルが推論訓練を行う際に、自己批判を通じて推論のパフォーマンスを反復的に向上させることができ、RL Swarmはこのメカニズムを複数のモデルの集団に拡張し、「みんなで力を合わせて火を起こす」効果を実現しました。

RL Swarmシステムに基づいて、モデルは自身のフィードバックだけでなく、他のモデルのパフォーマンスを観察し評価することで、自身の不足を認識し、最適化を行います。Swarmに参加する各モデルノードは、3段階のプロセスに参加しています。まず、独立して問題を解決し、アイデアと回答を出力します。次に、他のノードの回答を確認しフィードバックを提供します。最後に、モデルが投票して最適解を選び、それに基づいて自身の出力を修正します。この協調メカニズムは、各モデルのパフォーマンスを向上させるだけでなく、全体のモデル群の進化を促進します。Swarmに参加したモデルは、離脱後も改善されたローカルウェイトを保持し、実際の利益を得ることができます。

! Gensynテストネットがローンチ、AIトレーニングをより効率的かつ分散化するには?

さらに、GensynはRL Swarmのコードをオープンソース化し、誰でもノードを実行し、既存のSwarmを開始または参加することができ、許可は不要です。Swarmの基盤となる通信はHivemindが提供するgossipプロトコルを使用し、モデル間の分散化されたメッセージ伝達と学習信号の共有をサポートしています。家庭用ノートパソコンでも、クラウド上のGPUでも、RL Swarmノードに参加することで協調トレーニングに参加できます。

インフラの三大支柱：実行、通信と検証

現在RL Swarmはまだ実験的なデモに過ぎず、大規模でスケーラブルな機械学習方法を示しているだけで、最終的な製品形態ではありません。過去4年間、Gensynのコアな作業は実際には基盤となるインフラストラクチャの構築であり、テストネットをリリースした後、v0.1段階に入っており、実際に運用可能です。公式の説明によると、Gensynの全体的なアーキテクチャは実行、通信、検証の3つの部分に分かれています。

実行: 一貫性と分散コンピューティング能力

Gensynは、未来の機械学習は従来の単体モデルに限定されず、世界中のさまざまなデバイスに分散されたフラグメンテーションされたパラメータで構成されると考えています。この目標を達成するために、Gensynチームはデバイス間の一貫性を確保できる基盤実行アーキテクチャを開発しました。その中の重要な技術には以下が含まれます：

• 分散化パラメータストレージとトレーニング：大規模モデルを複数のパラメータブロックに分割し、異なるデバイスに分散させることで、Gensynはモデルのフラグメンテーションデプロイを実現し、単一ノードのメモリ要件を低減しました。
• 強化学習後の訓練（RLポストトレーニング）：研究によると、モデルが集団的に協調して訓練し、互いにコミュニケーションを取り、互いの答えを批判することで、全体の学習効率が著しく向上することが示されています。GensynはRL Swarmを利用してこの概念を実証し、モデルが集団討論の中で迅速に進歩する様子を示し、分散実行の有効性をさらに検証しました。
• 再現可能な演算子（RepOps）：異なるハードウェア（Nvidia A100とH100など）が完全に一致する計算結果を得られるように、GensynはRepOpsライブラリを開発しました。固定浮動小数点演算の実行順序を通じて、クロスプラットフォームのビット単位の再現を実現しました。

コミュニケーション:効率的な情報交換

大規模分散化トレーニングシーンにおいて、各ノード間の効率的な通信が重要です。従来のデータ並列化手法は、ある程度通信コストを削減できるものの、各ノードが完全なモデルを保存する必要があるため、そのスケーラビリティはメモリに制約されます。これに対して、Gensynは全く新しい解決策を提案しました：

• SkipPipe – 動的ジャンプパイプライン並行：SkipPipe技術は、動的にマイクロバッチ（microbatch）が通過する計算レイヤーを選択することによって、従来のパイプラインの一部の段階をスキップし、不要な待機時間を削減します。その革新的なスケジューリングアルゴリズムは、各パスの可用性をリアルタイムで評価することができ、ノードのアイドル時間を低減し、全体のトレーニング時間を大幅に短縮します。テストデータによると、分散化環境において、SkipPipeはトレーニング時間を約55％削減し、一部のノードが故障した場合でも、モデルの性能は約7％程度しか低下しません。
• 通信標準とノード間協力 Gensyn は、TCP/IPに似た通信プロトコルを構築しました。これにより、世界中の参加者は、どのようなデバイスを使用していても、高効率かつシームレスにデータ転送と情報交換を行うことができます。このオープンスタンダードは、分散化共同トレーニングのための堅固なネットワーク基盤を提供します。

検証:信頼とセキュリティの確保

信頼を必要としない分散型ネットワークにおいて、各参加者が提出した計算結果が真実で有効であることを確認することは大きな課題です。Gensyn はこのために特別な検証プロトコルを導入し、低コストで効率的なメカニズムを通じて、すべての計算力供給者が正しい作業結果を提供することを確保することを目指しています：

• Verde 検証プロトコル：Verde は、現代の機械学習のために特別に設計された検証システムです。その核心は、軽量な論争解決メカニズムを利用して、トレーニングプロセスにおけるモデルと検証者の間に発生した相違のステップを迅速に特定することにあります。従来の全タスクを再実行する必要がある検証方法とは異なり、Verde は論争の操作のみを再計算することで、検証コストを大幅に削減します。
• レフェリーデリゲーション（裁決式委託）：この方法を採用した場合、特定のサプライヤーの出力に問題があった場合、検証者は効率的な紛争解決ゲームを通じて中立的な仲裁者を説得することができ、少なくとも1つの誠実なノードが存在する場合に、全体の計算結果の正確性が保証されます。
• ストレージとハッシュの中間状態：上記の検証プロセスをサポートするために、参加者は全データではなく部分的な中間トレーニングチェックポイントを保存してハッシュ化するだけで済み、これによりリソースの占有が減少し、システムの拡張性とリアルタイム性が向上します。