Gensyn Testnet online, como tornar o treinamento de IA mais eficiente e mais descentralizado?

Gensyn Testnet online, como tornar o treinamento de IA mais eficiente e mais descentralizado?

A IA é atualmente uma das áreas mais procuradas da indústria de criptomoedas, sendo que a Gensyn, uma rede de computação AI descentralizada, levantou 50 milhões de dólares sob a liderança da a16z, sem dúvida, um projeto competitivo. Recentemente, a Gensyn foi oficialmente lançada na Testnet, embora tenha demorado mais de um ano em relação ao cronograma original, mas com o lançamento da Testnet, finalmente entrou em uma nova fase.

Como uma solução personalizada de Ethereum Rollup projetada para aprendizado de máquina, a Gensyn Testnet integra um framework de execução, validação e comunicação off-chain, destinado a fornecer funções essenciais como identidade persistente, rastreamento de participação, manutenção de atribuição, pagamento, coordenação de execução remota, validação sem confiança, registro de processos de treinamento e crowdfunding de tarefas de treinamento em larga escala para sistemas de AI descentralizados.

A primeira fase da Testnet foca na rastreabilidade da participação dentro do RL Swarm. O RL Swarm é uma aplicação para treinamento pós-aprendizagem por reforço colaborativo, cujos nós podem ser vinculados a identidades na blockchain, garantindo que a contribuição de cada nó participante seja registrada com precisão.

RL Swarm: funcionalidades principais e treino colaborativo

No Testnet do Gensyn, o RL Swarm, como aplicação central, é um sistema de treinamento colaborativo de modelos construído com base em uma rede descentralizada. Ao contrário do treinamento independente de um único modelo tradicional, o RL Swarm permite que múltiplos modelos se comuniquem, critiquem e melhorem uns aos outros na rede, elevando assim o desempenho geral. Sua ideia central é a "inteligência coletiva", que alcança um efeito de treinamento mais eficiente através da colaboração e feedback entre os modelos em cada nó.

Pode ser entendido de forma simples que, durante o treinamento de inferência de modelos como o DeepSeek-R1, é possível melhorar o desempenho da inferência através da auto-crítica, enquanto o RL Swarm expande esse mecanismo para um grupo de múltiplos modelos, alcançando o efeito de "muitos braços tornam a chama mais alta".

Baseado no sistema RL Swarm, o modelo não depende apenas do seu próprio feedback, mas também observa e avalia o desempenho de outros modelos, identificando suas próprias deficiências e otimizando-se. Cada modelo que se junta ao Swarm participa de um processo em três fases: primeiro, completa independentemente o problema e apresenta suas ideias e respostas; em seguida, analisa as respostas de outros nós e fornece feedback; finalmente, o modelo vota para escolher a melhor solução e corrige sua própria saída com base nisso. Este mecanismo de colaboração não só melhora o desempenho de cada modelo, como também impulsiona a evolução do modelo coletivo. Os modelos que se juntam ao Swarm ainda conseguem manter os pesos locais melhorados após saírem, obtendo benefícios reais.

Gensyn Testnet online, como tornar o treinamento de IA mais eficiente e mais descentralizado?

Além disso, a Gensyn tornou o código do RL Swarm de código aberto, permitindo que qualquer pessoa execute um nó, inicie ou junte-se a um Swarm existente, sem necessidade de permissão. A comunicação subjacente do Swarm utiliza o protocolo de gossip fornecido pelo Hivemind, suportando a troca de mensagens descentralizadas entre modelos e o compartilhamento de sinais de aprendizado. Seja em um laptop doméstico ou em uma GPU na nuvem, é possível participar do treinamento colaborativo juntando-se a um nó do RL Swarm.

Infraestrutura três pilares: execução, comunicação e verificação

Atualmente, o RL Swarm ainda é apenas uma demonstração experimental, que apresenta um método de aprendizado de máquina em larga escala e escalável, e não uma forma final de produto. Nos últimos quatro anos, o trabalho central da Gensyn tem sido, na verdade, construir a infraestrutura subjacente, e após o lançamento do Testnet, entrou na fase v0.1, já podendo ser executado na prática. De acordo com a descrição oficial, a arquitetura geral da Gensyn é dividida em três partes: execução, comunicação e validação.

Execução: consistência e poder computacional distribuído

A Gensyn acredita que o futuro do aprendizado de máquina não estará mais limitado a modelos monolíticos tradicionais, mas sim composto por parâmetros fragmentados distribuídos em dispositivos ao redor do mundo. Para alcançar esse objetivo, a equipe da Gensyn desenvolveu uma arquitetura de execução subjacente que garante consistência entre dispositivos. As principais tecnologias incluem:

  • Armazenamento e treinamento de parâmetros distribuídos: ao dividir grandes modelos em vários blocos de parâmetros e distribuí-los em diferentes dispositivos, a Gensyn conseguiu a implantação fragmentada do modelo, reduzindo as exigências de memória de um único nó.
  • Aprendizado por Reforço Pós-Treinamento (RL Post-Training): Pesquisas mostram que, quando os modelos são treinados em grupo, se comunicam e criticam as respostas uns dos outros, a eficiência de aprendizado geral aumenta significativamente. A Gensyn demonstrou este conceito com o RL Swarm, permitindo que os modelos progridam rapidamente em discussões coletivas, validando ainda mais a eficácia da execução distribuída.
  • Operadores Reproduzíveis (RepOps): Para garantir que diferentes hardwares (como Nvidia A100 e H100) possam obter resultados de cálculo completamente consistentes, a Gensyn desenvolveu a biblioteca RepOps, que implementa a reprodução bit a bit entre plataformas através da ordenação fixa da execução das operações de ponto flutuante.

Comunicação: intercâmbio de informações eficiente

Em cenários de treinamento distribuído em larga escala, a comunicação eficiente entre os nós é crucial. Embora os métodos tradicionais de paralelismo de dados possam reduzir em certa medida os custos de comunicação, a exigência de que cada nó armazene o modelo completo limita a sua escalabilidade devido às restrições de memória. Para isso, a Gensyn propôs uma nova solução:

  • SkipPipe – Pipeline de saltação dinâmica e paralela: A tecnologia SkipPipe permite, através da seleção dinâmica de micro-lotes (microbatch) que passam pelas camadas de computação, saltar algumas fases do pipeline tradicional, reduzindo assim o tempo de espera desnecessário. O seu algoritmo de agendamento inovador é capaz de avaliar em tempo real a disponibilidade de cada caminho, diminuindo o tempo de inatividade dos nós e reduzindo significativamente a duração total do treino. De acordo com os dados de teste, em um ambiente de descentralização, o SkipPipe pode reduzir o tempo de treino em cerca de 55%, e mesmo em caso de falhas em alguns nós, o desempenho do modelo diminui apenas cerca de 7%.
  • Padrões de comunicação e colaboração entre nós: Gensyn construiu um protocolo de comunicação semelhante ao TCP/IP, permitindo que participantes de todo o mundo, independentemente do dispositivo que utilizem, realizem transferência de dados e intercâmbio de informações de forma eficiente e sem costura. Este padrão aberto fornece uma base de rede sólida para o treinamento colaborativo distribuído.

Verificação: garantir confiança e segurança

Em uma rede distribuída sem necessidade de confiança, confirmar a veracidade e validade dos resultados de cálculo apresentados por cada parte participante é um grande desafio. A Gensyn introduziu um protocolo de validação específico, com o objetivo de garantir que todos os fornecedores de poder computacional forneçam resultados de trabalho corretos por meio de um mecanismo de baixo custo e eficiente:

  • Protocolo de Verificação Verde: Verde é o primeiro sistema de verificação projetado especificamente para aprendizado de máquina moderno. Seu núcleo reside na utilização de um mecanismo leve de resolução de disputas, que localiza rapidamente o passo em que surgem divergências entre o modelo e o validador durante o processo de treinamento. Ao contrário dos métodos tradicionais que exigem a reexecução de toda a tarefa, o Verde apenas necessita recalcular as operações controversas, reduzindo assim significativamente os custos de verificação.
  • delegação referida (裁决式委托):adotando este método, se a saída de um determinado fornecedor tiver problemas, o validador poderá persuadir um árbitro neutro através de um jogo de resolução de disputas eficiente, garantindo que a correção do resultado computacional seja assegurada sempre que exista pelo menos um nó honesto.
  • Armazenamento e hash de estados intermediários: Para apoiar o processo de verificação acima mencionado, os participantes precisam apenas armazenar e fazer hash de alguns pontos de verificação de treinamento intermediários, em vez de todos os dados, o que reduz tanto a ocupação de recursos quanto melhora a escalabilidade e a rapidez do sistema.
Ver original
O conteúdo serve apenas de referência e não constitui uma solicitação ou oferta. Não é prestado qualquer aconselhamento em matéria de investimento, fiscal ou jurídica. Consulte a Declaração de exoneração de responsabilidade para obter mais informações sobre os riscos.
  • Recompensa
  • Comentar
  • Partilhar
Comentar
0/400
Nenhum comentário
  • Pino
Negocie cripto em qualquer lugar e a qualquer hora
qrCode
Digitalizar para transferir a aplicação Gate.io
Novidades
Português (Portugal)
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • ไทย
  • Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)