Evolução do Paradigma de Treinamento de IA: da Controle Centralizado à Revolução Tecnológica da Descentralização Colaborativa

Na cadeia de valor total da IA, o treinamento de modelos é a etapa que mais consome recursos e apresenta a maior barreira técnica, determinando diretamente o limite de capacidade do modelo e o efeito de aplicação real. Em comparação com a chamada leve da fase de inferência, o processo de treinamento requer um investimento contínuo em grande escala de poder computacional, processos complexos de manipulação de dados e suporte de algoritmos de otimização de alta intensidade, sendo a verdadeira "indústria pesada" da construção de sistemas de IA. Do ponto de vista do paradigma de arquitetura, os métodos de treinamento podem ser divididos em quatro categorias: treinamento centralizado, treinamento distribuído, aprendizado federado e treinamento descentralizado, que é o foco principal deste artigo.

O treinamento centralizado é a forma tradicional mais comum, completando todo o processo de treinamento dentro de um cluster de alto desempenho local por uma única instituição. Desde o hardware, software de base, sistema de agendamento de cluster, até todos os componentes do framework de treinamento, tudo é coordenado por um sistema de controle unificado. Esta arquitetura de profunda colaboração otimiza a eficiência do compartilhamento de memória, sincronização de gradientes e mecanismos de tolerância a falhas, sendo muito adequada para o treinamento de modelos em larga escala como o GPT e o Gemini, apresentando vantagens de alta eficiência e controle de recursos, mas também enfrenta problemas como monopólio de dados, barreiras de recursos, consumo de energia e riscos de ponto único.

O treinamento distribuído é a forma principal de treinamento de grandes modelos atualmente, e seu núcleo é dividir a tarefa de treinamento do modelo e distribuí-la para várias máquinas que executam em colaboração, a fim de superar os gargalos de computação e armazenamento em uma única máquina. Embora possua características "distribuídas" em termos físicos, o todo ainda é controlado e agendado por uma entidade centralizada, frequentemente operando em um ambiente de rede local de alta velocidade, através da tecnologia de barramento de interconexão de alta velocidade NVLink, com o nó principal coordenando uniformemente as subtarefas. Os métodos principais incluem:

• Paralelismo de dados: cada nó treina diferentes dados com parâmetros compartilhados, sendo necessário coincidir os pesos do modelo.
• Paralelismo de modelos: implantar diferentes partes do modelo em diferentes nós para alcançar uma forte escalabilidade;
• Pipeline paralelo: execução em série por etapas, aumentando a taxa de transferência;
• Paralelismo de tensores: segmentação refinada do cálculo de matrizes, melhorando a granularidade do paralelismo.

O treinamento distribuído é uma combinação de "controle centralizado + execução distribuída", comparável a um mesmo chefe a comandar remotamente a colaboração de vários funcionários de "escritórios" para completar tarefas. Atualmente, quase todos os principais modelos são treinados dessa forma.

A Descentralização do treinamento representa um caminho futuro mais aberto e resistente à censura. Suas características centrais incluem: múltiplos nós que não confiam entre si (que podem ser computadores pessoais, GPUs em nuvem ou dispositivos de borda) colaborando na conclusão de tarefas de treinamento sem um coordenador central, geralmente através de protocolos que impulsionam a distribuição e colaboração de tarefas, e utilizando mecanismos de incentivo criptográfico para garantir a honestidade das contribuições. Os principais desafios enfrentados por esse modelo incluem:

• Dificuldades na heterogeneidade e segmentação de dispositivos: alta dificuldade de coordenação de dispositivos heterogêneos, baixa eficiência na segmentação de tarefas;
• Gargalo de eficiência de comunicação: comunicação de rede instável, gargalo de sincronização de gradientes evidente;
• Falta de execução confiável: falta de um ambiente de execução confiável, dificultando a verificação se os nós realmente participam do cálculo;
• Falta de coordenação unificada: sem um despachador central, a distribuição de tarefas e o mecanismo de retrocesso em caso de anomalias são complexos.

Descentralização do treinamento pode ser entendida como: um grupo de voluntários globais, cada um contribuindo com poder de cálculo para treinar o modelo em conjunto, mas "o verdadeiro treinamento descentralizado em larga escala viável" ainda é um desafio de engenharia sistêmica, envolvendo arquitetura de sistemas, protocolos de comunicação, segurança criptográfica, mecanismos econômicos, validação de modelos e outros vários níveis, mas a questão de saber se "colaboração eficaz + incentivo à honestidade + resultados corretos" ainda está na fase inicial de exploração de protótipos.

O aprendizado federado, como uma forma de transição entre distribuído e Descentralização, enfatiza a retenção local de dados e a agregação centralizada de parâmetros de modelo, sendo adequado para cenários que priorizam a conformidade de privacidade (como saúde e finanças). O aprendizado federado possui a estrutura de engenharia do treinamento distribuído e a capacidade de colaboração local, ao mesmo tempo que possui as vantagens da dispersão de dados no treinamento Descentralização, mas ainda depende de uma parte confiável para coordenação e não possui características completamente abertas e resistentes à censura. Pode ser visto como uma solução de "Descentralização controlada" em cenários de conformidade de privacidade, sendo relativamente moderado em termos de tarefas de treinamento, estrutura de confiança e mecanismos de comunicação, sendo mais adequado como uma arquitetura de implantação transitória na indústria.

Descentralização treinamento das fronteiras, oportunidades e caminhos reais

Do ponto de vista do paradigma de treinamento, a Descentralização do treinamento não é adequada para todos os tipos de tarefas. Em certos cenários, devido à complexidade da estrutura da tarefa, à alta demanda de recursos ou à dificuldade de colaboração, ela naturalmente não é adequada para ser concluída de forma eficiente entre nós heterogêneos e de confiança. Por exemplo, o treinamento de grandes modelos frequentemente depende de alta memória, baixa latência e largura de banda alta, tornando difícil a divisão e sincronização eficazes em uma rede aberta; tarefas com restrições fortes de privacidade e soberania de dados (como saúde, finanças, dados confidenciais) são limitadas por conformidade legal e restrições éticas, não podendo ser compartilhadas abertamente; e tarefas que carecem de uma base de incentivo à colaboração (como modelos fechados de empresas ou treinamento de protótipos internos) carecem de motivação para a participação externa. Essas fronteiras constituem as limitações reais do treinamento descentralizado atualmente.

Mas isso não significa que a Descentralização do treinamento seja uma falácia. Na verdade, em tipos de tarefas que são leves em estrutura, fáceis de paralelizar e incentiváveis, a Descentralização do treinamento mostra uma perspectiva de aplicação clara. Incluindo, mas não se limitando a: ajuste fino LoRA, tarefas de treinamento pós-alinhamento de comportamento (como RLHF, DPO), treinamento e rotulagem de dados crowdsourced, treinamento de pequenos modelos base com controle de recursos, e cenários de treinamento colaborativo com a participação de dispositivos de borda. Essas tarefas geralmente possuem alta paralelização, baixa acoplamento e tolerância a capacidade computacional heterogênea, o que as torna muito adequadas para treinamento colaborativo por meio de redes P2P, protocolo Swarm, otimizadores distribuídos, entre outros.

Descentralização treinamento clássicos projetos análise

Atualmente, na vanguarda dos campos de Descentralização de treinamento e aprendizado federado, os projetos de blockchain mais representativos incluem Prime Intellect, Pluralis.ai, Gensyn, Nous Research e Flock.io. Do ponto de vista da inovação tecnológica e da dificuldade de implementação de engenharia, Prime Intellect, Nous Research e Pluralis.ai propuseram muitas explorações originais em arquitetura de sistemas e design de algoritmos, representando as direções de pesquisa teórica mais avançadas; enquanto Gensyn e Flock.io têm caminhos de implementação relativamente claros, já sendo possível observar progressos iniciais em engenharia. Este artigo irá analisar sequencialmente as tecnologias centrais e as arquiteturas de engenharia por trás desses cinco projetos e discutir ainda mais suas diferenças e relações complementares no sistema de treinamento de IA descentralizada.

Prime Intellect: Pioneiro da rede colaborativa de aprendizado reforçado com trajetória de treinamento verificável

A Prime Intellect está empenhada em construir uma rede de treinamento de IA sem necessidade de confiança, permitindo que qualquer pessoa participe do treinamento e receba recompensas confiáveis por suas contribuições computacionais. A Prime Intellect espera, através dos três módulos PRIME-RL + TOPLOC + SHARDCAST, construir um sistema de treinamento de IA com descentralização que possua verificabilidade, abertura e mecanismos de incentivo completos.

A Prime Intellect lançou o INTELLECT-2 em maio de 2025, sendo este o primeiro grande modelo de aprendizado por reforço do mundo treinado por nós de colaboração descentralizada assíncrona e sem necessidade de confiança, com uma escala de parâmetros que atinge 32B. O modelo INTELLECT-2 foi treinado de forma colaborativa com mais de 100 nós heterogêneos de GPU, distribuídos por três continentes, utilizando uma arquitetura completamente assíncrona, com um tempo de treinamento superior a 400 horas, demonstrando a viabilidade e estabilidade de redes de colaboração assíncrona. Este modelo não é apenas um avanço em termos de desempenho, mas também representa a primeira implementação sistemática do paradigma "treinamento é consenso" proposto pela Prime Intellect. O INTELLECT-2 integra módulos de protocolo centrais como PRIME-RL (estrutura de treinamento assíncrono), TOPLOC (validação de comportamento de treinamento) e SHARDCAST (agregação de pesos assíncrona), marcando a primeira realização da abertura, verificação e fechamento de incentivos econômicos no processo de treinamento em uma rede descentralizada.

Em termos de desempenho, o INTELLECT-2 é baseado no QwQ-32B e foi treinado com um RL especializado em código e matemática, estando na vanguarda dos modelos de ajuste fino RL de código aberto atualmente. Embora ainda não tenha superado modelos de código fechado como o GPT-4 ou Gemini, seu verdadeiro significado reside no fato de que: é o primeiro experimento de modelo descentralizado do mundo com um processo de treinamento completo que pode ser reproduzido, verificado e auditado. A Prime Intellect não apenas tornou o modelo de código aberto, mas o mais importante é que abriu o próprio processo de treinamento - os dados de treinamento, a trajetória de atualização de estratégias, o processo de validação e a lógica de agregação são todos transparentes e verificáveis, construindo um protótipo de rede de treinamento descentralizada em que todos podem participar, colaborar de forma confiável e compartilhar os lucros.

A Prime Intellect completou uma rodada de financiamento de sementes de 15 milhões de dólares em fevereiro de 2025, liderada pelo Founders Fund, com a participação de vários líderes da indústria, incluindo Menlo Ventures, Andrej Karpathy, Clem Delangue, Dylan Patel, Balaji Srinivasan, Emad Mostaque e Sandeep Nailwal. Anteriormente, o projeto completou uma rodada de financiamento inicial de 5,5 milhões de dólares em abril de 2024, liderada conjuntamente pelo CoinFund e Distributed Global, com a participação de instituições como Compound VC, Collab + Currency e Protocol Labs. Até agora, a Prime Intellect acumulou mais de 20 milhões de dólares em financiamento.

Os cofundadores da Prime Intellect são Vincent Weisser e Johannes Hagemann, e os membros da equipe têm formação que abrange as áreas de IA e Web3. Os membros principais vêm da Meta AI, Google Research, OpenAI, Flashbots, Stability AI e da Fundação Ethereum, possuindo uma sólida capacidade em design de arquitetura de sistemas e implementação de engenharia distribuída, sendo uma das raras equipes executivas que conseguiu completar com sucesso o treinamento de grandes modelos realmente descentralizados.

Pluralis: Explorador de paradigmas de treinamento colaborativo com estrutura de compressão paralela e modelo assíncrono

Pluralis é um projeto de IA Web3 focado em "redes de treinamento colaborativo confiáveis", cujo objetivo principal é promover um paradigma de treinamento de modelos descentralizado, de participação aberta e com mecanismos de incentivo a longo prazo. Ao contrário dos caminhos de treinamento centralizados ou fechados atualmente predominantes, o Pluralis propõe um novo conceito chamado Protocol Learning (Aprendizagem por Protocolo): "protocolizar" o processo de treinamento de modelos, construindo um sistema de treinamento aberto com um ciclo de incentivo interno por meio de mecanismos de colaboração verificáveis e mapeamento de propriedade do modelo.

O Protocol Learning proposto pela Pluralis inclui três pilares-chave:

• Modelos não extraíveis (Modelos Não Materializáveis): Os modelos são distribuídos em fragmentos entre vários nós, e nenhum nó único pode restaurar o peso completo mantendo-o fechado. Este design faz com que o modelo se torne naturalmente um "ativo dentro do protocolo", permitindo controle de credenciais de acesso, proteção contra vazamentos e vinculação de direitos de receita.
• Treinamento paralelo de modelos baseado na Internet (Model-parallel Training over Internet): através do mecanismo de paralelismo de modelo Pipeline assíncrono (arquitetura SWARM), diferentes nós mantêm apenas uma parte dos pesos e colaboram para completar o treinamento ou a inferência através de uma rede de baixa largura de banda.
• Distribuição de propriedade do modelo de acordo com a contribuição (Propriedade Parcial para Incentivos): Todos os nós participantes recebem uma parte da propriedade do modelo com base na sua contribuição para o treinamento, usufruindo assim da divisão futura de lucros e do direito de governança do protocolo.

Pluralis define claramente que "modelo assíncrono em paralelo" é a direção central, enfatizando as seguintes vantagens em relação à paralelização de dados:

• Suporte a redes de baixa largura de banda e nós não consistentes;
• Dispositivos heterogéneos compatíveis, permitindo a participação de GPUs de consumo;
• Naturalmente possui capacidade de agendamento flexível, suportando a frequência de entrada/saída dos nós;
• As três principais inovações são compressão estrutural + atualização assíncrona + não extração de pesos.

Atualmente, de acordo com os seis documentos de blog técnico publicados no site oficial, a estrutura lógica foi integrada nas seguintes três linhas principais:

• Filosofia e Visão: "A Third Path: Protocol Learning" "Why Decentralized Training Matters"
• Detalhes do mecanismo técnico: 《SWARM Parallel》《Beyond Top-K》《Asynchronous Updates》
• Exploração de Inovação Institucional: 《Unmaterializable Models》《Partial Ownership Protocols》

Atualmente, o Pluralis ainda não lançou produtos, rede de testes ou código aberto, devido ao fato de que o caminho tecnológico escolhido é extremamente desafiador: é necessário resolver primeiro problemas de nível sistêmico, como a arquitetura do sistema subjacente, protocolos de comunicação e a não exportação de pesos, antes que seja possível encapsular serviços de produtos.

Em junho de 2025, a Pluralis Research publicará um novo artigo, no qual a sua estrutura de treinamento Descentralização será baseada na pré-treinamento de modelos.