Evolução da tecnologia de indexação de dados em Blockchain: de nós primitivos a serviços de dados em toda a cadeia capacitados por IA
1. Introdução
Desde que os primeiros dApps foram lançados em 2017, o ecossistema de aplicações blockchain tem-se tornado cada vez mais rico. Ao discutir aplicações descentralizadas, já pensamos sobre a origem dos dados utilizados por esses dApps?
Em 2024, a IA e o Web3 tornam-se tópicos quentes. No campo da inteligência artificial, os dados são como a fonte da vida, sendo cruciais para o aprendizado e o raciocínio dos sistemas de IA. Sem o suporte de dados, mesmo os algoritmos de IA mais sofisticados têm dificuldade em exercer inteligência.
Este artigo irá explorar a evolução da acessibilidade dos dados em Blockchain, analisar o processo de evolução dos índices de dados e comparar as características de protocolos de serviços de dados como The Graph, Chainbase e Space and Time, com um foco especial nas inovações das duas últimas na integração com tecnologias de IA.
2. A Complexidade e a Simplicidade da Indexação de Dados: Do Nó Blockchain ao Banco de Dados de Toda a Cadeia
2.1 Fonte de dados: Nó Blockchain
A Blockchain é vista como um livro de registos descentralizado, os Nós são a sua infraestrutura, responsáveis por registar, armazenar e disseminar todos os dados das transações na cadeia. No entanto, os utilizadores comuns que constroem e mantêm Nós enfrentam desafios técnicos e de custos. Embora teoricamente qualquer pessoa possa operar um Nó, na prática, os utilizadores dependem muito de serviços de terceiros.
Para resolver este problema, surgiram os provedores de nós RPC. Eles gerenciam nós e fornecem dados através de pontos finais RPC, permitindo que os usuários acessem dados da Blockchain sem precisar criar seus próprios nós. Os pontos finais RPC públicos são gratuitos, mas têm limitações de taxa, enquanto os pontos finais RPC privados têm melhor desempenho, mas a eficiência ainda precisa ser melhorada. A interface API padronizada dos provedores de nós reduz a barreira de acesso aos dados, estabelecendo a base para a análise de dados e aplicações subsequentes.
2.2 Análise de Dados: De Dados Prototípicos a Dados Utilizáveis
Os dados brutos fornecidos pelos nós da Blockchain geralmente são criptografados e codificados, aumentando a dificuldade de análise. Para usuários comuns e desenvolvedores, lidar diretamente com esses dados requer uma quantidade significativa de conhecimento técnico e recursos computacionais.
O processo de análise de dados é crucial, pois converte dados brutos complexos em um formato fácil de entender e operar, permitindo que os usuários utilizem esses dados de forma mais intuitiva. A qualidade da análise afeta diretamente a eficiência e a eficácia da aplicação dos dados, sendo um elo chave em todo o processo de indexação.
2.3 A evolução do indexador de dados
Com o aumento da quantidade de dados da Blockchain, a demanda por indexadores está a crescer. Os indexadores organizam os dados na cadeia e enviam-nos para um banco de dados, permitindo consultas convenientes. Eles indexam os dados da Blockchain e tornam os dados disponíveis a qualquer momento através de uma linguagem de consulta semelhante ao SQL (, como a API GraphQL ), simplificando drasticamente o processo de recuperação de dados.
Diferentes tipos de indexadores otimizam a forma como os dados são recuperados:
Indexador de nó completo: extrai dados diretamente de nós completos de Blockchain, garantindo integridade e precisão, mas requer uma grande capacidade de armazenamento e processamento.
Indexador leve: depende de nós completos para obter dados específicos sob demanda, reduzindo a necessidade de armazenamento, mas podendo aumentar o tempo de consulta.
Indexador dedicado: otimizado para tipos de dados específicos ou Blockchain, como dados NFT ou transações DeFi.
Agregador de índices: extrai dados de várias blockchains e fontes, incluindo informações off-chain, fornecendo uma interface de consulta unificada, adequada para dApps multichain.
Atualmente, os nós de arquivo do Ethereum ocupam entre 3 e 13,5 TB de espaço de armazenamento em diferentes clientes, e esse espaço aumenta com o crescimento da blockchain. Diante do grande volume de dados, os protocolos de indexação mais populares suportam indexação multi-chain e personalizam estruturas de análise de dados de acordo com as diferentes necessidades das aplicações, como a estrutura "subgráfico" do The Graph.
O indexador melhorou significativamente a eficiência de indexação e consulta de dados. Em comparação com os pontos finais RPC tradicionais, o indexador suporta a indexação eficiente de grandes volumes de dados e consultas de alta velocidade. Eles permitem a execução de consultas complexas, filtragem de dados e análise. Alguns indexadores também suportam a agregação de fontes de dados de múltiplas blockchains, evitando o problema da implantação de múltiplas APIs em dApps de múltiplas cadeias. Através da operação distribuída, o indexador oferece uma segurança e desempenho mais fortes, reduzindo o risco de interrupções que podem ser causadas por provedores RPC centralizados.
2.4 Base de dados de toda a cadeia: Alinhamento prioritário ao fluxo
A consulta de dados usando nós de índice geralmente depende de APIs como o único portal de dados. No entanto, à medida que o projeto se expande, muitas vezes são necessárias fontes de dados mais flexíveis, e as APIs padronizadas têm dificuldade em atender a isso. Com a complexidade crescente das demandas de aplicativos, os indexadores de dados primários e seus formatos de índice padronizados têm dificuldade em atender às demandas diversificadas de consulta, como pesquisa, acesso entre cadeias ou mapeamento de dados fora da cadeia.
Na arquitetura moderna de pipelines de dados, a abordagem "prioridade ao fluxo" tornou-se uma solução para as limitações do processamento em lote tradicional, permitindo a ingestão, processamento e análise de dados em tempo real. Os provedores de serviços de dados em Blockchain também estão se desenvolvendo na direção da construção de fluxos de dados, como os Substreams do The Graph, o Mirror da Goldsky, e os lagos de dados em tempo real da Chainbase e SubSquid.
Estes serviços visam resolver a necessidade de análise de transações em tempo real e de fornecer capacidades de consulta abrangentes. Eles apoiam o desenvolvimento de aplicações e auxiliam a análise de dados na cadeia através de fontes de dados mais avançadas e maduras.
Redefinindo os desafios dos dados em cadeia a partir da perspectiva de pipelines de dados modernos, podemos olhar para o potencial da gestão, armazenamento e fornecimento de dados de uma nova maneira. Considerando subgrafos e indexadores como o ETL da Ethereum como fluxos de dados em vez de saídas finais, podemos imaginar a possibilidade de personalizar conjuntos de dados de alto desempenho para qualquer caso de uso empresarial.
3. IA + Base de Dados? Comparação aprofundada entre The Graph, Chainbase, Space and Time
3.1 The Graph
A rede The Graph oferece serviços de indexação e consulta de dados multi-chain através de uma rede descentralizada de nós, facilitando aos desenvolvedores a indexação de dados de blockchain e a construção de aplicações descentralizadas. Os principais modelos de produto incluem o mercado de execução de consultas de dados e o mercado de cache de indexação de dados, atendendo às necessidades de consulta de produtos dos usuários.
O subgrafo é a estrutura de dados básica da rede The Graph, definindo como extrair e converter dados da Blockchain em um formato consultável. Qualquer pessoa pode criar um subgrafo, e várias aplicações podem reutilizá-lo, aumentando a reutilização de dados e a eficiência de uso.
A rede The Graph é composta por quatro papéis-chave: indexadores, curadores, delegadores e desenvolvedores, que juntos fornecem suporte de dados para aplicações web3.
O Graph passou a oferecer serviços de hospedagem de subgráficos totalmente descentralizados, com incentivos econômicos entre diferentes partes para garantir o funcionamento do sistema.
As ferramentas AutoAgora, Allocation Optimizer e AgentC desenvolvidas pela Semiotic Labs melhoraram o desempenho do ecossistema em várias áreas, como precificação dinâmica, alocação ideal de recursos e consultas em linguagem natural. Estas aplicações permitiram que o The Graph, em conjunto com a IA, aumentasse ainda mais a inteligência do sistema e a facilidade de uso para os usuários.
3.2 Chainbase
Chainbase é uma rede de dados de blockchain completa, que integra todos os dados de blockchain numa plataforma, facilitando para os desenvolvedores construir e manter aplicações. As suas características incluem:
Lago de dados em tempo real: fornece um lago de dados em tempo real dedicado ao fluxo de dados da blockchain, suportando acesso instantâneo aos dados.
Arquitetura de dupla cadeia: baseada na camada de execução do Eigenlayer AVS, em paralelo com o algoritmo de consenso CometBFT, aumentando a programabilidade e a combinabilidade de dados entre cadeias.
Padrão de formato de dados inovador: introdução do padrão de formato de dados "manuscripts", otimizando a estruturação e utilização de dados na indústria de criptografia.
Modelo de mundo cripto: combinando tecnologia de modelos de IA, criar modelos de IA que possam compreender, prever transações Blockchain e interagir com elas, como o modelo básico Theia.
O modelo de IA Theia da Chainbase é baseado no modelo DORA da NVIDIA, combinando dados on-chain e off-chain e atividades espaciais e temporais, analisando padrões criptográficos e respondendo através de inferência causal, aprofundando a exploração do valor potencial dos dados on-chain.
A capacitação por IA torna a Chainbase um prestador de serviços de dados mais competitivo e inteligente, capaz de fornecer uma gama mais ampla de insights de dados e otimizar o processo de processamento de dados.
3.3 Espaço e Tempo
Space and Time (SxT) visa criar uma camada de computação verificável, expandindo provas de conhecimento zero sobre um repositório de dados descentralizado, para fornecer processamento de dados confiáveis para contratos inteligentes, modelos de linguagem grande e empresas.
SxT introduz a tecnologia Proof of SQL, que é uma tecnologia inovadora de prova de conhecimento zero, garantindo que as consultas SQL executadas em armazéns de dados descentralizados sejam à prova de adulteração e verificáveis. A Proof of SQL gera provas criptográficas, verificando a integridade e a precisão dos resultados das consultas, permitindo que qualquer validador confirme de forma independente que os dados não foram adulterados.
A SxT colabora com o laboratório de inovação em IA da Microsoft para desenvolver ferramentas de IA generativa, facilitando que os usuários processem dados de blockchain através da linguagem natural. O Space and Time Studio permite que os usuários insiram consultas em linguagem natural, a IA converte automaticamente em SQL e executa a consulta, apresentando o resultado final.
Conclusão e Perspectivas
A tecnologia de indexação de dados de Blockchain evoluiu desde as fontes de dados iniciais do nó, passando pela análise de dados e desenvolvimento de indexadores, até os serviços de dados de cadeia total capacitados por IA, passando por um processo de aprimoramento gradual. Essas tecnologias evoluem continuamente, melhorando a eficiência e precisão do acesso aos dados, proporcionando uma experiência inteligente aos usuários.
No futuro, com o desenvolvimento de novas tecnologias como a IA e as provas de conhecimento zero, os serviços de dados de blockchain serão ainda mais inteligentes e seguros. Os serviços de dados de blockchain, como infraestrutura, continuarão a desempenhar um papel importante, apoiando o progresso e a inovação no setor.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
Evolução do índice de dados da Blockchain: do Nó ao serviço de cadeia completa de IA
Evolução da tecnologia de indexação de dados em Blockchain: de nós primitivos a serviços de dados em toda a cadeia capacitados por IA
1. Introdução
Desde que os primeiros dApps foram lançados em 2017, o ecossistema de aplicações blockchain tem-se tornado cada vez mais rico. Ao discutir aplicações descentralizadas, já pensamos sobre a origem dos dados utilizados por esses dApps?
Em 2024, a IA e o Web3 tornam-se tópicos quentes. No campo da inteligência artificial, os dados são como a fonte da vida, sendo cruciais para o aprendizado e o raciocínio dos sistemas de IA. Sem o suporte de dados, mesmo os algoritmos de IA mais sofisticados têm dificuldade em exercer inteligência.
Este artigo irá explorar a evolução da acessibilidade dos dados em Blockchain, analisar o processo de evolução dos índices de dados e comparar as características de protocolos de serviços de dados como The Graph, Chainbase e Space and Time, com um foco especial nas inovações das duas últimas na integração com tecnologias de IA.
2. A Complexidade e a Simplicidade da Indexação de Dados: Do Nó Blockchain ao Banco de Dados de Toda a Cadeia
2.1 Fonte de dados: Nó Blockchain
A Blockchain é vista como um livro de registos descentralizado, os Nós são a sua infraestrutura, responsáveis por registar, armazenar e disseminar todos os dados das transações na cadeia. No entanto, os utilizadores comuns que constroem e mantêm Nós enfrentam desafios técnicos e de custos. Embora teoricamente qualquer pessoa possa operar um Nó, na prática, os utilizadores dependem muito de serviços de terceiros.
Para resolver este problema, surgiram os provedores de nós RPC. Eles gerenciam nós e fornecem dados através de pontos finais RPC, permitindo que os usuários acessem dados da Blockchain sem precisar criar seus próprios nós. Os pontos finais RPC públicos são gratuitos, mas têm limitações de taxa, enquanto os pontos finais RPC privados têm melhor desempenho, mas a eficiência ainda precisa ser melhorada. A interface API padronizada dos provedores de nós reduz a barreira de acesso aos dados, estabelecendo a base para a análise de dados e aplicações subsequentes.
2.2 Análise de Dados: De Dados Prototípicos a Dados Utilizáveis
Os dados brutos fornecidos pelos nós da Blockchain geralmente são criptografados e codificados, aumentando a dificuldade de análise. Para usuários comuns e desenvolvedores, lidar diretamente com esses dados requer uma quantidade significativa de conhecimento técnico e recursos computacionais.
O processo de análise de dados é crucial, pois converte dados brutos complexos em um formato fácil de entender e operar, permitindo que os usuários utilizem esses dados de forma mais intuitiva. A qualidade da análise afeta diretamente a eficiência e a eficácia da aplicação dos dados, sendo um elo chave em todo o processo de indexação.
2.3 A evolução do indexador de dados
Com o aumento da quantidade de dados da Blockchain, a demanda por indexadores está a crescer. Os indexadores organizam os dados na cadeia e enviam-nos para um banco de dados, permitindo consultas convenientes. Eles indexam os dados da Blockchain e tornam os dados disponíveis a qualquer momento através de uma linguagem de consulta semelhante ao SQL (, como a API GraphQL ), simplificando drasticamente o processo de recuperação de dados.
Diferentes tipos de indexadores otimizam a forma como os dados são recuperados:
Atualmente, os nós de arquivo do Ethereum ocupam entre 3 e 13,5 TB de espaço de armazenamento em diferentes clientes, e esse espaço aumenta com o crescimento da blockchain. Diante do grande volume de dados, os protocolos de indexação mais populares suportam indexação multi-chain e personalizam estruturas de análise de dados de acordo com as diferentes necessidades das aplicações, como a estrutura "subgráfico" do The Graph.
O indexador melhorou significativamente a eficiência de indexação e consulta de dados. Em comparação com os pontos finais RPC tradicionais, o indexador suporta a indexação eficiente de grandes volumes de dados e consultas de alta velocidade. Eles permitem a execução de consultas complexas, filtragem de dados e análise. Alguns indexadores também suportam a agregação de fontes de dados de múltiplas blockchains, evitando o problema da implantação de múltiplas APIs em dApps de múltiplas cadeias. Através da operação distribuída, o indexador oferece uma segurança e desempenho mais fortes, reduzindo o risco de interrupções que podem ser causadas por provedores RPC centralizados.
2.4 Base de dados de toda a cadeia: Alinhamento prioritário ao fluxo
A consulta de dados usando nós de índice geralmente depende de APIs como o único portal de dados. No entanto, à medida que o projeto se expande, muitas vezes são necessárias fontes de dados mais flexíveis, e as APIs padronizadas têm dificuldade em atender a isso. Com a complexidade crescente das demandas de aplicativos, os indexadores de dados primários e seus formatos de índice padronizados têm dificuldade em atender às demandas diversificadas de consulta, como pesquisa, acesso entre cadeias ou mapeamento de dados fora da cadeia.
Na arquitetura moderna de pipelines de dados, a abordagem "prioridade ao fluxo" tornou-se uma solução para as limitações do processamento em lote tradicional, permitindo a ingestão, processamento e análise de dados em tempo real. Os provedores de serviços de dados em Blockchain também estão se desenvolvendo na direção da construção de fluxos de dados, como os Substreams do The Graph, o Mirror da Goldsky, e os lagos de dados em tempo real da Chainbase e SubSquid.
Estes serviços visam resolver a necessidade de análise de transações em tempo real e de fornecer capacidades de consulta abrangentes. Eles apoiam o desenvolvimento de aplicações e auxiliam a análise de dados na cadeia através de fontes de dados mais avançadas e maduras.
Redefinindo os desafios dos dados em cadeia a partir da perspectiva de pipelines de dados modernos, podemos olhar para o potencial da gestão, armazenamento e fornecimento de dados de uma nova maneira. Considerando subgrafos e indexadores como o ETL da Ethereum como fluxos de dados em vez de saídas finais, podemos imaginar a possibilidade de personalizar conjuntos de dados de alto desempenho para qualquer caso de uso empresarial.
3. IA + Base de Dados? Comparação aprofundada entre The Graph, Chainbase, Space and Time
3.1 The Graph
A rede The Graph oferece serviços de indexação e consulta de dados multi-chain através de uma rede descentralizada de nós, facilitando aos desenvolvedores a indexação de dados de blockchain e a construção de aplicações descentralizadas. Os principais modelos de produto incluem o mercado de execução de consultas de dados e o mercado de cache de indexação de dados, atendendo às necessidades de consulta de produtos dos usuários.
O subgrafo é a estrutura de dados básica da rede The Graph, definindo como extrair e converter dados da Blockchain em um formato consultável. Qualquer pessoa pode criar um subgrafo, e várias aplicações podem reutilizá-lo, aumentando a reutilização de dados e a eficiência de uso.
A rede The Graph é composta por quatro papéis-chave: indexadores, curadores, delegadores e desenvolvedores, que juntos fornecem suporte de dados para aplicações web3.
O Graph passou a oferecer serviços de hospedagem de subgráficos totalmente descentralizados, com incentivos econômicos entre diferentes partes para garantir o funcionamento do sistema.
As ferramentas AutoAgora, Allocation Optimizer e AgentC desenvolvidas pela Semiotic Labs melhoraram o desempenho do ecossistema em várias áreas, como precificação dinâmica, alocação ideal de recursos e consultas em linguagem natural. Estas aplicações permitiram que o The Graph, em conjunto com a IA, aumentasse ainda mais a inteligência do sistema e a facilidade de uso para os usuários.
3.2 Chainbase
Chainbase é uma rede de dados de blockchain completa, que integra todos os dados de blockchain numa plataforma, facilitando para os desenvolvedores construir e manter aplicações. As suas características incluem:
O modelo de IA Theia da Chainbase é baseado no modelo DORA da NVIDIA, combinando dados on-chain e off-chain e atividades espaciais e temporais, analisando padrões criptográficos e respondendo através de inferência causal, aprofundando a exploração do valor potencial dos dados on-chain.
A capacitação por IA torna a Chainbase um prestador de serviços de dados mais competitivo e inteligente, capaz de fornecer uma gama mais ampla de insights de dados e otimizar o processo de processamento de dados.
3.3 Espaço e Tempo
Space and Time (SxT) visa criar uma camada de computação verificável, expandindo provas de conhecimento zero sobre um repositório de dados descentralizado, para fornecer processamento de dados confiáveis para contratos inteligentes, modelos de linguagem grande e empresas.
SxT introduz a tecnologia Proof of SQL, que é uma tecnologia inovadora de prova de conhecimento zero, garantindo que as consultas SQL executadas em armazéns de dados descentralizados sejam à prova de adulteração e verificáveis. A Proof of SQL gera provas criptográficas, verificando a integridade e a precisão dos resultados das consultas, permitindo que qualquer validador confirme de forma independente que os dados não foram adulterados.
A SxT colabora com o laboratório de inovação em IA da Microsoft para desenvolver ferramentas de IA generativa, facilitando que os usuários processem dados de blockchain através da linguagem natural. O Space and Time Studio permite que os usuários insiram consultas em linguagem natural, a IA converte automaticamente em SQL e executa a consulta, apresentando o resultado final.
Conclusão e Perspectivas
A tecnologia de indexação de dados de Blockchain evoluiu desde as fontes de dados iniciais do nó, passando pela análise de dados e desenvolvimento de indexadores, até os serviços de dados de cadeia total capacitados por IA, passando por um processo de aprimoramento gradual. Essas tecnologias evoluem continuamente, melhorando a eficiência e precisão do acesso aos dados, proporcionando uma experiência inteligente aos usuários.
No futuro, com o desenvolvimento de novas tecnologias como a IA e as provas de conhecimento zero, os serviços de dados de blockchain serão ainda mais inteligentes e seguros. Os serviços de dados de blockchain, como infraestrutura, continuarão a desempenhar um papel importante, apoiando o progresso e a inovação no setor.