区块链数据索引技术的演进：从原始节点到AI赋能的全链数据服务

1. 引言

自2017年首批dApp问世以来,区块链应用生态日益丰富。在讨论去中心化应用时,我们是否曾思考过这些dApp所使用数据的来源?

2024年,AI与Web3成为热点话题。在人工智能领域,数据如同生命之源,对AI系统的学习和思考至关重要。没有数据支撑,再精妙的AI算法也难以发挥智能。

本文将深入探讨区块链数据可访问性的发展历程,分析数据索引的演变过程,并对比The Graph、Chainbase和Space and Time等数据服务协议的特点,尤其关注后两者在结合AI技术方面的创新。

2. 数据索引的繁与简:从区块链节点到全链数据库

2.1 数据源头:区块链节点

区块链被视为去中心化的记账本,节点是其基础设施,负责记录、存储和传播所有链上交易数据。然而,普通用户自建和维护节点面临技术和成本挑战。尽管理论上人人可运行节点,实际上用户多依赖第三方服务。

为解决这一问题,RPC节点提供商应运而生。它们管理节点并通过RPC端点提供数据,使用户无需自建节点即可访问区块链数据。公共RPC端点免费但有速率限制,私有RPC端点性能更佳但效率仍有待提高。节点提供商的标准化API接口降低了数据访问门槛,为后续数据解析和应用奠定基础。

2.2 数据解析:从原型数据到可用数据

区块链节点提供的原始数据通常经过加密和编码,增加了解析难度。对普通用户和开发者而言,直接处理这些数据需要大量技术知识和计算资源。

数据解析过程至关重要,它将复杂的原型数据转换为易于理解和操作的格式,使用户能更直观地利用这些数据。解析的质量直接影响数据应用的效率和效果,是整个索引流程的关键环节。

2.3 数据索引器的演进

随着区块链数据量增加,索引器需求日益增长。索引器通过组织链上数据并将其发送到数据库,实现便捷查询。它们索引区块链数据并通过类似SQL的查询语言(如GraphQL API)使数据随时可用,大大简化了数据检索流程。

不同类型的索引器优化数据检索方式:

1. 完整节点索引器:直接从完整区块链节点提取数据,确保完整性和准确性,但需要大量存储和处理能力。
2. 轻量级索引器:依靠完整节点按需获取特定数据,减少存储需求但可能增加查询时间。
3. 专用索引器:针对特定数据类型或区块链优化,如NFT数据或DeFi交易。
4. 聚合索引器:从多个区块链和来源提取数据,包括链下信息,提供统一查询界面,适用于多链dApp。

目前,以太坊档案节点在不同客户端下占用3-13.5 TB存储空间,且随区块链增长而增加。面对庞大数据量,主流索引器协议支持多链索引,并针对不同应用需求定制数据解析框架,如The Graph的"子图"框架。

索引器显著提升了数据索引和查询效率。与传统RPC端点相比,索引器支持高效索引大量数据和高速查询。它们允许执行复杂查询、过滤数据并进行分析。部分索引器还支持聚合多个区块链的数据源,避免多链dApp部署多个API的问题。通过分布式运行,索引器提供更强安全性和性能,降低了集中式RPC提供商可能带来的中断风险。

2.4 全链数据库:向流优先对齐

使用索引节点查询数据通常依赖API作为唯一数据门户。然而,项目扩展时往往需要更灵活的数据源,标准化API难以满足。随着应用需求复杂化,初级数据索引器及其标准化索引格式难以满足多样化查询需求,如搜索、跨链访问或链下数据映射。

现代数据管道架构中,"流优先"方法成为解决传统批处理局限性的方案,实现实时数据摄取、处理和分析。区块链数据服务提供商也朝着构建数据流方向发展,如The Graph的Substreams、Goldsky的Mirror,以及Chainbase和SubSquid的实时数据湖。

这些服务旨在解决实时交易解析和提供全面查询能力的需求。它们通过更先进成熟的数据源,支持应用程序发展并辅助链上数据分析。

从现代数据管道视角重新定义链上数据挑战,我们可以全新角度看待数据管理、存储和提供的潜力。将子图和以太坊ETL等索引器视为数据流而非最终输出,我们可以设想为任何业务用例定制高性能数据集的可能性。

3. AI + Database? 深入对比The Graph, Chainbase, Space and Time

3.1 The Graph

The Graph网络通过去中心化节点网络提供多链数据索引和查询服务,便于开发者索引区块链数据并构建去中心化应用。其主要产品模式包括数据查询执行市场和数据索引缓存市场,服务于用户的产品查询需求。

子图是The Graph网络的基础数据结构,定义如何从区块链提取并转换数据为可查询格式。任何人可创建子图,多个应用可重复使用,提升数据可复用性和使用效率。

The Graph网络由索引器、策展人、委托人和开发者四个关键角色构成,共同为web3应用提供数据支持。

The Graph已转向全面去中心化子图托管服务,不同参与方之间有经济激励确保系统运转。

Semiotic Labs开发的AutoAgora、Allocation Optimizer和AgentC工具在多方面提升了生态系统性能,如动态定价、资源最优分配和自然语言查询等。这些工具应用使The Graph结合AI进一步提升了系统智能化和用户友好度。

3.2 Chainbase

Chainbase是一个全链数据网络,整合所有区块链数据到一个平台,便于开发者构建和维护应用程序。其特点包括:

• 实时数据湖:提供专门用于区块链数据流的实时数据湖,支持即时数据访问。
• 双链架构:基于Eigenlayer AVS构建执行层,与CometBFT共识算法形成并行双链架构,增强跨链数据可编程性和可组合性。
• 创新数据格式标准:引入"manuscripts"数据格式标准,优化加密行业数据结构化和利用。
• 加密世界模型:结合AI模型技术,打造能理解、预测区块链交易并与之交互的AI模型,如基础版模型Theia。

Chainbase的AI模型Theia基于NVIDIA的DORA模型,结合链上链下数据和时空活动,分析加密模式并通过因果推理做出响应,深入挖掘链上数据潜在价值。

AI赋能使Chainbase成为更具竞争力的智能化数据服务商,能提供更广泛的数据洞察并优化数据处理过程。

3.3 Space and Time

Space and Time (SxT)旨在打造可验证的计算层,在去中心化数据仓库上扩展零知识证明,为智能合约、大语言模型和企业提供可信数据处理。

SxT引入Proof of SQL技术,这是一种创新零知识证明技术,确保去中心化数据仓库上执行的SQL查询可防篡改和验证。Proof of SQL生成加密证明,验证查询结果完整性和准确性,使任何验证者都可独立确认数据未被篡改。

SxT与微软AI联合创新实验室合作,研发生成式AI工具,便于用户通过自然语言处理区块链数据。Space and Time Studio允许用户输入自然语言查询,AI自动转换为SQL并执行查询,呈现最终结果。

结论与展望

区块链数据索引技术从最初的节点数据源头,经过数据解析和索引器发展,演进到AI赋能的全链数据服务,经历了逐步完善的过程。这些技术不断演进,提高了数据访问效率和准确性,为用户带来智能化体验。

未来,随着AI技术和零知识证明等新技术发展,区块链数据服务将进一步智能化和安全化。区块链数据服务作为基础设施将继续发挥重要作用,为行业进步和创新提供支持。