區塊鏈數據索引技術的演進：從原始節點到AI賦能的全鏈數據服務

1. 引言

自2017年首批dApp問世以來,區塊鏈應用生態日益豐富。在討論去中心化應用時,我們是否曾思考過這些dApp所使用數據的來源?

2024年,AI與Web3成爲熱點話題。在人工智能領域,數據如同生命之源,對AI系統的學習和思考至關重要。沒有數據支撐,再精妙的AI算法也難以發揮智能。

本文將深入探討區塊鏈數據可訪問性的發展歷程,分析數據索引的演變過程,並對比The Graph、Chainbase和Space and Time等數據服務協議的特點,尤其關注後兩者在結合AI技術方面的創新。

2. 數據索引的繁與簡:從區塊鏈節點到全鏈數據庫

2.1 數據源頭:區塊鏈節點

區塊鏈被視爲去中心化的記帳本,節點是其基礎設施,負責記錄、存儲和傳播所有鏈上交易數據。然而,普通用戶自建和維護節點面臨技術和成本挑戰。盡管理論上人人可運行節點,實際上用戶多依賴第三方服務。

爲解決這一問題,RPC節點提供商應運而生。它們管理節點並通過RPC端點提供數據,使用戶無需自建節點即可訪問區塊鏈數據。公共RPC端點免費但有速率限制,私有RPC端點性能更佳但效率仍有待提高。節點提供商的標準化API接口降低了數據訪問門檻,爲後續數據解析和應用奠定基礎。

2.2 數據解析:從原型數據到可用數據

區塊鏈節點提供的原始數據通常經過加密和編碼,增加了解析難度。對普通用戶和開發者而言,直接處理這些數據需要大量技術知識和計算資源。

數據解析過程至關重要,它將復雜的原型數據轉換爲易於理解和操作的格式,使用戶能更直觀地利用這些數據。解析的質量直接影響數據應用的效率和效果,是整個索引流程的關鍵環節。

2.3 數據索引器的演進

隨着區塊鏈數據量增加,索引器需求日益增長。索引器通過組織鏈上數據並將其發送到數據庫,實現便捷查詢。它們索引區塊鏈數據並通過類似SQL的查詢語言(如GraphQL API)使數據隨時可用,大大簡化了數據檢索流程。

不同類型的索引器優化數據檢索方式:

1. 完整節點索引器:直接從完整區塊鏈節點提取數據,確保完整性和準確性,但需要大量存儲和處理能力。
2. 輕量級索引器:依靠完整節點按需獲取特定數據,減少存儲需求但可能增加查詢時間。
3. 專用索引器:針對特定數據類型或區塊鏈優化,如NFT數據或DeFi交易。
4. 聚合索引器:從多個區塊鏈和來源提取數據,包括鏈下信息,提供統一查詢界面,適用於多鏈dApp。

目前,以太坊檔案節點在不同客戶端下佔用3-13.5 TB存儲空間,且隨區塊鏈增長而增加。面對龐大數據量,主流索引器協議支持多鏈索引,並針對不同應用需求定制數據解析框架,如The Graph的"子圖"框架。

索引器顯著提升了數據索引和查詢效率。與傳統RPC端點相比,索引器支持高效索引大量數據和高速查詢。它們允許執行復雜查詢、過濾數據並進行分析。部分索引器還支持聚合多個區塊鏈的數據源,避免多鏈dApp部署多個API的問題。通過分布式運行,索引器提供更強安全性和性能,降低了集中式RPC提供商可能帶來的中斷風險。

2.4 全鏈數據庫:向流優先對齊

使用索引節點查詢數據通常依賴API作爲唯一數據門戶。然而,項目擴展時往往需要更靈活的數據源,標準化API難以滿足。隨着應用需求復雜化,初級數據索引器及其標準化索引格式難以滿足多樣化查詢需求,如搜索、跨鏈訪問或鏈下數據映射。

現代數據管道架構中,"流優先"方法成爲解決傳統批處理局限性的方案,實現實時數據攝取、處理和分析。區塊鏈數據服務提供商也朝着構建數據流方向發展,如The Graph的Substreams、Goldsky的Mirror,以及Chainbase和SubSquid的實時數據湖。

這些服務旨在解決實時交易解析和提供全面查詢能力的需求。它們通過更先進成熟的數據源,支持應用程序發展並輔助鏈上數據分析。

從現代數據管道視角重新定義鏈上數據挑戰,我們可以全新角度看待數據管理、存儲和提供的潛力。將子圖和以太坊ETL等索引器視爲數據流而非最終輸出,我們可以設想爲任何業務用例定制高性能數據集的可能性。

3. AI + Database? 深入對比The Graph, Chainbase, Space and Time

3.1 The Graph

The Graph網路通過去中心化節點網路提供多鏈數據索引和查詢服務,便於開發者索引區塊鏈數據並構建去中心化應用。其主要產品模式包括數據查詢執行市場和數據索引緩存市場,服務於用戶的產品查詢需求。

子圖是The Graph網路的基礎數據結構,定義如何從區塊鏈提取並轉換數據爲可查詢格式。任何人可創建子圖,多個應用可重復使用,提升數據可復用性和使用效率。

The Graph網路由索引器、策展人、委托人和開發者四個關鍵角色構成,共同爲web3應用提供數據支持。

The Graph已轉向全面去中心化子圖托管服務,不同參與方之間有經濟激勵確保系統運轉。

Semiotic Labs開發的AutoAgora、Allocation Optimizer和AgentC工具在多方面提升了生態系統性能,如動態定價、資源最優分配和自然語言查詢等。這些工具應用使The Graph結合AI進一步提升了系統智能化和用戶友好度。

3.2 Chainbase

Chainbase是一個全鏈數據網路,整合所有區塊鏈數據到一個平台,便於開發者構建和維護應用程序。其特點包括:

• 實時數據湖:提供專門用於區塊鏈數據流的實時數據湖,支持即時數據訪問。
• 雙鏈架構:基於Eigenlayer AVS構建執行層,與CometBFT共識算法形成並行雙鏈架構,增強跨鏈數據可編程性和可組合性。
• 創新數據格式標準:引入"manuscripts"數據格式標準,優化加密行業數據結構化和利用。
• 加密世界模型:結合AI模型技術,打造能理解、預測區塊鏈交易並與之交互的AI模型,如基礎版模型Theia。

Chainbase的AI模型Theia基於NVIDIA的DORA模型,結合鏈上鏈下數據和時空活動,分析加密模式並通過因果推理做出響應,深入挖掘鏈上數據潛在價值。

AI賦能使Chainbase成爲更具競爭力的智能化數據服務商,能提供更廣泛的數據洞察並優化數據處理過程。

3.3 Space and Time

Space and Time (SxT)旨在打造可驗證的計算層,在去中心化數據倉庫上擴展零知識證明,爲智能合約、大語言模型和企業提供可信數據處理。

SxT引入Proof of SQL技術,這是一種創新零知識證明技術,確保去中心化數據倉庫上執行的SQL查詢可防篡改和驗證。Proof of SQL生成加密證明,驗證查詢結果完整性和準確性,使任何驗證者都可獨立確認數據未被篡改。

SxT與微軟AI聯合創新實驗室合作,研發生成式AI工具,便於用戶通過自然語言處理區塊鏈數據。Space and Time Studio允許用戶輸入自然語言查詢,AI自動轉換爲SQL並執行查詢,呈現最終結果。

結論與展望

區塊鏈數據索引技術從最初的節點數據源頭,經過數據解析和索引器發展,演進到AI賦能的全鏈數據服務,經歷了逐步完善的過程。這些技術不斷演進,提高了數據訪問效率和準確性,爲用戶帶來智能化體驗。

未來,隨着AI技術和零知識證明等新技術發展,區塊鏈數據服務將進一步智能化和安全化。區塊鏈數據服務作爲基礎設施將繼續發揮重要作用,爲行業進步和創新提供支持。