Truy cập dữ liệu Web3: Bộ chỉ mục và giới thiệu dự án liên quan

Viết bởi: Geng Kai, DFG

Khối dữ liệu quan trọng trong chuỗi khối

Dữ liệu là yếu tố quan trọng của công nghệ blockchain và là cơ sở để phát triển ứng dụng phi tập trung (dApp). Mặc dù hầu hết cuộc thảo luận hiện tại tập trung vào khả năng sử dụng dữ liệu (DA) - đảm bảo mỗi thành viên mạng có thể truy cập vào dữ liệu giao dịch gần đây để xác minh - nhưng còn một khía cạnh quan trọng khác thường bị bỏ qua: khả năng truy cập dữ liệu.

Trong thời đại chuỗi khối mô-đun, các giải pháp DA đã trở nên không thể thiếu. Những giải pháp này đảm bảo rằng tất cả các bên tham gia đều có thể sử dụng dữ liệu giao dịch, từ đó thực hiện xác minh và duy trì tính toàn vẹn của mạng lưới theo thời gian thực. Tuy nhiên, chức năng của lớp DA giống như một tấm biển quảng cáo hơn là một cơ sở dữ liệu. Điều này có nghĩa là dữ liệu sẽ không được lưu trữ vô thời hạn; nó sẽ bị xóa theo thời gian, giống như những tấm biển quảng cáo sẽ bị thay thế bởi tấm biển mới.

Một mặt khác, tính khả dụng dữ liệu tập trung vào khả năng truy xuất dữ liệu lịch sử, điều này rất quan trọng đối với việc phát triển ứng dụng phi tập trung và phân tích blockchain. Mặt này quan trọng đối với các nhiệm vụ cần truy cập dữ liệu quá khứ để đảm bảo biểu diễn và thực thi chính xác. Mặc dù tính khả dụng dữ liệu rất quan trọng, nhưng ít được thảo luận, nhưng nó cũng quan trọng như tính khả sẵn có của dữ liệu. Cả hai đều đóng vai trò khác nhau nhưng bổ sung nhau trong hệ sinh thái blockchain, một phương pháp quản lý dữ liệu toàn diện phải giải quyết cả hai vấn đề này để hỗ trợ các ứng dụng blockchain mạnh mẽ và hiệu quả.

Làm cách nào để truy xuất dữ liệu chuỗi khối trước đây

Từ khi ra đời, blockchain đã hoàn toàn thay đổi cơ sở hạ tầng và thúc đẩy việc tạo ra các ứng dụng phi tập trung (dApp) trong các lĩnh vực như trò chơi, tài chính và mạng xã hội. Tuy nhiên, xây dựng những dApp này đòi hỏi truy cập vào một lượng lớn dữ liệu blockchain, điều này không chỉ khó khăn mà còn tốn kém.

Đối với các nhà phát triển dApp, một lựa chọn là tự lưu trữ và vận hành nút RPC lưu trữ của họ. Những nút này lưu trữ tất cả dữ liệu lịch sử chuỗi khối từ đầu, cho phép truy cập hoàn toàn vào dữ liệu. Tuy nhiên, việc duy trì nút lưu trữ này tốn kém và khả năng truy vấn cũng có hạn chế, do đó không thể truy vấn dữ liệu theo định dạng mà các nhà phát triển cần. Mặc dù vận hành các nút rẻ hơn là một lựa chọn, nhưng khả năng truy xuất dữ liệu của những nút này có hạn chế, điều này có thể gây trở ngại cho việc vận hành dApp.

Một cách khác là sử dụng các nhà cung cấp nút RPC thương mại. Những nhà cung cấp này chịu trách nhiệm về chi phí và quản lý của nút, và cung cấp dữ liệu thông qua các điểm cuộc gọi RPC. Các điểm cuộc gọi RPC công cộng là miễn phí nhưng có hạn chế về tốc độ, có thể ảnh hưởng tiêu cực đến trải nghiệm người dùng của dApp. Các điểm cuộc gọi RPC riêng tư cung cấp hiệu suất tốt hơn bằng cách giảm tắc nghẽn, nhưng ngay cả việc truy xuất dữ liệu đơn giản cũng cần một lượng lớn giao tiếp qua lại. Điều này làm cho chúng trở nên nặng nề và không hiệu quả cho các truy vấn dữ liệu phức tạp. Ngoài ra, điểm cuộc gọi RPC riêng thường khó mở rộng và thiếu tính tương thích qua các mạng khác nhau.

Cải tiến tốt hơn: Khối chỉ mục chuỗi

Bộ chỉ mục chuỗi khối đóng vai trò cực kỳ quan trọng trong việc tổ chức dữ liệu trên chuỗi và gửi nó vào cơ sở dữ liệu để thuận tiện cho việc truy vấn, đó là lý do tại sao chúng thường được gọi là "Google của blockchain". Cách hoạt động của chúng là chỉ mục dữ liệu chuỗi khối và làm cho nó sẵn sàng bất kỳ lúc nào bằng ngôn ngữ truy vấn giống như SQL (sử dụng các API như GraphQL). Bằng cách cung cấp giao diện truy vấn thống nhất cho dữ liệu, chỉ mục cho phép nhà phát triển truy xuất thông tin cần thiết một cách nhanh chóng và chính xác bằng ngôn ngữ truy vấn tiêu chuẩn, từ đó giản lược quá trình đáng kể.

Các loại chỉ mục khác nhau được tối ưu hóa dữ liệu truy vấn thông qua các cách thức khác nhau:

1. Chỉ mục nút đầy đủ: Những chỉ mục này chạy một nút blockchain đầy đủ và trực tiếp trích xuất dữ liệu từ đó, đảm bảo dữ liệu đầy đủ và chính xác, nhưng yêu cầu khả năng lưu trữ và xử lý lớn.
2. Chỉ mục nhẹ: Những chỉ mục này dựa vào nút đầy đủ để lấy dữ liệu cụ thể theo nhu cầu, từ đó giảm yêu cầu lưu trữ nhưng có thể làm tăng thời gian truy vấn.
3. Chỉ mục chuyên dụng: Các chỉ mục này được tối ưu hóa cho một số loại dữ liệu hoặc một số chuỗi khối cụ thể, như dữ liệu NFT hoặc giao dịch DeFi cụ thể.
4. Trình chỉ mục tổng hợp: Những trình chỉ mục này trích xuất dữ liệu từ nhiều blockchain và nguồn, bao gồm thông tin ngoại chuỗi, cung cấp giao diện truy vấn thống nhất, điều đó đặc biệt hữu ích đối với các ứng dụng phi tập trung đa chuỗi.

Chỉ cần Ethereum cũng cần 3TB không gian lưu trữ và với sự tăng lên không ngừng của blockchain, lượng dữ liệu lưu trữ của nút lưu trữ Erigon cũng sẽ tăng lên. Giao thức chỉ mục triển khai nhiều chỉ mục triển khai, có thể chỉ mục hiệu quả và truy vấn nhanh chóng lượng lớn dữ liệu, điều này là điều mà RPC không thể thực hiện được.

Trình chỉ mục cũng cho phép truy vấn phức tạp, lọc dữ liệu dễ dàng theo các tiêu chuẩn khác nhau và phân tích dữ liệu sau khi trích xuất. Một số trình chỉ mục cũng cho phép tổng hợp dữ liệu từ nhiều nguồn khác nhau, giúp tránh việc triển khai nhiều API trong các ứng dụng đa chuỗi. Bằng cách phân tán trên nhiều nút, trình chỉ mục cung cấp tính bảo mật và hiệu suất cao hơn, trong khi nhà cung cấp RPC có thể gặp sự cố và gián đoạn do tính tập trung của nó.

Nói chung, so với nhà cung cấp nút RPC, chỉ mục tăng cường hiệu suất và đáng tin cậy của việc truy xuất dữ liệu, đồng thời giảm chi phí triển khai một nút đơn lẻ. Điều này làm cho giao thức chỉ mục blockchain trở thành lựa chọn hàng đầu của các nhà phát triển dApp.

Ví dụ về chỉ mục

Như đã mô tả trước đó, việc xây dựng dApp đòi hỏi việc truy xuất và đọc dữ liệu blockchain để có thể chạy dịch vụ của nó. Điều này bao gồm bất kỳ loại dApp nào, bao gồm cả DeFi, nền tảng NFT, trò chơi và thậm chí là mạng xã hội, vì những nền tảng này cần phải đọc dữ liệu trước khi có thể thực hiện các giao dịch khác.

DeFi

Giao thức DeFi yêu cầu thông tin khác nhau để đưa ra giá cụ thể, tỷ lệ, phí v.v. cho người dùng. Nhà cung cấp thanh khoản tự động (AMM) cần thông tin về giá trị và thanh khoản của một số hồ bơi tiền để tính lãi suất trả trước, trong khi giao thức vay mượn cần tỷ lệ sử dụng để xác định lãi suất vay mượn và tỷ lệ nợ thanh lý. Trước khi tính lãi suất mà người dùng thực hiện, việc nhập thông tin vào ứng dụng phi tập trung của họ là cần thiết.

Trò chơi

GameFi cần truy cập và truy xuất dữ liệu nhanh chóng để đảm bảo người dùng có thể chơi game một cách mượt mà. Chỉ thông qua việc truy xuất và thực hiện dữ liệu như chớp, các trò chơi Web3 mới có thể sánh ngang về hiệu suất với các trò chơi Web2, từ đó thu hút nhiều người dùng hơn. Những trò chơi này cần dữ liệu về sở hữu đất đai, số dư token trong game, hoạt động trong game và nhiều hơn nữa. Bằng cách sử dụng bộ chỉ mục, họ có thể đảm bảo luồng dữ liệu ổn định hơn và thời gian hoạt động ổn định hơn, từ đó đảm bảo trải nghiệm game hoàn hảo.

NFT

Thị trường NFT và nền tảng cho vay cần truy cập dữ liệu chỉ mục để truy cập các thông tin khác nhau, chẳng hạn như dữ liệu siêu dữ liệu NFT, dữ liệu sở hữu và chuyển nhượng, thông tin bản quyền v.v. Chỉ mục nhanh chóng các dữ liệu này có thể tránh phải duyệt từng NFT để tìm kiếm thông tin sở hữu hoặc thuộc tính NFT.

Dù là DeFi tự động làm thị trường (AMM) cần thông tin về giá cả và thanh khoản, hay ứng dụng SocialFi cần cập nhật bài đăng mới của người dùng, việc truy xuất dữ liệu một cách nhanh chóng là vô cùng quan trọng đối với việc hoạt động bình thường của dApp. Với trình chỉ mục, chúng có thể truy xuất dữ liệu một cách hiệu quả và chính xác, từ đó mang lại trải nghiệm người dùng mượt mà.

Phân tích

Trình lập chỉ mục cung cấp một cách để trích xuất dữ liệu cụ thể từ dữ liệu Blockchain thô, bao gồm hợp đồng thông minh sự kiện trong mỗi khối. Điều này mở ra cơ hội phân tích dữ liệu cụ thể hơn cung cấp thông tin chi tiết toàn diện.

Ví dụ, giao thức giao dịch vĩnh viễn có thể xác định được khối lượng giao dịch lớn của loại token nào, loại token nào sẽ tạo ra phí, từ đó quyết định xem liệu có nên liệt kê những loại token này như là hợp đồng vĩnh viễn trên nền tảng của họ hay không. Nhà phát triển DEX có thể tạo bảng điều khiển cho sản phẩm của họ, để hiểu rõ hơn về tỷ suất lợi nhuận cao nhất hoặc thanh khoản mạnh mẽ của những hồ tiền nào. Họ cũng có thể tạo bảng điều khiển công cộng, cho phép nhà phát triển có thể linh hoạt và tự do truy vấn bất kỳ loại dữ liệu nào muốn hiển thị trên biểu đồ.

Do việc có nhiều trình chỉ mục blockchain khả dụng, việc nhận biết sự khác biệt giữa các giao thức chỉ mục là rất quan trọng để đảm bảo các nhà phát triển chọn được trình chỉ mục phù hợp nhất với nhu cầu của họ.

Tổng quan về chỉ mục blockchain

Tổng quan về trình chỉ mục

Đồ thị

The Graph là giao thức chỉ mục đầu tiên được triển khai trên Ethereum, nó cho phép truy vấn dữ liệu giao dịch trước đây khó truy cập một cách dễ dàng. Nó sử dụng các subgraph để xác định và lọc một tập hợp con dữ liệu được thu thập từ blockchain, ví dụ như tất cả các giao dịch liên quan đến hồi quy Uniswap v3 USDC/ETH.

Sử dụng chứng chỉ chỉ mục, người chỉ mục phải thế chấp đồng GRT gốc để cung cấp dịch vụ chỉ mục và truy vấn. Người ủy quyền có thể chọn đặt cược đồng token của mình ở đây. Người việt dữ liệu có chất lượng cao có thể truy cập vào các siêu đồ để giúp người chỉ mục xác định phải lập chỉ mục dữ liệu cho các siêu đồ nào để kiếm được phí truy vấn tốt nhất. Trong quá trình chuyển tiếp sang phi tập trung hơn, The Graph cuối cùng sẽ dừng dịch vụ lưu trữ của mình và yêu cầu các siêu đồ nâng cấp lên mạng của mình đồng thời cung cấp nâng cấp cho người chỉ mục.

Cơ sở hạ tầng của nó giúp giảm chi phí trung bình cho mỗi triệu lần truy vấn xuống còn 40 đô la, thấp hơn rất nhiều so với chi phí của nút tự lưu trữ. Sử dụng nguồn dữ liệu tệp, nó cũng hỗ trợ việc tạo chỉ mục song song cho dữ liệu trên chuỗi và dữ liệu ngoại chuỗi, để thực hiện việc truy xuất dữ liệu hiệu quả.

Xem phần thưởng chỉ mục của The Graph, nó đã tăng ổn định trong vài quý trước. Điều này một phần là do sự tăng của lượng truy vấn, nhưng cũng do giá token tăng lên, vì họ dự định tích hợp trợ lý trí tuệ nhân tạo vào truy vấn trong tương lai.

Subsquid

Subsquid là một hồ dữ liệu phi tập trung có thể mở rộng ngang hàng từng điểm, có thể tổng hợp hiệu quả lượng lớn dữ liệu trên chuỗi và ngoại chuỗi, và được bảo vệ thông qua bằng chứng không kiến thức. Là một mạng lưới công nhân phi tập trung, mỗi nút chịu trách nhiệm lưu trữ dữ liệu từ tập con khối cụ thể, và tăng tốc quá trình truy xuất dữ liệu bằng cách xác định nhanh chóng nút lưu trữ dữ liệu cần thiết.

Subsquid cũng hỗ trợ chỉ mục thời gian thực, cho phép chỉ mục trước khi khối được xác nhận cuối cùng. Nó cũng hỗ trợ lưu trữ dữ liệu theo định dạng do nhà phát triển lựa chọn, từ đó dễ dàng phân tích hơn với các công cụ như BigQuery, Parquet hoặc CSV. Ngoài ra, các tiểu đồ có thể triển khai trên mạng lưới Subsquid mà không cần chuyển sang SDK Mực, từ đó thực hiện triển khai không cần mã.

Mặc dù vẫn ở giai đoạn Testnet, Subsquid đã có số liệu thống kê ấn tượng với hơn 80,000 người dùng Testnet, triển khai hơn 60,000 chỉ số Squid, và hơn 20,000 nhà phát triển đã được xác minh trên mạng. Gần đây, vào ngày 3 tháng 6, Subsquid đã triển khai mạng chính của hồ dữ liệu của họ.

Ngoại việ việc đề cữ, Mảng Subsquid có thể thay thế RPC trong trường hợp sử dụng khác nhau như phân tích, bộ xử lý ZK/TEE, ông cố AI và Oracle.

SubQuery

SubQuery là một mạng cơ sở hạ tầng trung gian phi tập trung cung cấp dịch vụ dữ liệu RPC và chỉ mục. Ban đầu, nó hỗ trợ mạng Polkadot và Substrate và hiện đã mở rộng đến hơn 200 chuỗi. Cách hoạt động của nó tương tự như The Graph sử dụng chứng chỉ chỉ mục, trình chỉ mục chỉ mục dữ liệu và cung cấp yêu cầu truy vấn, người đại diện đặt cược cổ phần của họ vào trình chỉ mục. Tuy nhiên, nó giới thiệu người tiêu dùng để đặt lệnh mua hàng, cho thấy thu nhập của trình chỉ mục được đảm bảo, chứ không phải là quản trị viên.

Nó sẽ giới thiệu nút dữ liệu SubQuery hỗ trợ phân mảnh để ngăn mỗi nút liên tục đồng bộ dữ liệu mới, từ đó tối ưu hóa hiệu suất truy vấn, đồng thời tiến tới sự phi tập trung lớn hơn. Người dùng có thể chọn thanh toán khoảng 1 SQT Token cho mỗi 1000 yêu cầu tính toán, hoặc thiết lập phí tùy chỉnh cho trình chỉ mục thông qua giao thức.

Mặc dù SubQuery chỉ ra mắt token của mình vào đầu năm nay, nhưng giá trị phát hành phần thưởng cho các nút và người ủy nhiệm đã tăng lên so với tháng trước theo giá trị đô la, điều này cũng cho thấy số lượng dịch vụ truy vấn mà nền tảng cung cấp đang không ngừng tăng. Từ khi TGE được tiến hành, tổng số lượng SQT được thế chấp đã tăng từ 6 triệu lên 125 triệu, cho thấy sự gia tăng của sự tham gia mạng lưới.

Covalent

Covalent là một mạng lưới chỉ mục phi tập trung, được tạo ra bởi các nút mạng sản xuất mẫu khối (BSP) thông qua việc xuất khẩu hàng loạt để tạo bản sao dữ liệu chuỗi khối và công bố chứng minh trên chuỗi L1 của Covalent. Sau đó, dữ liệu này được mạng nút sản xuất kết quả khối (BRP) tinh chỉnh theo các quy tắc đã đặt để lọc ra những dữ liệu phù hợp.

Với API thống nhất, các nhà phát triển có thể dễ dàng truy xuất dữ liệu blockchain liên quan với định dạng yêu cầu và phản hồi nhất quán, không cần phải viết truy vấn tùy chỉnh phức tạp để truy cập dữ liệu. Các bộ dữ liệu này được cấu hình trước có thể được trích xuất từ nhà cung cấp dịch vụ mạng bằng CQT Token được thanh toán trên Moonbeam.

Phần thưởng của Covalent dường như gia tăng từ Quý 1 năm 23 đến Quý 1 năm 24, một phần là do giá token Covalent (CQT) tăng lên.

Lưu ý khi chọn bộ chỉ mục

Tính tuỳ chỉnh của dữ liệu

Một số chỉ mục (ví dụ: Covalent) là chỉ mục chung, chỉ cung cấp bộ dữ liệu được cấu hình trước theo tiêu chuẩn thông qua API. Mặc dù chúng có thể nhanh, nhưng chúng không linh hoạt đối với các nhà phát triển cần bộ dữ liệu tùy chỉnh. Bằng cách sử dụng khung chỉ mục, nó cho phép xử lý dữ liệu tùy chỉnh hơn để đáp ứng nhu cầu cụ thể của ứng dụng.

An toàn

Dữ liệu chỉ mục phải an toàn, nếu không, dApp được xây dựng dựa trên những chỉ mục này cũng dễ bị tấn công. Ví dụ, nếu giao dịch và số dư ví có thể bị thao tác, dApp có thể mất thanh khoản, từ đó ảnh hưởng đến người dùng của nó. Mặc dù tất cả các chỉ mục đều sử dụng token thế chấp chỉ mục để áp dụng một loại an toàn nào đó, nhưng các giải pháp chỉ mục khác có thể sử dụng bằng chứng để tăng cường an toàn.

Subsquid cung cấp tùy chọn sử dụng các chứng minh lạc quan và chứng minh không kiến thức, trong khi Covalent phát hành các chứng minh chứa giá trị băm khối. Graph cung cấp thời gian thách thức tranh chấp cho các câu hỏi truy vấn bằng cách sử dụng cửa sổ thách thức lạc quan, trong khi SubQuery tạo ra chứng minh Merkle Mountain cho mỗi khối để tính toán giá trị băm của tất cả dữ liệu lưu trữ trong cơ sở dữ liệu của nó.

Tốc độ và khả năng mở rộng

Với sự gia tăng không ngừng của Blockchain, khối lượng giao dịch cũng tăng lên điều này làm cho việc chỉ mục một lượng lớn dữ liệu trở nên phức tạp hơn vì cần thêm năng lực xử lý và không gian lưu trữ hơn. Với sự tăng trưởng của mạng lưới Blockchain, việc duy trì hiệu quả trở nên khó khăn hơn, nhưng giao thức chỉ mục đã giới thiệu các giải pháp để đáp ứng nhu cầu ngày càng tăng này.

Ví dụ, Subsquid thực hiện mở rộng theo chiều ngang bằng cách thêm nhiều nút để lưu trữ dữ liệu, và có thể mở rộng khi cải tiến phần cứng. Graph cung cấp luồng dữ liệu song song để đồng bộ dữ liệu nhanh hơn, trong khi SubQuery áp dụng phân mảnh nút để tăng tốc quá trình đồng bộ.

Mạng được hỗ trợ

Mặc dù hầu hết các hoạt động blockchain vẫn diễn ra trên Ethereum, nhưng theo thời gian, các chuỗi blockchain khác nhau cũng ngày càng phổ biến hơn. Ví dụ, Layer 2s, Solana, chuỗi Move và chuỗi hệ sinh thái Bitcoin đều có một bộ phát triển và hoạt động ngày càng tăng lên của riêng mình, điều này cũng cần dịch vụ chỉ số.

Việc hỗ trợ các chuỗi mà các giao thức chỉ mục khác không hỗ trợ có thể đem lại thêm cơ hội thị trường và phí. Hỗ trợ chỉ mục cho các mạng dữ liệu mật độ cao (như Solana) không phải là điều dễ dàng, cho đến nay chỉ có Subsquid thành công trong việc cung cấp hỗ trợ chỉ mục cho chúng.

Kết luận

Mặc dù chỉ số hóa được sử dụng rộng rãi trong phát triển dApp, nhưng tiềm năng của chỉ số hóa vẫn rất lớn, đặc biệt là trong trường hợp tích hợp trí tuệ nhân tạo. Khi trí tuệ nhân tạo ngày càng phổ biến trong Web2 và Web3, khả năng cải thiện của nó phụ thuộc vào việc truy cập dữ liệu liên quan để huấn luyện mô hình và phát triển đại lý trí tuệ nhân tạo. Đảm bảo tính toàn vẹn của dữ liệu quan trọng đối với ứng dụng trí tuệ nhân tạo, vì điều này có thể ngăn chặn mô hình bị nhập vào thông tin thiên vị hoặc không chính xác.

Trong lĩnh vực giải pháp chỉ mục, Subsquid đã đạt được tiến bộ đáng kể về hiệu suất và chỉ số người dùng. Người dùng đã bắt đầu thử nghiệm việc sử dụng Subsquid để xây dựng đại lý trí tuệ nhân tạo (AI), thể hiện tính đa chức năng và tiềm năng của nền tảng này trong lĩnh vực chỉ mục dữ liệu đang phát triển liên tục. Ngoài ra, các công cụ như AutoAgora giúp chỉ mục sử dụng AI để cung cấp định giá động cho dịch vụ truy vấn trên The Graph, trong khi SubQuery hỗ trợ nhiều mạng AI (như OriginTrail và Oraichain) để thực hiện chỉ mục dữ liệu minh bạch.

Sự tích hợp trí tuệ nhân tạo và trình chỉ mục có thể tăng cường tính khả truy cập và sử dụng dữ liệu trong hệ sinh thái blockchain. Bằng cách sử dụng công nghệ trí tuệ nhân tạo, trình chỉ mục có thể cung cấp tính năng tìm kiếm dữ liệu hiệu quả và chính xác hơn, giúp các nhà phát triển xây dựng các dApp và công cụ phân tích phức tạp hơn. Khi trí tuệ nhân tạo và trình chỉ mục tiếp tục phát triển cùng nhau, chúng ta vẫn lạc quan về tương lai của chỉ mục dữ liệu và vai trò của nó trong việc định hình mô hình số phi tập trung.