Pentingnya Data dalam Blockchain dan Cara Mencarikannya

Data adalah inti dari teknologi Blockchain, yang sangat penting untuk mengembangkan aplikasi terdesentralisasi (dApp). Meskipun saat ini banyak diskusi berfokus pada ketersediaan data (DA), aksesibilitas data juga sama pentingnya namun sering diabaikan.

Di era blockchain modular, solusi DA telah menjadi kebutuhan. Mereka memastikan semua peserta dapat menggunakan data transaksi, sehingga memungkinkan verifikasi waktu nyata dan menjaga integritas jaringan. Namun, lapisan DA lebih mirip papan iklan daripada database, yang berarti data tidak disimpan secara permanen, tetapi akan dihapus seiring berjalannya waktu.

Sebagai perbandingan, aksesibilitas data lebih fokus pada kemampuan untuk mengambil data historis, yang sangat penting untuk pengembangan dApp dan analisis Blockchain. Meskipun pembahasannya lebih sedikit, itu sama pentingnya dengan ketersediaan data. Keduanya memainkan peran yang berbeda tetapi saling melengkapi dalam ekosistem Blockchain, pendekatan manajemen data yang komprehensif harus menangani kedua masalah ini secara bersamaan untuk mendukung aplikasi Blockchain yang kuat dan efisien.

Metode Tradisional untuk Memeriksa Data Blockchain

Blockchain telah mengubah infrastruktur secara drastis sejak lahirnya, dan mendorong penciptaan dApp di berbagai bidang seperti permainan, keuangan, dan jejaring sosial. Namun, membangun dApp ini memerlukan akses ke sejumlah besar data blockchain, yang sulit dan mahal.

Bagi pengembang dApp, salah satu pilihan adalah menghosting dan menjalankan node RPC arsip mereka sendiri. Node ini menyimpan semua data blockchain sejarah sejak awal, memungkinkan akses penuh ke data. Namun, pemeliharaan node arsip sangat mahal, kemampuan kueri terbatas, dan tidak dapat mengkueri data dalam format yang diperlukan oleh pengembang. Meskipun menjalankan node yang lebih murah adalah salah satu pilihan, kemampuan pengambilan data dari node ini terbatas, yang dapat menghambat operasi dApp.

Metode lain adalah menggunakan penyedia node RPC komersial. Penyedia ini bertanggung jawab atas biaya dan pengelolaan node, dan menyediakan data melalui endpoint RPC. Endpoint RPC publik gratis tetapi memiliki batasan kecepatan, yang dapat mempengaruhi pengalaman pengguna dApp. Endpoint RPC pribadi menawarkan kinerja yang lebih baik dengan mengurangi kemacetan, tetapi bahkan pengambilan data sederhana memerlukan banyak komunikasi bolak-balik. Ini membuatnya berat permintaan dan tidak efisien untuk kueri data yang kompleks. Selain itu, endpoint RPC pribadi sering kali sulit untuk diskalakan dan kurang kompatibel di berbagai jaringan.

Pilihan yang lebih baik: Blockchain Indexer

Pengindeks blockchain memainkan peran kunci dalam mengorganisir data di atas rantai dan mengirimkannya ke database untuk memudahkan pencarian, sehingga sering disebut sebagai "Google dari blockchain". Mereka mengindeks data blockchain dan menggunakan bahasa kueri mirip SQL ( seperti GraphQL API ) untuk membuatnya tersedia. Dengan menyediakan antarmuka kueri yang terstandarisasi, pengindeks memungkinkan pengembang untuk dengan cepat dan akurat mengambil informasi yang diperlukan, sangat menyederhanakan proses.

Berbagai jenis pengindeks mengoptimalkan pengambilan data dengan berbagai cara:

1. Pengindeks Node Lengkap: Menjalankan node blockchain lengkap dan secara langsung mengekstrak data, memastikan data lengkap dan akurat, tetapi memerlukan banyak penyimpanan dan kemampuan pemrosesan.

2. Pengindeks Ringan: Bergantung pada node lengkap untuk mendapatkan data tertentu sesuai permintaan, mengurangi kebutuhan penyimpanan tetapi mungkin meningkatkan waktu kueri.

3. Pengindeks Khusus: Mengoptimalkan pencarian untuk jenis data atau blockchain tertentu, seperti data NFT atau transaksi DeFi.

4. Pengindeks Agregat: Mengambil data dari berbagai Blockchain dan sumber, termasuk informasi off-chain, menyediakan antarmuka kueri yang terpadu, sangat berguna untuk dApp multi-chain.

Hanya Ethereum yang membutuhkan ruang penyimpanan 3TB, dan terus meningkat seiring pertumbuhan blockchain. Protokol pengindeks mengerahkan beberapa pengindeks, yang dapat mengindeks secara efisien dan melakukan kueri data dalam jumlah besar dengan cepat, sesuatu yang tidak dapat dilakukan oleh RPC.

Indexer juga memungkinkan kueri kompleks, memfilter data dengan mudah, dan mengekstrak data setelah analisis. Beberapa indexer dapat mengagregasi data dari beberapa sumber, menghindari penyebaran beberapa API di dApp multi-chain. Dengan tersebar di beberapa node, indexer memberikan keamanan dan kinerja yang lebih baik, sementara penyedia RPC mungkin mengalami gangguan dan downtime karena karakteristik terpusat.

Singkatnya, dibandingkan dengan penyedia node RPC, pengindeks meningkatkan efisiensi dan keandalan pengambilan data, sambil mengurangi biaya untuk menerapkan satu node. Ini menjadikan protokol pengindeks blockchain sebagai pilihan utama bagi pengembang dApp.

Contoh Pengindeks

Membangun dApp memerlukan pencarian dan pembacaan data Blockchain agar dapat menjalankan layanan. Ini mencakup segala jenis dApp, seperti DeFi, platform NFT, permainan, bahkan jejaring sosial, karena platform ini perlu membaca data terlebih dahulu sebelum melakukan transaksi lainnya.

DeFi

Protokol DeFi memerlukan informasi yang berbeda untuk memberikan harga, rasio, biaya, dan lain-lain yang spesifik kepada pengguna. Automated Market Maker (AMM) membutuhkan informasi harga dan likuiditas dari pool untuk menghitung suku bunga swap, sedangkan protokol pinjam-meminjam perlu menggunakan rasio pemanfaatan untuk menentukan suku bunga pinjaman dan rasio utang likuidasi. Memasukkan informasi ke dalam dApp adalah hal yang tak terhindarkan sebelum menghitung suku bunga yang dieksekusi oleh pengguna.

Permainan

GameFi perlu melakukan pengindeksan dan akses data dengan cepat, untuk memastikan pengalaman bermain yang lancar bagi pengguna. Hanya melalui pengambilan dan eksekusi data yang cepat, permainan Web3 dapat bersaing dalam kinerja dengan permainan Web2, sehingga menarik lebih banyak pengguna. Permainan ini memerlukan data seperti kepemilikan tanah, saldo token dalam permainan, dan operasi dalam permainan. Dengan menggunakan pengindeks, mereka dapat lebih baik memastikan aliran data yang stabil dan waktu operasi yang normal, menjamin pengalaman bermain yang sempurna.

NFT

Pasar NFT dan platform pinjaman perlu mengindeks data untuk mengakses berbagai informasi, seperti metadata NFT, data kepemilikan dan transfer, informasi royalti, dan sebagainya. Pengindeksan data semacam ini dengan cepat dapat menghindari penelusuran setiap NFT satu per satu untuk mencari data kepemilikan atau atribut NFT.

Baik itu AMM( yang merupakan pembuat pasar otomatis DeFi yang membutuhkan informasi harga dan likuiditas, atau aplikasi SocialFi yang memerlukan pembaruan postingan pengguna baru, kemampuan untuk cepat mengambil data sangat penting untuk operasi normal dApp. Dengan bantuan pengindeks, mereka dapat mengambil data dengan efisien dan akurat, memberikan pengalaman pengguna yang lancar.

Analisis

Indexer menyediakan cara untuk mengekstrak data tertentu dari data blockchain asli ) yang mencakup peristiwa kontrak pintar dalam setiap blok (. Ini memberikan kesempatan untuk analisis data yang lebih spesifik, sehingga memberikan wawasan yang komprehensif.

Misalnya, protokol perdagangan perpetual dapat mengidentifikasi token mana yang memiliki volume perdagangan besar, token mana yang akan menghasilkan biaya, sehingga memutuskan apakah akan mencantumkan token-token ini sebagai kontrak perpetual di platform mereka. Pengembang DEX dapat membuat dasbor untuk produk mereka sendiri, untuk memahami lebih dalam tentang kolam dana mana yang memiliki imbal hasil tertinggi atau likuiditas terkuat. Mereka juga dapat membuat dasbor publik, memungkinkan pengembang untuk dengan bebas dan fleksibel melakukan query terhadap jenis data apa pun yang ingin ditampilkan di grafik.

Karena ada beberapa pengindeks blockchain yang tersedia, mengenali perbedaan antara protokol pengindeks sangat penting untuk memastikan pengembang memilih pengindeks yang paling sesuai dengan kebutuhan mereka.

Blockchain Indexer Overview

The Graph

The Graph adalah protokol pengindeks pertama yang diluncurkan di Ethereum, yang memungkinkan untuk dengan mudah mencari data transaksi yang sebelumnya sulit diakses. Ia menggunakan definisi dan penyaringan subgraf untuk mengumpulkan subset data dari Blockchain, seperti semua transaksi yang terkait dengan kolam DEX USDC/ETH.

Menggunakan bukti indeks, penyedia indeks mempertaruhkan token asli GRT untuk layanan indeks dan kueri, dan delegator dapat memilih untuk mempertaruhkan token mereka di sini. Kurator dapat mengakses subgraf berkualitas tinggi, membantu penyedia indeks menentukan subgraf mana yang harus diberi data untuk mendapatkan biaya kueri terbaik. Dalam proses transisi menuju desentralisasi yang lebih besar, The Graph akhirnya akan menghentikan layanan hostingnya dan meminta subgraf untuk meningkatkan ke jaringannya, sekaligus menyediakan penyedia indeks yang ditingkatkan.

Infrastruktur dasarnya membuat biaya rata-rata untuk setiap satu juta kueri mencapai 40 dolar, jauh lebih rendah dibandingkan dengan biaya node yang dikelola sendiri. Dengan menggunakan sumber data file, ia juga mendukung pengindeksan paralel untuk data on-chain dan off-chain secara bersamaan, untuk mencapai pengambilan data yang efisien.

Hadiah pengindeks The Graph secara bertahap meningkat dalam beberapa kuartal terakhir. Ini sebagian disebabkan oleh meningkatnya jumlah query, tetapi juga dikaitkan dengan meningkatnya harga token, karena mereka berencana untuk mengintegrasikan query yang dibantu oleh kecerdasan buatan di masa depan.

![Pengembangan Akses Data Web3: Pengenalan Pencari Indeks dan Proyek Terkait])https://img-cdn.gateio.im/webp-social/moments-53dbb4fd659cf6a7184990c886901658.webp(

Subsquid

Subsquid adalah danau data terdesentralisasi yang dapat diskalakan secara horizontal dan peer-to-peer, yang dapat mengagregasi sejumlah besar data on-chain dan off-chain dengan efisien, serta dilindungi melalui bukti nol-pengetahuan. Sebagai jaringan pekerja terdesentralisasi, setiap node bertanggung jawab untuk menyimpan data dari subset blok tertentu, mempercepat proses pengambilan data dengan mengidentifikasi node yang menyimpan data yang diperlukan dengan cepat.

Subsquid juga mendukung pengindeksan real-time, memungkinkan pengindeksan sebelum blok dikonfirmasi secara permanen. Ini mendukung penyimpanan data dalam format yang dipilih oleh pengembang, memudahkan analisis menggunakan alat seperti BigQuery, Parquet, atau CSV. Selain itu, subgraf dapat dideploy di jaringan Subsquid tanpa perlu migrasi ke Squid SDK, memungkinkan penggelaran tanpa kode.

Meskipun masih dalam tahap jaringan pengujian, Subsquid telah mencapai statistik yang mengesankan, dengan lebih dari 80.000 pengguna jaringan pengujian, menerapkan lebih dari 60.000 pengindeks Squid, dan lebih dari 20.000 pengembang terverifikasi di jaringan. Baru-baru ini, Subsquid meluncurkan jaringan utama untuk danau datanya.

Selain indeks, danau data Subsquid Network juga dapat menggantikan RPC dalam kasus penggunaan seperti analisis, ZK/TEE co-processor, agen AI, dan Oracle.

SubQuery

SubQuery adalah jaringan infrastruktur middleware terdesentralisasi yang menyediakan layanan RPC dan pengindeksan data. Awalnya mendukung jaringan Polkadot dan Substrate, kini telah berkembang mencakup lebih dari 200 rantai. Cara kerjanya mirip dengan The Graph yang menggunakan bukti pengindeksan, di mana pengindeks mengindeks data dan menyediakan permintaan kueri, sementara delegator mempertaruhkan saham mereka kepada pengindeks. Namun, ia memperkenalkan konsumen untuk mengajukan pesanan pembelian, untuk menunjukkan bahwa pendapatan pengindeks terjamin, alih-alih pengelola.

Ini akan memperkenalkan node data SubQuery yang mendukung sharding, untuk mencegah sinkronisasi data baru yang terus menerus antar node, sehingga mengoptimalkan efisiensi kueri, sambil menuju desentralisasi yang lebih besar. Pengguna dapat memilih untuk membayar biaya komputasi sekitar 1 SQT token untuk setiap 1000 permintaan, atau menetapkan biaya kustom untuk pengindeks melalui protokol.

Meskipun SubQuery baru meluncurkan tokennya lebih awal tahun ini, namun imbalan penerbitan untuk node dan delegator juga meningkat secara bulanan dalam nilai dolar, yang juga mencerminkan peningkatan jumlah layanan kueri yang ditawarkan di platformnya. Sejak TGE, total SQT yang dipertaruhkan telah meningkat dari 6 juta menjadi 125 juta, menyoroti peningkatan partisipasi jaringan.

Covalent

Covalent adalah jaringan pengindeks terdesentralisasi, yang dibuat oleh produsen sampel blok )BSP( node jaringan melalui cara ekspor massal untuk membuat salinan data blockchain, dan menerbitkan bukti di blockchain Covalent L1. Data ini kemudian dirinci oleh produsen hasil blok )BRP( node sesuai dengan aturan yang ditetapkan untuk menyaring data yang memenuhi syarat.

Dengan API yang terpadu, pengembang dapat dengan mudah mengekstrak data Blockchain yang relevan dalam format permintaan dan respons yang konsisten, tanpa perlu menulis kueri kompleks yang kustom untuk mengakses data. Token CQT yang diselesaikan di Moonbeam dapat digunakan sebagai metode pembayaran untuk mengakses dataset yang telah dikonfigurasi sebelumnya dari penyedia jaringan.

Hadiah Covalent dari kuartal pertama 23 tahun hingga kuartal pertama 24 tahun tampaknya menunjukkan tren pertumbuhan secara keseluruhan, sebagian disebabkan oleh kenaikan harga token Covalent CQT.

![Perkembangan Akses Data Web3: Pengenalan Indeks dan Proyek Terkait])https://img-cdn.gateio.im/webp-social/moments-52ee29205aa307720198994a5f3de61f.webp(

Pertimbangan dalam Memilih Indeks

Kustomisasi Data

Beberapa pengindeks ) seperti Covalent ( adalah pengindeks umum, yang hanya menyediakan dataset prakonfigurasi standar melalui API. Meskipun mereka mungkin cepat, tetapi tidak memberikan fleksibilitas bagi pengembang yang membutuhkan dataset kustom. Dengan menggunakan kerangka pengindeks, ini memungkinkan pemrosesan data yang lebih kustom untuk memenuhi kebutuhan yang spesifik untuk aplikasi.

Keamanan

Data indeks harus aman, jika tidak, dApp yang dibangun berdasarkan indeks tersebut juga rentan terhadap serangan. Misalnya, jika transaksi dan saldo dompet dapat dimanipulasi, dApp bisa kehilangan likuiditas, yang berdampak pada penggunanya. Meskipun semua indeks menggunakan token staked untuk mengadopsi bentuk keamanan tertentu, solusi indeks lainnya mungkin menggunakan bukti untuk lebih meningkatkan keamanan.

Subsquid menyediakan opsi menggunakan bukti optimis dan bukti nol-pengetahuan, sementara Covalent juga merilis bukti yang mencakup nilai hash blok. Graph menyediakan periode tantangan untuk sengketa terkait kueri pengindeks dengan cara jendela tantangan optimis, sedangkan SubQuery