Web3 veri erişimi: dizinleyici ve ilgili projelerin tanıtımı

Yazar: Geng Kai, DFG

Blok zincirinde verilerin önemi

Veri, blockchain teknolojisinin temelidir ve merkezi olmayan uygulama (dApp) geliştirmenin temelidir. Şu anda çoğu tartışma veri erişilebilirliği (DA) etrafında dönüyor - her ağ katılımcısının doğrulama için en son işlem verilerine erişebildiğinden emin olmak - ancak genellikle göz ardı edilen eşit derecede önemli bir yön de vardır: veri erişilebilirliği.

Modüler blok zinciri çağında, DA çözümleri vazgeçilmez hale gelmiştir. Bu çözümler, tüm katılımcıların işlem verilerini kullanabilmesini sağlar, böylece ağın bütünlüğünü gerçek zamanlı olarak doğrular ve korur. Bununla birlikte, DA katmanının işlevi daha çok bir reklam panosu gibi bir veritabanıdır. Bu, verilerin süresiz olarak depolanmayacağı anlamına gelir; zamanla silinir ve sonunda bir reklam panosunda posterin yeni bir poster tarafından değiştirilmesi gibi.

Öte yandan, veri erişilebilirliği geçmiş verilerin alınabilme yeteneğine odaklanır ve dApp geliştirmek ve blockchain analizi yapmak için hayati öneme sahiptir. Bu yön, doğru temsil ve yürütme için geçmiş verilere erişme ihtiyacı olan görevler için hayati öneme sahiptir. Veri erişilebilirliği önemli olsa da, nadiren tartışılır, ancak veri kullanılabilirliği kadar önemlidir. Her ikisi de blockchain ekosisteminde farklı ama birbirini tamamlayan roller oynar ve güçlü ve verimli bir blockchain uygulamasını desteklemek için kapsamlı bir veri yönetimi yaklaşımı bu iki sorunu ele almalıdır.

Blockchain veri nasıl geri alındı

Doğduğu günden beri, blok zinciri altyapısını tamamen değiştirdi ve oyunlar, finans ve sosyal ağlar gibi her alanda merkezi olmayan uygulamaların (dApp) oluşturulmasını teşvik etti. Bununla birlikte, bu dApp'leri inşa etmek, büyük miktarda blok zinciri verisine erişim gerektirir, bu da hem zor hem de pahalıdır.

dApp geliştiricileri için bir seçenek, kendi arşiv RPC düğümlerini barındırmak ve çalıştırmaktır. Bu düğümler, başlangıçtan itibaren tüm geçmiş blok zinciri verilerini depolar ve verilere tam erişim izni verir. Ancak, arşiv düğümlerinin bakım maliyeti yüksektir ve sorgulama kapasitesi de sınırlıdır, bu nedenle verileri geliştiricilerin ihtiyaç duyduğu formatta sorgulamak mümkün olmayabilir. Daha ucuz düğümlerin çalıştırılması bir seçenek olsa da, bu düğümlerin veri alım kapasitesi sınırlıdır, bu da dApp'in çalışmasını engelleyebilir.

Başka bir yöntem, ticari RPC (uzak prosedür çağrısı) düğüm sağlayıcıları kullanmaktır. Bu sağlayıcılar düğüm maliyetini ve yönetimini üstlenir ve RPC uç noktaları aracılığıyla veri sağlar. Genel RPC uç noktaları ücretsizdir, ancak hız sınırlamaları vardır ve dApp kullanıcı deneyimini olumsuz etkileyebilir. Özel RPC uç noktaları, tıkanıklığı azaltarak daha iyi performans sağlar, ancak hatta basit veri alımı bile çok fazla geri dönüş iletişimi gerektirir. Bu, taleplerin yoğun olmasını sağlar ve karmaşık veri sorguları için verimsizdir. Ayrıca, özel RPC uç noktaları genellikle ölçeklendirilemez ve farklı ağlar arasında uyumluluk eksikliği gösterir.

Daha İyi Bir Alternatif: Blok Zinciri İndeksi

Blok zinciri dizinleyicileri, on-chain verileri düzenleyip veritabanına göndererek sorgulamayı kolaylaştıran kritik bir rol oynarlar. Bu yüzden sıklıkla 'blok zincirinin Google'ı' olarak adlandırılırlar. Çalışma prensipleri, blok zinciri verilerini dizinlemek ve GraphQL gibi API'ler kullanarak SQL benzeri sorgu diliyle (GraphQL vb.) her zaman erişilebilir hale getirmektir. Dizinleyiciler, sorgu verilerinin birleşik bir arayüzünü sağlayarak geliştiricilere istenen bilgileri hızlı ve doğru bir şekilde sorgulama imkanı sunar, böylelikle süreci büyük ölçüde basitleştirir.

Farklı türde dizinleyiciler, veri arama işlemini çeşitli yollarla optimize eder:

1. Tam düğüm dizinleyici: Bu dizinleyiciler tam bir blok zinciri düğümü çalıştırır ve verileri doğrudan oradan alır, verilerin tam ve doğru olmasını sağlar, ancak büyük miktarda depolama ve işleme gücü gerektirir.
2. Hafif İndeksleyici: Bu indeksleyiciler belirli verilere ihtiyaç duyulduğunda tam düğümlere güvenerek depolama gereksinimlerini azaltabilir ancak sorgu süresini artırabilir.
3. Özel İndeksleyici: Bu endeksleyiciler belirli veri türleri veya belirli blok zincirleri için optimize edilmiş, özel kullanım durumlarını arama için optimize edilmiş, örneğin NFT verileri veya DeFi işlemleri.
4. Birleşik İndeksleyici: Bu indeksleyiciler birden fazla blok zincirinden ve kaynaktan veri çıkarır, bunlar arasında off-chain bilgiler de bulunur ve çoklu zincirli dApp'ler için birleşik bir sorgu arabirimi sunar.

Sadece Ethereum'un depolama alanı olarak 3TB'a ihtiyacı var ve blok zincirinin sürekli yükselmesiyle, Erigon arşiv düğümünün veri depolama miktarı da sürekli artacaktır. İndeksleyici protokolü, çok sayıda veriyi verimli bir şekilde indeksleyip hızlı bir şekilde sorgulayabilen çoklu indeksleyiciyi dağıttı, bu, RPC'nin gerçekleştiremeyeceği bir şeydir.

İndeksleyici ayrıca karmaşık sorguları gerçekleştirmenize, farklı kriterlere göre verileri kolayca filtrelemenize ve verileri çıkarmak için analiz etmenize olanak tanır. Bazı indeksleyiciler ayrıca birden fazla kaynaktan gelen verileri birleştirmenize olanak tanır, böylece çoklu zincirli dApp'lerde birden fazla API dağıtmanın önüne geçilir. Birden çok düğümde dağıtılan indeksleyiciler, artırılmış güvenlik ve performans sağlar, bu da RPC sağlayıcılarının merkezi yapıları nedeniyle kesinti ve duruşmalarla karşılaşabileceği anlamına gelir.

Genel olarak, RPC düğüm sağlayıcılarına kıyasla, indeksleyici veri arama verimliliğini ve güvenilirliğini artırırken aynı zamanda tek bir düğümün dağıtım maliyetini düşürür. Bu, blok zinciri indeksleyici protokolünü dApp geliştiricilerinin tercih etmesini sağlar.

Örnek Dizinleyici

Yukarıda belirtildiği gibi, dApp'lerin hizmetlerini çalıştırabilmesi için blok zinciri verilerini alıp okuması gerekmektedir. Bu, DeFi, NFT platformları, oyunlar ve hatta sosyal ağlar gibi her türlü dApp'i içermektedir, çünkü bu platformlar diğer işlemleri gerçekleştirebilmek için önce veri okumalarını gerektirir.

DeFi

DeFi protokolü, belirli bir fiyat, oran, ücret vb. sunabilmek için farklı bilgilere ihtiyaç duyar. Otomatik Pazar Yapıcı (AMM), takas oranlarını hesaplamak için belirli likidite ve fiyat bilgilerine ihtiyaç duyar, kredi protokolleri ise borç faiz oranlarını ve teminat oranlarını belirlemek için kullanım oranlarına ihtiyaç duyar. Kullanıcıların uyguladığı faiz oranlarını hesaplarken, bilgileri dApp'lerine girmeleri kaçınılmazdır.

Oyun

GameFi, kullanıcıların oyunları sorunsuz bir şekilde oynamalarını sağlamak için verilere hızlı bir şekilde erişmek ve dizine eklemek gerektirir. Sadece hızlı veri alımı ve işleme ile Web3 oyunları, Web2 oyunlarıyla aynı performansı sunarak daha fazla kullanıcıyı çekebilir. Bu oyunlar arazi sahipliği, oyun içi token bakiyeleri, oyun içi işlemler gibi verilere ihtiyaç duyar. Dizinleyicileri kullanarak, istikrarlı veri akışını ve sorunsuz çalışma süresini sağlayarak mükemmel bir oyun deneyimi sağlayabilirler.

NFT

NFT piyasaları ve borç verme platformları, NFT metadata, sahiplik ve transfer verileri, telif bilgileri vb. gibi çeşitli bilgilere erişmek için veri dizinlemesi gerektirir. Bu tür verilerin hızlı bir şekilde dizinlenmesi, sahiplik veya NFT özellik verilerini aramak için her bir NFT'yi tek tek gözden geçirmekten kaçınmanıza yardımcı olur.

DeFi veya SocialFi uygulamaları için veri arama hızı ve doğruluğu, AMM gibi DeFi otomatik piyasa yapıcıları için fiyat ve likidite bilgisi gerektiren veya yeni kullanıcı gönderilerini güncellemek için gereken veriler için dApp'lerin normal çalışması için hayati önem taşır. İndeksleyiciler sayesinde, verileri verimli ve doğru bir şekilde arayabilirler, böylece sorunsuz bir kullanıcı deneyimi sunabilirler. 01928374656574839201

Analiz

İndeksleyici, özgün blok zinciri verilerinden belirli verilerin çıkarılmasını sağlayan bir yöntem sağlar (her blokta akıllı sözleşme olayları da dahil). Bu, daha spesifik veri analizi fırsatı sunar ve kapsamlı bir bakış sağlar.

Örneğin, perpetual swap protokolü hangi Token'ların hacimleri büyük, hangi Token'ların ücret üreteceğini belirleyerek, bu Token'ları platformlarına sürekli sözleşmeler olarak ekleyip eklememe kararını verebilir. DEX geliştiricileri kendi ürünleri için bir gösterge paneli oluşturabilir, en yüksek getirili veya en likit fon havuzlarını daha iyi anlamalarına yardımcı olabilirler. Ayrıca, geliştiriciler, grafikte görüntülenecek herhangi bir veri türünü özgürce sorgulayabilecekleri bir genel gösterge paneli oluşturabilirler.

Çeşitli blok zinciri dizinleyicileri mevcut olduğundan, geliştiricilerin ihtiyaçlarına en uygun dizinleyiciyi seçmelerinin sağlanması için dizin protokolleri arasındaki farkları tanımlamak son derece önemlidir.

Blok zinciri dizinleyicisi genel bakış

İndeksleyici Genel Bakış

The Graph

The Graph, Ethereum'da başlatılan bir indeksleyici protokolüdür ve önceden erişilmesi zor olan işlem verilerini kolayca sorgulamanızı sağlar. Blok zincirinden toplanan veri alt kümesi, Uniswap v3 USDC/ETH havuzuna ilişkin tüm işlemler gibi, alt grafiklerle tanımlanır ve filtrelenir.

İndeks kanıtları kullanarak, indeksleyici doğal GRT tokenini indeksleme ve sorgulama hizmetleri için stake etmek için seçebilirsiniz. Küratörler, indeksleyicinin en iyi sorgu ücretini kazanmak için hangi alt grafikleri veri için indeksleyeceğini belirlemesine yardımcı olmak için yüksek kaliteli alt grafiklere erişebilir. Daha merkezi olmayan bir yapıya doğru ilerlerken, The Graph sonunda barındırma hizmetlerini durduracak ve alt grafiklerin ağa yükselmesini ve indeksleyiciyi yükseltmelerini isteyecektir.

Altyapısı, her bir milyon sorgu için ortalama maliyeti 40 $'a çıkaran, kendi kendine barındırma düğümünden çok daha düşük maliyetli hale getiriyor. Dosya veri kaynağını kullanarak, hem on-chain hem de off-chain verilerini paralel olarak dizinlemeyi destekleyerek verimli veri araması gerçekleştirmek için.

The Graph'un indexer ödülleri, son birkaç çeyrekte istikrarlı bir şekilde artıyor. Bu kısmen sorgu hacminin artmasından kaynaklanıyor, ancak gelecekte yapay zeka destekli sorguları entegre etmeyi planladıkları için token fiyatındaki artışa da bağlanıyor.

Subsquid

Subsquid, verimli bir şekilde birçok on-chain ve off-chain veriyi bir araya getirip sıfır bilgi kanıtları ile korumaya olanak tanıyan, noktadan noktaya, yatay ölçeklenebilir bir merkeziyetsiz veri gölüdür. Merkezi olmayan bir işçi ağı olarak, her düğüm belirli bir blok alt kümesinden gelen verileri depolar ve gerekli verileri saklayan düğümleri hızlı bir şekilde tanıyarak veri arama sürecini hızlandırır.

Subsquid hala gerçek zamanlı dizinlemeyi destekliyor ve blok kesinleşmeden önce dizinlemeye izin veriyor. Ayrıca, geliştiricilerin seçtiği formatta veri depolamasını destekler, bu da BigQuery, Parquet veya CSV gibi araçlarla daha kolay analiz yapmayı sağlar. Ayrıca, alt grafikler Squid SDK'ya taşınmadan Subsquid ağı üzerinde dağıtılabilir, bu da kod olmadan dağıtım sağlar.

Testnet aşamasında olsa da, Subsquid etkileyici istatistik verileri elde etti, 80.000'den fazla testnet kullanıcısına sahip, 60.000'den fazla Squid dizini dağıttı ve doğrulanmış 20.000'den fazla geliştirici bulunuyor. Son olarak, 3 Haziran'da Subsquid veri havuzunu ana ağa taşıdı.

Subsquid Network veri gölcüğü, endeksleme dışında, analiz, ZK/TEE yardımcı işlemcileri, AI ajanları ve Oracle gibi kullanım durumlarında RPC'nin yerini alabilir.

SubQuery

SubQuery, RPC ve endeks veri hizmetleri sunan merkeziyetsiz bir orta yazılım altyapı ağıdır. Başlangıçta Polkadot ve Substrate ağlarını destekliyordu, ancak şu anda 200'den fazla zinciri kapsayacak şekilde genişledi. İşleyişi, veri endeksleyicilerinin veri endeksini sağladığı ve sorgu isteklerini gerçekleştirdiği The Graph tarafından kullanılan endeks kanıtlarını kullanmaya benzer. Ancak, gelirin endeksleyicinin güvence altına alındığını göstermek için tüketicilerin satın alma emri göndermesini sağlamak için bir tüketici modeli getirmiştir, yönetici modeli değil.

SubQuery veri düğümlerini parçalama desteği ile tanıtacak, böylece her düğümün yeni verileri sürekli senkronize etmesini önleyerek sorgulama verimliliğini optimize edecek ve daha büyük merkeziyetsizliğe doğru ilerleyecektir. Kullanıcılar, özel ücretleri ayarlamak için protokole veya yaklaşık 1000 istek başına 1 SQT token ödemek için seçim yapabilirler.

SubQuery, although its token was launched earlier this year, the issuance rewards for nodes and delegators have also increased in value in terms of USD, which also represents the continuous increase in the number of query services provided on its platform. Since TGE, the total amount of SQT staked has increased from 6 million to 12.5 million, highlighting the growth of its network participation.

Covalent

Covalent, merkeziyetsiz bir dizin ağıdır ve blok örneği üreticileri (BSP) ağı düğümleri tarafından toplu olarak dışa aktarılan blok zinciri verilerinin bir kopyasını oluşturmak ve Covalent L1 blok zinciri üzerinde kanıt yayınlamak için kullanılır. Bu veriler daha sonra blok sonuç üreticileri (BRP) düğümleri tarafından belirlenen kurallara göre detaylandırılır ve gereksinimlere uygun veriler seçilir.

Birleşik bir API aracılığıyla, geliştiriciler özel karmaşık sorgular yazmadan ilgili blok zinciri verilerini tutarlı bir şekilde isteyebilir ve alabilirler. Bu önceden yapılandırılmış veri kümesini ağ operatörlerinden almak için Moonbeam üzerinde yerleşen CQT jetonunu kullanabilirler.

Covalent'in ödülleri, 23. yılın ilk çeyreğinden 24. yılın ilk çeyreğine kadar genel olarak yükseliş eğilimi gösteriyor, bunun kısmen nedeni Covalent tokeni CQT'nin yükselmesidir.

İndeksleyici Seçimi Notları

Veri Özelleştirilebilirliği

Bazı indeksleyiciler (örneğin Covalent) genel indeksleyicilerdir ve yalnızca API aracılığıyla önceden yapılandırılmış standart veri setlerini sağlar. Hızlı olmalarına rağmen, özelleştirilmiş veri setlerine ihtiyaç duyan geliştiricilere esneklik sağlayamazlar. İndeksleyici çerçevesi kullanarak, daha fazla özelleştirilmiş veri işleme imkanı sağlar ve uygulama özel gereksinimleri karşılamak için kullanılabilir.

Güvenlik

İndeks verileri güvende olmalıdır, aksi takdirde bu indeksleyicilere dayalı olarak oluşturulan dApp'ler saldırıya uğrayabilir. Örneğin, işlemler ve cüzdan bakiyeleri manipüle edilebilirse, dApp kullanıcısını etkileyerek likiditesini kaybedebilir. Tüm indeksleyiciler bir şekilde güvenliği sağlamak için indeksleyici tokenleri stake etmek yoluyla kullanılırken, diğer indeksleyici çözümleri güvenliği daha da artırmak için kanıt kullanabilir.

Subsquid, Sıfır Bilgi Kanıtı kullanarak iyimser bir seçenek sunarken, Covalent, blok karma değerlerini içeren bir kanıt yayınladı. Graph, dizinleyici sorguları için iyimser bir meydan okuma penceresi sunarak tartışmalı bir meydan okuma dönemi sunar, SubQuery ise her blok için, veritabanında depolanan tüm verilerin her bloğunun karma değerini hesaplamak için Merkle Mountain kanıtı oluşturur.

Hız ve Ölçeklenebilirlik

Blok zinciri sürekli olarak büyüdükçe, işlem hacmi de artıyor, bu da çok miktarda veriyi indekslemeyi daha karmaşık hale getiriyor, çünkü daha fazla işlem gücü ve depolama alanı gerektiriyor. Blok zinciri ağındaki büyümeyle birlikte, verimliliği korumak daha da zor hale geliyor, ancak indeksleyici protokolü, bu giderek artan talepleri karşılamak için çözümler sunuyor.

Örneğin, Subsquid verileri depolamak için daha fazla düğüm ekleyerek yatay olarak ölçeklendirmeyi gerçekleştirir, donanım iyileştikçe genişleyebilir. Grafik, verileri daha hızlı senkronize etmek için paralel akış sağlar, SubQuery ise senkronizasyon sürecini hızlandırmak için düğüm parçalama getirir.

Desteklenen Ağlar

Ethereum'da hala çoğu blockchain etkinliği gerçekleşse de, zamanla farklı blockchainler giderek daha popüler hale gelmektedir. Örneğin, Layer 2s, Solana, Move blockchain ve Bitcoin ekosistem zinciri, kendi sürekli büyüyen geliştirici ve etkinliklerine sahiptir ve bunlar endeksleme hizmeti gerektirir.

Diğer dizinleyici protokollerinin desteklemediği bazı zincirlere destek sağlamak, daha fazla pazar payı ve ücret elde etmenizi sağlayabilir. Veri yoğunluğu olan ağlar (örneğin Solana) endeks desteği sağlamak kolay değildir ve şimdiye kadar yalnızca Subsquid bunu başarmıştır.

Sonuç

DApp geliştirme sürecinde dizinleyiciler yaygın bir şekilde kullanılsa da, dizinleyicilerin potansiyeli hala büyüktür, özellikle yapay zeka entegrasyonu durumunda. Yapay zekanın Web2 ve Web3'te yaygınlaşmasıyla, geliştirme kabiliyeti model eğitimi ve yapay zeka ajanlarının geliştirilmesi için ilgili verilere erişime bağlıdır. Veri bütünlüğünün sağlanması yapay zeka uygulamaları için hayati öneme sahiptir, çünkü bu, modele yanlış veya doğru olmayan bilgilerin girişini engelleyebilir.

İndeksleme çözümleri alanında, Subsquid performans ve kullanıcı ölçütleri açısından önemli ilerlemeler kaydetti. Kullanıcılar, Subsquid'i AI ajanları oluşturmak için kullanmaya başladı ve bu da platformun sürekli gelişen veri indeksi alanındaki çok yönlülüğünü ve potansiyelini gösterdi. Ayrıca, AutoAgora gibi araçlar, indeksleyicilere The Graph üzerindeki sorgu hizmetleri için AI destekli dinamik fiyatlandırma sağlarken, SubQuery, şeffaf veri indeksi için birçok AI ağına (örneğin OriginTrail ve Oraichain) destek veriyor.

Yapay zeka ve dizin entegrasyonunun, veri erişilebilirliği ve kullanılabilirliğini artırması beklenmektedir. Yapay zeka teknolojisi kullanılarak, dizin daha verimli ve doğru veri araması sağlayabilir, bu da geliştiricilerin daha karmaşık dApp'ler ve analiz araçları oluşturmasına olanak tanır. Yapay zeka ve dizin entegrasyonunun birlikte gelişmeye devam etmesiyle, veri dizinlemenin geleceği ve merkezi olmayan dijital düzenin şekillenmesindeki rolü konusunda umutluyuz.