AI x Kripto: Sıfırdan Zirveye

Giriş

Son zamanlarda yapay zeka endüstrisinin gelişimi bazıları tarafından dördüncü sanayi devrimi olarak görülmektedir. Büyük modellerin ortaya çıkması, her sektörde verimliliği önemli ölçüde artırdı; ABD'de iş verimliliğini yaklaşık %20 artırdığı tahmin edilmektedir. Aynı zamanda, büyük modellerin sağladığı genelleme yeteneği, yeni bir yazılım tasarım paradigması olarak değerlendirilmektedir; geçmişteki kesin kod tasarımının aksine, günümüz yazılım tasarımı daha çok genelleştirilmiş büyük model çerçevelerinin yazılıma entegre edilmesine odaklanmaktadır. Bu yazılımlar, daha iyi performans sergileyebilmekte ve daha geniş modalitelerdeki giriş ve çıkışları destekleyebilmektedir. Derin öğrenme teknolojisi gerçekten de AI endüstrisine yeni bir refah dalgası getirmiştir; bu akım kripto para endüstrisine de uzanmıştır.

Bu rapor, AI endüstrisinin gelişim tarihini, teknoloji sınıflandırmalarını ve derin öğrenme teknolojisinin endüstri üzerindeki etkisini detaylı bir şekilde inceleyecektir. Ardından, derin öğrenme alanında GPU, bulut bilişim, veri kaynakları, kenar cihazları gibi sanayi zincirinin yukarı ve aşağı akışındaki gelişim durumunu ve trendlerini derinlemesine analiz edecektir. Son olarak, kripto para birimi ile AI endüstrisi arasındaki ilişkiyi esasen inceleyerek, kripto para birimi ile ilgili AI sanayi zinciri yapısını gözden geçirecektir.

AI endüstrisinin gelişim tarihi

Yapay zeka endüstrisi 1950'li yıllarda başlamış, yapay zekanın vizyonunu gerçekleştirmek için akademik dünya ve sanayi, farklı dönemlerde farklı disiplin arka planlarında yapay zekayı gerçekleştirmek için çeşitli akımlar geliştirmiştir.

Modern yapay zeka teknolojileri esasen "makine öğrenimi" terimini kullanmaktadır; bu, makinelerin veriler sayesinde görevlerde sistem performansını iyileştirmek için tekrar tekrar döngü oluşturmalarını sağlama fikridir. Ana adımlar, verilerin algoritmaya gönderilmesi, bu verilerle modelin eğitilmesi, modelin test edilip dağıtılması ve modelin otomatik tahmin görevlerini yerine getirmesidir.

Şu anda makine öğreniminin üç ana akımı vardır: bağlantıcılık, sembolistlik ve davranışçılık; bunlar sırasıyla insanın sinir sistemi, düşüncesi ve davranışını taklit eder.

Şu anda sinir ağlarını temsil eden bağlantıcılık, derin öğrenme olarak da bilinir, üstünlük sağlamaktadır. Bunun başlıca nedeni, bu mimarinin bir giriş katmanı, bir çıkış katmanı ve birden fazla gizli katmana sahip olmasıdır. Katman sayısı ve nöron parametreleri yeterince fazla olduğunda, karmaşık genel görevleri modelleme fırsatı elde edilir. Veri girişi yoluyla, nöron parametreleri sürekli olarak ayarlanabilir; bir dizi veriden sonra nöronlar en iyi duruma ulaşır. Bu da "derinliğinin" kaynağıdır - yeterince çok katman ve nöron.

Sinir ağlarına dayalı derin öğrenme teknolojisi, erken dönem sinir ağlarından, ileri beslemeli sinir ağları, RNN, CNN, GAN'a kadar bir dizi teknik iterasyon ve evrim geçirmiştir. Son olarak, modern büyük modellerin, örneğin GPT gibi, kullandığı Transformer teknolojisine evrilmiştir. Transformer teknolojisi, sinir ağlarının bir evrim yönüdür, tüm modaliteleri ( ses, video, resim vb. ) verilerini karşılık gelen sayılara kodlamak için bir dönüştürücü eklemiştir. Ardından, bu veriler sinir ağlarına girdi olarak verilir; böylece sinir ağı, her tür veriyi modelleyebilir, yani çok modlu hale gelir.

AI gelişimi üç teknoloji dalgasından geçti:

İlk dalga 1960'lı yıllarda, AI teknolojisinin ortaya çıkmasından on yıl sonra gerçekleşti, bu dalga sembolist teknolojinin gelişiminden kaynaklandı, bu teknoloji genel doğal dil işleme ve insan-makine diyalog sorunlarını çözdü. Aynı dönemde, çok güçlü kimya bilgisine sahip bir sistem olan uzman sistemler doğdu, bu sistem, kimya uzmanı gibi cevaplar üretmek için sorular üzerinden çıkarım yaparak çalışıyordu.

İkinci AI teknolojisi dalgası 1997 yılında gerçekleşti, IBM'in Deep Blue'su 3.5:2.5 skorla satranç şampiyonu Kasparov'u yendi, bu zafer yapay zekanın bir dönüm noktası olarak görüldü.

Üçüncü AI teknolojisi dalgası 2006 yılında gerçekleşmiştir. Derin öğrenmenin üç büyük ismi, veri temsil öğrenimi için bir yapı olarak yapay sinir ağlarını kullanan derin öğrenme kavramını ortaya atmıştır. Ardından derin öğrenme algoritmaları, RNN, GAN'dan Transformer ve Stable Diffusion'a kadar evrim geçirmiştir. Bu algoritmalar, üçüncü teknoloji dalgasını şekillendirmiştir ve aynı zamanda bağlantıcılığın altın çağıdır.

Birçok ikonik olay, derin öğrenme teknolojisinin keşfi ve evrimi ile birlikte ortaya çıkmaya başladı, bunlar arasında:

• 2011 yılında, IBM'in Watson'ı "Tehlikeli Sınırlar" quiz programında insanları yenerek şampiyon oldu.

• 2014 yılında, Goodfellow GAN'ı ortaya attı ve iki sinir ağının karşılıklı oyun oynaması yoluyla öğrenme sağladı, böylece gerçek gibi görünen fotoğraflar üretebiliyor.

• 2015 yılında, Hinton ve arkadaşları "Nature" dergisinde derin öğrenme algoritmalarını sundular ve bu, akademik çevrelerde ve endüstride büyük bir etki yarattı.

• 2015 yılında OpenAI kuruldu ve 1 milyar dolar yatırım aldı.

• 2016 yılında, derin öğrenme teknolojisi temelinde AlphaGo, Lee Sedol ile Go'da insan-makine savaşına girdi ve 4:1 galip geldi.

• 2017'de Google, "Attention is all you need" başlıklı bir makale yayımladı ve Transformer algoritmasını tanıttı; büyük ölçekli dil modelleri ortaya çıkmaya başladı.

• 2018'de, OpenAI, Transformer algoritmasına dayalı olarak inşa edilen GPT'yi yayınladı, o dönemdeki en büyük dil modellerinden biriydi.

• 2019 yılında, OpenAI GPT-2'yi 1.5 milyar parametre ile yayımladı.

• 2020 yılında, OpenAI tarafından geliştirilen GPT-3, 175 milyar parametreye sahiptir ve bu, GPT-2'den 100 kat daha fazladır.

• 2021'de, OpenAI GPT-4'ü yayınladı, 1.76 trilyon parametreye sahip, bu da GPT-3'ün 10 katıdır.

• 2023 yılının Ocak ayında GPT-4 modeline dayalı ChatGPT uygulaması piyasaya sürüldü, Mart ayında bir milyar kullanıcıya ulaştı ve tarihin en hızlı bir milyar kullanıcıya ulaşan uygulaması oldu.

Derin Öğrenme Endüstri Zinciri

Günümüzde büyük dil modelleri, tamamen sinir ağına dayalı derin öğrenme yöntemlerini kullanmaktadır. GPT'nin öncülüğünde, büyük modeller yapay zeka alanında bir dalga yaratarak pek çok oyuncunun bu alana akın etmesine neden oldu; piyasanın veri ve hesaplama gücüne olan talebi büyük bir patlama yaşadı. Bu raporun bu bölümünde, derin öğrenme algoritmalarının endüstri zincirini keşfetmeye odaklanıyoruz. Derin öğrenme algoritmalarının hakim olduğu yapay zeka sektöründe, tedarik zincirinin nasıl oluştuğunu, yukarı ve aşağı akışın mevcut durumu ile arz-talep ilişkisini ve gelecekteki gelişmelerin neler olabileceğini inceliyoruz.

Öncelikle, Transformer teknolojisine dayanan GPT gibi büyük modellerin eğitimi sırasında toplamda üç aşama olduğunu belirtmek gerekir.

Eğitimden önce, Transformer tabanlı olduğu için, dönüştürücünün metin girdiğini sayısal verilere dönüştürmesi gerekir; bu süreç "Tokenizasyon" olarak adlandırılır ve ardından bu sayısal verilere Token denir. Genel olarak, bir İngilizce kelime veya karakter kaba bir şekilde bir Token olarak düşünülebilirken, her bir Çince karakter kaba bir şekilde iki Token olarak düşünülebilir. Bu aynı zamanda GPT'nin fiyatlandırmada kullandığı temel birimdir.

İlk adım, ön eğitim. Giriş katmanına yeterince veri çifti vererek, bu model altındaki her bir nöronun en iyi parametrelerini bulmak için bu süreç büyük miktarda veriye ihtiyaç duyar ve en fazla hesaplama gücü tüketen süreçtir, çünkü nöronları çeşitli parametreleri denemek için tekrar tekrar yinelemek gerekir. Bir veri çifti eğitimi tamamlandıktan sonra, genellikle aynı veri kümesi ile parametreleri yinelemek için ikinci bir eğitim yapılır.

İkinci adım, ince ayar. İnce ayar, yüksek kaliteli ancak daha az miktarda bir veri kümesi ile eğitmek anlamına gelir; bu tür bir değişiklik, modelin çıktısının kalitesini artıracaktır çünkü ön eğitim büyük miktarda veriye ihtiyaç duyar, ancak birçok veri hatalı veya düşük kaliteli olabilir. İnce ayar adımı, kaliteli verilerle modelin kalitesini artırabilir.

Üçüncü adım, pekiştirmeli öğrenme. Öncelikle "ödül modeli" adı verilen tamamen yeni bir model oluşturulacak, bu modelin amacı oldukça basit, çıktıları sıralamaktır. Daha sonra bu model, büyük modelin çıktısının yüksek kaliteli olup olmadığını belirlemek için kullanılacaktır, böylece büyük modelin parametrelerini otomatik olarak yinelemek için bir ödül modeli kullanılabilir. ( Ancak bazen modelin çıktı kalitesini değerlendirmek için insan katılımı da gereklidir. )

Kısacası, büyük modellerin eğitim sürecinde, ön eğitim verinin miktarı için çok yüksek bir talep vardır, gereken GPU hesaplama gücü de en fazladır. İnce ayar ise parametreleri geliştirmek için daha yüksek kaliteli verilere ihtiyaç duyar. Pekiştirmeli öğrenme, daha yüksek kaliteli sonuçlar elde etmek için parametreleri tekrar tekrar yinelemek amacıyla bir ödül modeli aracılığıyla gerçekleştirilebilir.

Eğitim sürecinde, parametre sayısı arttıkça genel performansın üst sınırı da artar. Bu nedenle, büyük modellerin performansını etkileyen başlıca üç faktör vardır: parametre sayısı, veri miktarı ve kalitesi, hesaplama gücü. Bu üçü, büyük modellerin sonuç kalitesini ve genel performansını ortaklaşa etkiler.

Varsayalım ki parametre sayısı p, veri miktarı n( Token sayısına göre hesaplanmaktadır), o zaman gerekli hesaplama miktarını genel deneysel kurallara göre hesaplayabiliriz, böylece satın alınması gereken hesaplama gücü durumu ve eğitim süresi tahmin edilebilir.

Hesaplama gücü genellikle Flops birimi ile ölçülür ve bu, bir kayan nokta işlemini temsil eder. Pratik deneyim kurallarına göre, bir büyük modelin ön eğitimini yapmak için yaklaşık 6np Flops gerekir, 6 sektör sabiti olarak adlandırılır. Ve çıkarım (Inference, bir veri girdiğimiz ve büyük modelin çıktısını beklediğimiz süreçtir ), iki parçaya ayrılır: n token girişi ve n token çıkışı, böylece toplamda yaklaşık 2np Flops gerektirir.

Erken dönemlerde, eğitim sağlamak için CPU çipleri kullanılıyordu, ancak daha sonra yavaş yavaş GPU'lar, örneğin Nvidia'nın A100, H100 çipleri gibi, ile değiştirilmeye başlandı. Çünkü CPU genel amaçlı hesaplama için var iken, GPU özel hesaplama için kullanılabilir ve enerji verimliliği açısından CPU'yu çok daha fazla aşar. GPU, kayan nokta işlemlerini esasen Tensor Core adlı bir modül aracılığıyla gerçekleştirir. Bu nedenle, genel çipler FP16 / FP32 hassasiyetinde Flops verilerine sahiptir; bu, ana hesaplama yeteneklerini temsil eder ve çipin ana ölçüm kriterlerinden biridir.

Bu büyük hesaplama miktarını görebiliyoruz, bir ön eğitim gerçekleştirmek için birden fazla en gelişmiş çipin birlikte hesaplama yapması gerekiyor ve GPT-4'ün parametre sayısı GPT-3'ün on katı, bu da demektir ki verilerin miktarı değişmese bile, çip sayısının on kat daha fazla satın alınması gerekiyor ve GPT-4'ün Token sayısı 13 trilyon, bu da GPT-3'ün on katı, nihayetinde, GPT-4 muhtemelen 100 katından fazla çip hesap gücüne ihtiyaç duyacak.

Büyük model eğitimi sırasında, veri depolama da bir sorun olmuştur çünkü veri miktarı çok büyüktür ve GPU'nun bellek alanı genellikle daha küçüktür. Bu nedenle bellek alanı bu verileri barındıramadığında, diskten belleğe veri transfer hızını yani çipin bant genişliğini incelemek gerekir. Aynı zamanda sadece bir çip kullanmayacağımız için, birden fazla GPU çipinin birlikte büyük bir modeli eğitmesi gerektiğinden, çipler arasında GPU'nun transfer hızını da dikkate almak gerekir. Bu nedenle çoğu zaman, son model eğitimi uygulamalarını kısıtlayan faktörler veya maliyetler, çipin hesaplama gücü olmayabilir, daha çok çipin bant genişliği olabilir. Veri transferinin yavaş olması, modelin çalışma süresinin uzamasına neden olur ve elektrik maliyetleri artar.

Crypto x AI'nin ilişkisi

Blockchain, ZK teknolojisinin gelişiminden faydalanarak, merkeziyetsiz + güvene dayanmayan bir düşünceye evrildi. Blockchain'in yaratıldığı ilk döneme dönersek, bu Bitcoin zinciridir. Satoshi Nakamoto'nun makalesinde, ilk olarak güvene dayanmayan bir değer transfer sistemi olarak adlandırılmıştır. Daha sonra merkeziyetsiz, güvene dayanmayan ve değer değişimi sağlayan akıllı sözleşme platformu piyasaya sürüldü.

Özüne dönersek, tüm blok zinciri ağının bir değer ağı olduğunu düşünüyoruz; her işlem, temel token'a dayalı bir değer dönüşümüdür. Buradaki değer, Token biçiminde tezahür eder ve Tokenomics, belirli bir Token'ın değerini ifade eden kurallardır.

Geleneksel internet ortamında, değer üretimi P/E ile hesaplanır ve nihai bir biçimde, yani hisse fiyatında kendini gösterir. Tüm trafik, değer ve etki, şirketin nakit akışını oluşturur. Bu nakit akışı, değerin son ifadesidir ve nihayetinde P/E'ye dönüştürülerek hisse fiyatı ve piyasa değerine yansır.

Ancak Ethereum ağı için ETH, Ethereum ağının çok boyutlu değerinin bir yansıması olarak, sadece staking yoluyla istikrarlı bir nakit akışı elde etmekle kalmaz, aynı zamanda değer değişimi aracı, değer saklama aracı, ağ etkinliği tüketim maddesi gibi işlevler de görür. Ayrıca, güvenlik koruma katmanı Restaking, Layer2 ekosisteminin Gas Fee'si gibi işlevler de üstlenir.

Tokenomics çok önemlidir, token ekonomisi ekosistemin hesaplama aracını ( yani ağın yerel tokeni )'in göreli değerini belirleyebilir. Her bir boyut için fiyatlandırma yapamasak da, çok boyutlu değerlerin somutlaşmasını sağladık, işte bu tokenin fiyatıdır. Bu değer, işletmelerin menkul kıymet varoluş biçiminden çok daha ötededir. Ağa token verildiğinde ve bu token dolaşıma girdiğinde, Tencent'in tüm Q coinlerinin sınırlı bir sayısı, deflasyon ve enflasyon mekanizması ile benzer bir duruma gelir.