NVIDIA merilis Dynamo, yang disebut sebagai "sistem operasi pabrik AI"

Data 19 Maret melaporkan bahwa Nvidia (NVDA.O) secara resmi merilis Dynamo, yang disebut sebagai 'sistem operasi pabrik AI.' Dynamo adalah 'perpustakaan layanan inferensi terdistribusi.' Pada intinya, ini adalah solusi sumber terbuka untuk masalah tokenisasi yang tidak dapat memproduksi token yang cukup untuk kebutuhan pengguna. Jensen Huang memperlihatkan sebuah grafik tentang inferensi, di mana sumbu X menunjukkan jumlah Token per detik pengguna, sedangkan sumbu Y menunjukkan jumlah Token per detik pabrik. Dengan dukungan Dynamo dan chip super NVLink72 Grace Blackwell, Blackwell dapat mencapai peningkatan kinerja hingga 25 kali lipat dibandingkan Hopper. Di sisi model inferensi, kinerja Blackwell adalah 40 kali lipat dari Hopper. Jensen Huang juga bercanda, dengan teknologi terbaru ini, 'semakin banyak membeli, semakin banyak menghemat' dalam membangun pabrik AI.