谷歌提出Titans:突破算力限制,擴展上下文

金十數據2月25日訊,谷歌研究院發佈一項新的研究Titans。通過引入全新的神經長期記憶模塊,三頭協同架構與硬件優化設計等模塊,在算力僅增加1.8倍的情況下,將大模型的上下文窗口擴展至200萬token。Titans不僅解決了Transformer模型在長上下文處理中的算力瓶頸,更通過仿生學設計模擬人類記憶系統的分層機制,首次實現了200萬token超長上下文的精準推理。

查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 讚賞
  • 2
  • 分享
留言
0/400
工地上的农民工vip
· 02-25 00:53
冲就完了💪
回復1
GateUser-d53c8bc2vip
· 02-25 00:31
非常好
查看原文回復0
交易,隨時隨地
qrCode
掃碼下載 Gate APP
社群列表
繁體中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)