Google представив Titans: порушення обмежень обчислювальної потужності, розширення контексту

Дані Кінь 2 лютого, вчений Google опублікував нове дослідження Титани. За допомогою впровадження повністю нового модуля довгострокової пам'яті нейромережі, трьохголової кооперації та оптимізації апаратного забезпечення та інших модулів, при збільшенні лише в 1,8 рази, було розширено контекстне вікно великого моделю до 2000000 токенів. Титани не лише вирішили бутлег обчислювальної потужності моделі трансформатора при роботі з довгим контекстом, але також за допомогою біонічного дизайну імітації ієрархічної системи пам'яті людини вперше досягли точного мислення з контекстом до 2000000 токенів.