Cách mạng kỹ thuật của AI: Từ Transformer đến cuộc chiến trăm mô hình

Tháng trước, trong giới AI đã bùng nổ một cuộc "chiến tranh động vật". Một bên là dòng mô hình Llama do Meta phát hành, được các nhà phát triển ưa chuộng nhờ vào tính năng mã nguồn mở. Bên kia là mô hình lớn có tên Falcon, được phát triển bởi Viện Nghiên cứu Đổi mới Công nghệ của UAE. Hai mô hình này luân phiên làm mưa làm gió trên bảng xếp hạng LLM mã nguồn mở.

Thú vị là, mục tiêu của Các Tiểu vương quốc Ả Rập Thống nhất khi tham gia cuộc thi AI là "lật đổ các nhân vật chủ chốt". Không lâu sau, Bộ trưởng AI của Các Tiểu vương quốc Ả Rập Thống nhất đã được chọn vào danh sách "100 người có ảnh hưởng nhất trong lĩnh vực AI" của tạp chí Thời báo.

Hiện nay, lĩnh vực AI đã bước vào giai đoạn "trăm nhà đua tiếng". Nhiều quốc gia và doanh nghiệp đang xây dựng mô hình ngôn ngữ lớn của riêng họ. Chỉ riêng ở khu vực Vịnh, đã có hơn một người chơi tham gia vào lĩnh vực này. Hiện tượng này đã khiến một số chuyên gia trong ngành cảm thán, cho rằng lĩnh vực công nghệ cứng cũng đã xuất hiện tình trạng "cuộc chiến trăm mô hình".

Transformer nuốt chửng thế giới

Sự phát triển mạnh mẽ của các mô hình lớn hiện nay phải nhờ vào bài báo "Attention Is All You Need" được công bố vào năm 2017. Thuật toán Transformer được đề xuất trong bài báo này đã trở thành chất xúc tác cho cơn sốt AI lần này.

Trước khi xuất hiện Transformer, "dạy máy đọc sách" là một bài toán học thuật được công nhận. Các mạng nơ-ron sớm gặp khó khăn trong việc hiểu ngữ cảnh. Năm 2014, sự xuất hiện của mạng nơ-ron hồi tiếp (RNN) đã phần nào giải quyết được vấn đề này, nhưng đặc điểm tính toán tuần tự của nó đã hạn chế khả năng xử lý dữ liệu quy mô lớn.

Transformer thông qua mã hóa vị trí và tính toán song song, không chỉ nâng cao hiệu quả đào tạo mà còn tăng cường khả năng hiểu ngữ cảnh. Điều này đã khiến AI chuyển từ nghiên cứu lý thuyết sang thực hành kỹ thuật, mở đường cho kỷ nguyên mô hình lớn.

Với sự phổ biến của Transformer, tốc độ đổi mới thuật toán cơ sở đã chậm lại, các yếu tố kỹ thuật như kỹ thuật dữ liệu, quy mô tính toán trở thành chìa khóa trong cuộc đua AI. Điều này cũng có nghĩa là bất kỳ công ty nào có năng lực kỹ thuật nhất định đều có thể thử nghiệm phát triển mô hình lớn.

Hào thành được xây dựng trên kính

Hiện nay, "cuộc chiến mô hình lớn" đã trở thành hiện thực. Theo báo cáo, tính đến tháng 7 năm nay, số lượng mô hình lớn của Trung Quốc đã đạt 130, vượt qua con số 114 của Mỹ. Ngoài Trung Quốc và Mỹ, Nhật Bản, Ấn Độ, Hàn Quốc và các quốc gia khác cũng lần lượt ra mắt các mô hình lớn trong nước.

Tuy nhiên, việc gia nhập thị trường dễ dàng không có nghĩa là ai cũng có thể trở thành ông lớn trong thời đại AI. Lấy sự cạnh tranh giữa Falcon và Llama làm ví dụ, mặc dù Falcon dẫn đầu ở một số bảng xếp hạng, nhưng rất khó để nói rằng nó đã gây ra tác động lớn đến Meta. Đối với các mô hình lớn mã nguồn mở, cộng đồng nhà phát triển năng động mới là lợi thế cạnh tranh cốt lõi. Meta nhờ vào gen mạng xã hội và chiến lược mã nguồn mở của mình, đã chiếm ưu thế trong lĩnh vực này.

Ngoài ra, hầu hết các mô hình lớn vẫn có sự chênh lệch rõ rệt về hiệu suất so với GPT-4. Trong bài kiểm tra AgentBench gần đây, GPT-4 dẫn đầu với điểm số 4.41, trong khi người đứng thứ hai là Claude chỉ đạt 2.77 điểm, và hầu hết các mô hình mã nguồn mở chỉ đạt khoảng 1 điểm.

Sự chênh lệch này xuất phát từ đội ngũ các nhà khoa học trình độ cao mà các công ty AI hàng đầu sở hữu và kinh nghiệm tích lũy lâu dài. Do đó, khả năng cạnh tranh cốt lõi của các mô hình lớn có thể nằm ở việc xây dựng hệ sinh thái ( lộ trình mã nguồn mở ) hoặc khả năng suy diễn thuần túy ( lộ trình mã nguồn đóng ).

Điểm neo giá trị

Mặc dù cơn sốt AI đang bùng nổ, nhưng hiện tại không có nhiều doanh nghiệp có thể kiếm lợi từ điều này. Chi phí tính toán cao trở thành một rào cản lớn cho sự phát triển của ngành. Theo ước tính, chi tiêu hàng năm của các công ty công nghệ toàn cầu cho hạ tầng mô hình lớn có thể lên tới 200 tỷ USD, trong khi doanh thu từ mô hình lớn chỉ đạt tối đa 75 tỷ USD, tạo ra một khoảng cách lớn.

Ngay cả những công ty hàng đầu trong ngành như Microsoft và Adobe cũng đang phải đối mặt với thách thức về định giá dịch vụ AI và kiểm soát chi phí. Đối với hầu hết các mô hình lớn có quy mô tham số khổng lồ, các ứng dụng chính vẫn chủ yếu dừng lại ở chức năng trò chuyện.

Khi cạnh tranh đồng nhất gia tăng và việc sử dụng các mô hình mã nguồn mở trở nên phổ biến, mô hình kinh doanh chỉ dựa vào việc cung cấp dịch vụ mô hình lớn có thể đối mặt với áp lực lớn hơn. Trong tương lai, giá trị thực sự của công nghệ AI có thể sẽ được thể hiện nhiều hơn ở các tình huống ứng dụng cụ thể và khả năng giải quyết các vấn đề thực tế.