59%: Bức tường vô hình của AI và bài học từ blockchain

Có thứ gì đáng tin ngoài những gì bạn có thể tự đo đếm? Epoch AI, một tổ chức nghiên cứu về trí tuệ nhân tạo, vừa công bố bộ benchmark game puzzles. Kết quả: mọi mô hình ngôn ngữ lớn hiện đại nhất đều bị kẹt ở 59%. Mèo thì có chín mạng, nhưng một mô hình khi phải đối mặt với những quy tắc mà nó chưa từng thấy trong dữ liệu huấn luyện, chỉ có một: kết thúc trong im lặng. Trong bảy ngày qua, nhiều token AI trên thị trường tiền mã hóa đã mất hơn 40% giá trị. Không phải vì chiến tranh, cũng không phải vì một vụ hack. Mà vì các nhà đầu tư bắt đầu tự hỏi: thứ họ đang mua có thực sự là trí tuệ nhân tạo, hay chỉ là một hàm gọi API được bọc trong lớp tokenomics hào nhoáng? Epoch AI đến như một nhân chứng bất đắc dĩ cho nỗi hoài nghi đó. Họ không công bố một mô hình mới, không tạo ra một kỳ quan kỹ thuật. Họ chỉ làm đúng một việc: tạo ra một bộ câu đố game và đưa cho tất cả các mô hình hiện đại nhất thử nghiệm. Kết quả là 59%. Trong giới nghiên cứu AI, các benchmark như MMLU, GSM8K và HumanEval đã trở thành những thước đo chuẩn mực. Nhưng chúng có một điểm chung: chúng đều dựa trên tri thức tĩnh. Khi một mô hình được huấn luyện trên toàn bộ Internet, gần như mọi câu hỏi trong các bộ dữ liệu này đều đã xuất hiện ở đâu đó trong quá trình huấn luyện. Kết quả là điều mà các nhà nghiên cứu gọi là data contamination – hay nói thẳng ra là học vẹt. Những con số 85, 90, thậm chí 95 phần trăm trên các benchmark cũ không còn phản ánh khả năng suy luận, mà chỉ phản ánh khả năng truy xuất. Epoch AI, với bề dày nghiên cứu về thống kê và chính sách AI, dường như hiểu rõ điều đó. Thay vì xây dựng một bộ câu hỏi kiến thức, họ chọn game puzzles – các câu đố trò chơi với luật rõ ràng nhưng không gian kết hợp là vô hạn. Vì sao? Vì một mô hình có thể biết luật cờ vua, nhưng không thể chơi một biến thể cờ vua mà nó chưa từng thấy. Nó có thể biết cách giải câu đố logic, nhưng sẽ lúng túng khi các quy tắc trái ngược với trực giác. Đây chính là điểm mà các mô hình autoregressive thất bại. Bởi vì bản chất của chúng là dự đoán từ tiếp theo, chúng không có một mô hình thế giới thực sự – chỉ có một ma trận xác suất. Khi đối mặt với một tình huống mới, chúng không suy luận, chúng khớp mẫu. Và khớp mẫu không hoạt động khi không có mẫu. Một con số duy nhất, 59%, nói lên rằng mọi mô hình – bất kể là mô hình đóng hay mở, lớn hay nhỏ – đều hội tụ về một mức trần năng lực suy luận tổng quát. Điều này đáng chú ý hơn việc một mô hình cụ thể thất bại. Trong một thị trường nơi các công ty liên tục tuyên bố "gần đạt trình độ con người", một benchmark không thể gian lận bằng cách ghi nhớ đã chỉ ra khoảng cách thực. Nhưng khoan. Hãy nhìn vào cách Epoch AI công bố thông tin. Bài viết được đăng trên Crypto Briefing, không phải trên một tạp chí AI uy tín. Không có danh sách mô hình, không có baseline của con người, không có thông tin về phương pháp chống nhiễm dữ liệu, không có phân tích sai số. Nếu một dự án token rác công bố một bản audit giả mạo, bạn sẽ hỏi ngay: ai ký, code ở đâu, phạm vi kiểm tra thế nào? Epoch AI cũng vậy. 59% là kết luận, nhưng phần bằng chứng để xác minh thì vẫn còn thiếu. Điều này không có nghĩa là họ sai, nhưng theo nguyên tắc của một người làm điều tra, tôi chỉ tin vào những gì tôi tự mò được trên chuỗi. Chúng ta cần biết: liệu 59% là điểm trung bình hay điểm cao nhất? Nếu là điểm cao nhất, thì thực trạng còn tồi tệ hơn. Nếu là điểm trung bình, vẫn còn hy vọng. Nhưng bài viết của Epoch AI lại không nói rõ. Điều này khiến tôi nhớ đến những báo cáo audit mập mờ mà tôi từng gặp: họ viết "đã kiểm tra các lỗ hổng nghiêm trọng" nhưng không nói đó là lỗ hổng gì. Một chuyên gia không bao giờ dùng những lời mập mờ. Trong một cuộc điều tra về hợp đồng thông minh, tôi thường xuyên thấy những dự án có TVL khổng lồ nhưng hàm withdraw lại có lỗ hổng reentrancy. Năm 2017, tôi phát hiện ra rằng một dự án ICO tên TokenMaster cho phép chủ hợp đồng rút toàn bộ quỹ mà không cần đa chữ ký. Người ta không đếm xỉa đến mã nguồn vì họ chỉ nhìn vào số lượng ETH huy động được. Đến năm 2020, khi Harvest Finance được ca ngợi là một nông trại lợi nhuận, tôi phải mất hàng giờ để truy vết dòng tiền và tìm ra lỗ hổng reentrancy trong hàm deposit. Không ai để ý vì mọi người đều bận nhìn vào APY. Bây giờ, Epoch AI công bố 59%, và cũng sẽ có nhiều người bận nhìn vào con số mà không hỏi: liệu benchmark này có cho phép model dùng công cụ? Có đo lường độ tự tin khi trả lời sai? Có bao gồm các câu đố động được sinh ra sau thời điểm huấn luyện hay không? Nếu benchmark chỉ được làm một lần và sớm được đưa vào dữ liệu huấn luyện của các mô hình thế hệ sau, thì giá trị của nó sẽ biến mất. Mèo thì có chín mạng, nhưng một benchmark tĩnh chỉ có một: kết thúc trong im lặng. Như chúng ta đã thấy trong thế giới crypto: một bộ kiểm tra dù nghiêm ngặt đến đâu cũng sẽ thất bại nếu nó nằm trong tầm ngắm của những kẻ chuyên tối ưu hóa. Sự thật quan trọng hơn con số: các mô hình hiện tại, trong nhiệm vụ suy luận mới, có tỷ lệ lỗi khoảng 41%. Điều đó có nghĩa là nếu bạn giao cho hệ thống AI tự động xử lý một quy trình pháp lý, một ca lâm sàng, hoặc một lệnh chuyển tiền, bạn sẽ chấp nhận rằng cứ năm lần thì có hai lần nó đưa ra quyết định sai theo một cách nào đó. Tôi không biết bạn nghĩ sao, nhưng trong lĩnh vực blockchain, một tỷ lệ lỗi như vậy sẽ khiến giao thức sụp đổ trong vòng một đêm. Và những nhà đầu tư token AI đang trả giá cho một câu chuyện hoàn toàn khác. Nhưng còn một vấn đề nữa. Các công ty AI đã học cách tối ưu hóa benchmark. Khi một tiêu chuẩn được công bố, họ sẽ đưa một phần dữ liệu vào quá trình huấn luyện, hoặc tinh chỉnh mô hình của họ để đạt điểm cao hơn. Điều này đã xảy ra với nhiều benchmark nổi tiếng. MMLU từng là một thử thách lớn, nhưng giờ đây nhiều mô hình đạt trên 90%. Điều đó không có nghĩa là các mô hình thông minh hơn con người ở mọi lĩnh vực; nó chỉ có nghĩa là chúng đã nhìn thấy câu hỏi. Game puzzles của Epoch AI, nếu không có cơ chế tạo câu đố động hoặc giữ bí mật bộ câu hỏi, sẽ đi vào vết xe đổ này. Câu hỏi không phải là liệu 59% có đáng sợ không, mà là liệu 59% có còn tồn tại sau một năm nữa không. Tôi đã theo dõi sự sụp đổ của Terra Luna vào năm 2022. Khi đó, mọi người tin rằng UST có thể giữ mức 1 đô la vì giao thức hứa hẹn lợi suất 20% từ Anchor. Không ai ngồi xuống kiểm tra xem dòng tiền đến từ đâu. Đến khi tôi ước tính 3,8 tỷ đô la thanh khoản bị rút khỏi Luna Foundation Guard trong vòng 72 giờ, thì mọi thứ đã quá muộn. Mô hình AI cũng vậy. 59% là tín hiệu cho thấy dòng tiền của niềm tin đang bị rút ra, nhưng nó chỉ thực sự có ý nghĩa nếu chúng ta chịu khó nhìn vào cấu trúc. Vậy phe bò có điểm gì đúng? Họ có thể đúng là các mô hình có thể được cải thiện nhanh hơn chúng ta nghĩ. 59% không phải là điểm dừng cuối cùng. Một benchmark tĩnh có thể bị vượt qua trong vòng mười hai tháng. Điều đó đã từng xảy ra với ARC-AGI, một benchmark ban đầu được thiết kế để đánh giá trí thông minh tổng quát, và sau đó bị các mô hình hiện đại đánh bại dần. Phe bò cũng có thể đúng khi nói rằng một con số trung bình không kể hết câu chuyện. Có thể mô hình đạt 59% nhưng lại xuất sắc trong một loại câu đố cụ thể liên quan trực tiếp đến việc viết mã hoặc lập kế hoạch tài chính. Nếu không có dữ liệu chi tiết về từng loại câu đố, việc quy kết "AI vô dụng" là một sự đơn giản hóa nguy hiểm. Giống như trong một thị trường giá xuống, vẫn có những đồng coin tăng giá gấp ba. Nhưng điều đó không làm thay đổi xu hướng chính: trong một môi trường đầy rẫy những đánh giá chủ quan và thiếu minh bạch, sự thận trọng là tài sản duy nhất có thể bảo vệ bạn. Có một khả năng khác mà phe bò có thể lợi dụng: game puzzles có thể không phản ánh các nhiệm vụ thực tế. Trong thế giới thực, một nhân viên không cần phải giải câu đố không gian. Anh ta cần viết email, phân tích bảng tính, và theo dõi quy trình. Những nhiệm vụ này, dù nhàm chán, lại dễ dàng hơn nhiều so với một câu đố trừu tượng. Vì vậy, một mô hình đạt 59% trên game puzzles vẫn có thể tự động hóa 90% công việc văn phòng. Điều này giải thích vì sao các công ty vẫn đầu tư hàng tỷ đô la vào AI dù con số 59% được công bố. Nhưng điều đó cũng có nghĩa là rủi ro dịch chuyển theo cách tinh vi hơn: AI có thể làm tốt các tác vụ quen thuộc, nhưng gặp thảm họa khi đối mặt với một ngoại lệ bất ngờ. Giống như một giao thức DeFi hoạt động hoàn hảo trong điều kiện bình thường nhưng sụp đổ trong một cuộc khủng hoảng thanh khoản. Sẽ không ai gọi đó là thông minh. Vấn đề không nằm ở chỗ AI có thông minh hay không. Vấn đề nằm ở chỗ chúng ta đang xây dựng các hệ thống kinh tế, sản phẩm tài chính và cả những kỳ vọng xã hội trên một nền tảng mà chúng ta không kiểm chứng được. Các công ty AI công bố benchmark của riêng họ, chọn bài kiểm tra phù hợp với sản phẩm của họ, tương tự như các dự án DeFi tự công bố kết quả audit mà không cung cấp mã nguồn cho cộng đồng kiểm tra. Epoch AI đến với tư cách một bên thứ ba độc lập, nhưng chính họ cũng chưa cung cấp đủ dữ liệu để chúng ta tin tưởng tuyệt đối. Trong bối cảnh đó, một người làm on-chain detective như tôi có một thói quen: tôi không bao giờ tin vào lời giới thiệu từ đội ngũ dự án. Tôi tự mở block explorer, tự đọc mã bytecode, tự theo dõi dòng tiền. Nếu bạn không thể tự mình kiểm tra, hãy yêu cầu đội ngũ dự án cung cấp bằng chứng mà bạn có thể xác minh. Điều tương tự áp dụng cho AI. Yêu cầu các công ty công bố danh sách mô hình được kiểm tra, công bố điểm của con người trên cùng một bộ câu đố, công bố phương pháp chống ô nhiễm dữ liệu. Nếu họ không làm điều đó, hãy coi con số 59% chỉ là một tín hiệu, không phải một sự thật cuối cùng. Và nếu họ làm điều đó, thì 59% sẽ trở thành một trong những dấu hiệu đỏ quan trọng nhất của ngành trí tuệ nhân tạo. Bởi vì nó chứng minh rằng, bất kể bạn có bao nhiêu tham số, bất kể bạn huấn luyện trên bao nhiêu terabyte dữ liệu, khả năng xử lý một quy tắc mới vẫn là một ngọn núi chưa thể chinh phục. Nếu bạn là một nhà phát triển, hãy thiết kế các hệ thống AI với giả định rằng chúng có thể sai. Nếu bạn là một nhà đầu tư, đừng mua token chỉ vì cái tên AI. Nếu bạn là một người dùng, đừng giao quyền quyết định quan trọng cho một hộp đen. Trách nhiệm không thuộc về AI, mà thuộc về những người xây dựng và những người chấp nhận rủi ro. Một mô hình sai một lần có thể được sửa bằng prompt. Một giao thức rò rỉ tiền một lần sẽ mất tất cả. Mèo thì có chín mạng, nhưng một hệ thống đã mất niềm tin của người dùng chỉ có một: kết thúc trong im lặng. Bây giờ, hãy tự hỏi: bạn đang đầu tư vào một câu chuyện, hay bạn đang đầu tư vào một hệ thống có thể kiểm chứng? Nếu bạn không trả lời được câu hỏi đó, thì có lẽ bạn đang đứng về phía 41% còn lại – phần trăm mà hệ thống đã âm thầm trả lời sai.