Trên thông thiên văn, dưới tường địa lý, tại sao các mô hình AI như ChatGPT lại dốt Toán?

Kể từ khi xuất hiện, các mô hình ngôn ngữ lớn đã làm thay đổi cách người dùng tiếp cận và xử lý công việc hàng ngày. Giờ đây bạn có thể lên kế hoạch cho công việc hàng ngày cũng như trả lời các câu hỏi phức tạp. Đến đây nhiều người có thể cho rằng các mô hình AI này là những giải pháp vạn năng cho các vấn đề hàng ngày. Nhưng có một điều bạn không thể trông chờ vào những mô hình AI này, đó là giải toán.

Đừng nhờ AI giải toán

Ngay cả những mô hình AI giỏi nhất về toán cũng có tỷ lệ chính xác khá thấp. Không chỉ dựa vào các mô hình AI thông thường, các nhà nghiên cứu tại Trường Đại học Thanh Hoa Trung Quốc còn huấn luyện một mô hình AI dành riêng cho các phép tính toán học có tên MathGLM để giải quyết các vấn đề toán học hóc búa.

Trên thực tế, các mô hình AI hoàn toàn có thể học cách giải toán nếu được huấn luyện trên các bộ dữ liệu toán học lớn để nhận diện được các mô hình phép tính và khi kết hợp với những số nhỏ hơn sẽ cho ra những câu trả lời gần đúng.

Nếu chỉ xét riêng khả năng tính toán, MathGLM hoàn toàn vượt trội so với ChatGPT và GPT-4 của OpenAI. Tuy vậy, ngay cả với những phép tính có 5 chữ số, mức độ chính xác của mô hình AI 2 tỷ tham số này chỉ đạt 85,16%. Điều này trái ngược hoàn toàn với một chiếc máy tính thông thường khi nó luôn kết quả đúng với độ chính xác tới 100%.

Thậm chí khi con số tính toán lớn hơn, mức độ chính xác cũng sụt giảm nhanh chóng. Nhiều khả năng điều này là vì các phép tính với những con số nhỏ hơn thường xuất hiện trong các bộ dữ liệu huấn luyện, do vậy, mô hình có thể nhận ra và đưa ra kết quả từ dữ liệu huấn luyện – thay vì thực sự tính toán các phép tính này.

Nếu dùng đúng cách, các mô hình AI vượt xa con người về khả năng tính toán

Tuy vậy các nhà nghiên cứu của Google cho thấy, nếu được kết hợp đúng cách, khả năng giải toán của các mô hình AI có thể vượt xa con người như thế nào. Gần đây Google đưa ra một phương pháp có tên gọi FunSearch, kết hợp một mô hình ngôn ngữ lớn được huấn luyện trước với một công cụ ước lượng tự động để ngăn ngừa hiện tượng ảo giác và các ý tưởng không chính xác của Mô hình AI.

Về cơ bản, phương pháp này là một quy trình lặp lại kết hợp sự sáng tạo của một mô hình ngôn ngữ lớn với điều gì đó có thể bắt nó lùi lại một bước nếu phát hiện hướng đi của nó bị sai. Có thể các mô hình AI không giỏi toán, nhưng chúng rất khá trong khả năng sáng tạo.

Đối với các phép toán, FunSearch hoạt động bằng cách lấy mô tả về một bài toán dưới dạng các dòng code. Phần mô tả sẽ đưa ra một quy trình để đánh giá đầu ra và khởi chạy một nhóm các chương trình để tính toán lại. Với mỗi vòng lặp của FunSearch, hệ thông sẽ lựa chọn một số chương trình và nạp chúng vào một mô hình ngôn ngữ lớn – ví dụ như PaLM 2 – để xây dựng các chương trình mới trên đó. Những chương trình mới sẽ được lựa chọn để lặp lại, tạo ra một vòng lặp tự cải thiện.

Ví dụ trong một phép tính, FunSearch tìm ra được các tập hợp giới hạn lớn nhất, vượt xa các tập hợp nổi tiếng nhất của những nhà toán học lỗi lạc nhất thế giới. "Theo hiểu biết của tôi, đây là khám phá khoa học đầu tiên được phát hiện nên nhờ sử dụng một mô hình AI." Các nhà nghiên cứu cho biết trong bài đăng trên tạp chí Nature.

Dù sao đi nữa, một chiếc máy tính vẫn tốt hơn

Nghiên cứu của Google cho thấy, nếu dùng đúng cách một mô hình ngôn ngữ vẫn có thể là một công cụ toán học mạnh mẽ, nhưng nó sẽ không thể giải quyết được một bài toán và tạo ra ý tưởng mới nếu không có sự trợ giúp từ bên ngoài.

Cho dù phương pháp FunSearch mà các nhà nghiên cứu của Google tạo ra giúp giải quyết các vấn đề toán học bằng cách lặp đi lặp lại khả năng sáng tạo của mô hình AI, nhưng điều này không cho thấy chúng giỏi toán. Phương pháp này của các kỹ sư chỉ giúp khả năng sáng tạo của chúng đi đúng hướng, thay vì tạo nên các ảo giác AI.

Có thể một mô hình AI sẽ rất có ích nếu bạn yêu cầu nó giải thích về một lý thuyết toán học nào đó, ví dụ như làm thế nào nhân nhiều ma trận với nhau. Nhưng nếu bạn yêu cầu chúng nhân các ma trận cho bạn, thì kết quả có thể sẽ hoàn toàn sai lệch.

Nói cách khác, bạn có thể yêu cầu các mô hình AI làm rất nhiều điều, nhưng để giải toán, tốt nhất bạn nên tìm một chiếc máy tính cầm tay.