University of Waterloo – Nghiên cứu mới đây từ Đại học Waterloo làm sáng tỏ vấn đề thông tin sai lệch trong các mô hình ngôn ngữ lớn như GPT-3, tiền thân của ChatGPT. Các nhà khoa học đã tiến hành nghiên cứu một cách có hệ thống để xác định cách ChatGPT hiểu và phản ứng với sáu chủ đề: sự thật, âm mưu, tranh cãi, quan niệm sai lầm, khuôn mẫu và hư cấu. Nghiên cứu này là bước đầu trong nỗ lực khám phá cách giảm thiểu rủi ro từ sự tương tác giữa con người và trí tuệ nhân tạo.
Trong quá trình nghiên cứu, các nhà khoa học phát hiện GPT-3 thường xuyên lặp lại thông tin sai lệch và mâu thuẫn với chính mình trong cùng một câu trả lời. Mặc dù nghiên cứu diễn ra trước khi ChatGPT được phát hành, nhưng các phát hiện vẫn rất quan trọng đối với sự phát triển của các mô hình ngôn ngữ lớn khác.
Dan Brown, giáo sư tại Trường David R. Cheriton, Đại học Waterloo, nhấn mạnh sự tái tạo nội dung kỳ lạ của các mô hình ngôn ngữ lớn, làm cho chúng dễ dàng lặp lại những vấn đề đã được phát hiện trong nghiên cứu. Các nhà nghiên cứu đã thử nghiệm với hơn 1.200 tuyên bố, sử dụng bốn mẫu câu hỏi khác nhau để đánh giá phản ứng của GPT-3. Kết quả cho thấy GPT-3 đồng ý với các tuyên bố không chính xác từ 4,8% đến 26% thời gian, tùy thuộc vào cách diễn đạt.
Aisha Khatun, sinh viên thạc sĩ khoa học máy tính và tác giả chính của nghiên cứu, chỉ ra rằng thậm chí những thay đổi nhỏ trong cách diễn đạt cũng có thể ảnh hưởng lớn đến câu trả lời của mô hình. Cô cảnh báo về nguy cơ các mô hình ngôn ngữ lớn học hỏi thông tin sai lệch và sự phổ biến của chúng làm tăng rủi ro này.
Brown khẳng định, khả năng phân biệt sự thật và hư cấu của các mô hình ngôn ngữ lớn sẽ là một vấn đề cơ bản về niềm tin đối với các hệ thống này trong thời gian dài sắp tới. Nghiên cứu “Kiểm tra độ tin cậy: Phân tích phản hồi của GPT-3 đối với các chủ đề nhạy cảm và cách diễn đạt nhanh chóng” đã được công bố trong Kỷ yếu của Hội thảo về Độ tin cậy trong xử lý ngôn ngữ tự nhiên .
