66B là một mô hình ngôn ngữ có khoảng 66 tỷ tham số, thuộc nhóm các mô hình ngôn ngữ lớn được đào tạo để xử lý ngôn ngữ tự nhiên, trả lời câu hỏi và sinh văn bản, cùng tham gia vào nhiều tác vụ AI khác.
66B sử dụng kiến trúc transformer được tối ưu cho việc hiểu và sinh ngôn ngữ, với số lượng lớp đáng kể, từ điển rộng và cửa sổ ngữ cảnh lớn, cho phép duy trì bối cảnh dài và phản hồi mạch lạc.
So với các mô hình có tham số thấp hơn, 66B thường cho hiệu suất tốt hơn trên nhiều bài kiểm tra ngôn ngữ tự nhiên, nhưng yêu cầu nguồn lực tính toán và bộ nhớ lớn hơn khi huấn luyện và suy diễn.
66B có thể được ứng dụng trong viết nội dung, tóm tắt văn bản, phân tích ý nghĩa, hỗ trợ lập trình và dịch thuật, cũng như làm trợ thủ giảng dạy và tư vấn tự động.
