66B là một mô hình ngôn ngữ với khoảng 66 tỷ tham số được thiết kế để xử lý ngôn ngữ tự nhiên, sinh văn bản và hỗ trợ các tác vụ trí tuệ nhân tạo khác. Mô hình nhằm cân bằng giữa khả năng hiểu ngữ cảnh và chi phí tính toán.
Kiến trúc của 66B dựa trên mạng Transformer với nhiều lớp tự chú ý và các khối feed-forward. Nó được huấn luyện trên tập dữ liệu đa ngôn ngữ và có các kỹ thuật tối ưu như chuẩn hóa và dropout để tăng độ ổn định.
Trên các bộ kiểm tra chuẩn, 66B cho đầu ra mạch lạc và có khả năng duy trì ngữ cảnh ở văn bản dài. Người dùng có thể ứng dụng 66B cho tổng hợp văn bản, trả lời câu hỏi, và hỗ trợ viết code.
So với các mô hình có tham số lớn hơn hoặc nhỏ hơn, 66B thường mang lại hiệu suất tốt ở mức chi phí tính toán hợp lý, phù hợp với hệ thống trung bình và cao cấp.
66B có thể được dùng cho tóm tắt văn bản, phân tích cảm xúc, dịch thuật, và hỗ trợ sáng tạo nội dung. Việc tinh chỉnh trên dữ liệu chuyên ngành giúp tăng độ chính xác ở các lĩnh vực cụ thể.