Microsoft có thể đã hợp tác với OpenAI và mô hình ngôn ngữ quy mô lớn GPT của nó để giúp tạo ra các dịch vụ AI tổng hợp như Copilot (trước đây là Bing Chat). Tuy nhiên, công ty cũng đang phát triển mô hình ngôn ngữ của riêng mình. Tuần này, Microsoft Research đã công bố phát hành Orca2, phiên bản thứ hai của ngôn ngữ Orca.

Microsoft cho biết trong một bài đăng trên blog rằng Orca2 được thiết kế cho LM quy mô nhỏ nhưng vẫn có thể được sử dụng để trả lời các câu hỏi phức tạp như LLM. Orca2 có hai kích cỡ (7 tỷ và 13 tỷ tham số) và được xây dựng một phần bằng cách sử dụng Llama2LLM, ứng dụng mà Microsoft đã giúp Meta ra mắt vào đầu năm nay. Công ty đã tinh chỉnh mô hình dựa trên Llama2 “dựa trên dữ liệu tổng hợp chất lượng cao, được thiết kế riêng”.

Microsoft cho biết điều này làm cho mô hình Orca2 có thể so sánh với các mô hình ngôn ngữ khác "lớn hơn 5-10 lần" trong việc giải quyết vấn đề:

Orca2 được đào tạo bằng cách sử dụng tập dữ liệu tổng hợp mở rộng, có khả năng tùy chỉnh cao. Việc tạo ra các dữ liệu huấn luyện này dạy cho Orca2 các kỹ thuật lý luận khác nhau, chẳng hạn như xử lý từng bước, thu hồi và sau đó tạo, thu hồi-suy luận-tạo, trích xuất và trả lời trực tiếp, đồng thời dạy nó chọn các chiến lược giải pháp khác nhau cho các nhiệm vụ khác nhau.

Mô hình Orca2 đã tiến hành một loạt bài kiểm tra benchmark với các mô hình ngôn ngữ lớn như Llama2 và WizardLM. Nội dung kiểm tra bao gồm "hiểu ngôn ngữ, lý luận thông thường, lý luận nhiều bước, giải toán, đọc hiểu", v.v.

Blog chính thức của Microsoft cho biết: Kết quả thử nghiệm sơ bộ của chúng tôi cho thấy hiệu suất của Orca2 vượt xa đáng kể so với các mẫu có kích thước tương tự. Nó cũng đạt được mức hiệu suất tương tự hoặc tốt hơn so với các mô hình lớn hơn ít nhất 10 lần, chứng tỏ tiềm năng trang bị cho các mô hình nhỏ hơn khả năng suy luận tốt hơn.

Mặc dù Microsoft thừa nhận rằng Orca2 có những hạn chế nhưng việc thử nghiệm cho đến nay cho thấy "tiềm năng cho những tiến bộ trong tương lai". Microsoft sẽ phát hành Orca2 dưới dạng một dự án nguồn mở để những người khác có thể phát triển nó.