[Google nguồn mở mô hình ngôn ngữ lớn Gemma]
1. Có gì mới?
Hôm nay, Google giới thiệu Gemma, một gia đình người mẫu mở nhẹ có công nghệ đào tạo tương tự với Gemini. Đây là kết quả của sự hợp tác giữa Google DeepMind và các nhóm Google khác đã dẫn đến việc phát hành các mô hình chỉ văn bản sang văn bản hiệu suất cao và độ trễ thấp. Gemma hứa hẹn thúc đẩy phát triển ứng dụng NLP bằng các mô hình nguồn mở mới trong vài tháng tới.
2. Chi tiết là gì?
- Google phát hành trọng lượng mô hình với hai kích cỡ: Gemma 2B và Gemma 7B. Mỗi kích cỡ được phát hành với các biến thể được đào tạo và hướng dẫn.
https://www.kaggle.com/models/google/gemma
- Bộ công cụ AI tạo sinh có trách nhiệm mới cung cấp hướng dẫn và các công cụ thiết yếu để tạo ra ứng dụng AI an toàn hơn với Gemma.
https://ai.google.dev/responsible
- Cung cấp các công cụ để tham khảo và giám sát tinh chỉnh (SFT) trên tất cả các khuôn khổ chính: JAX, PyTorch và TensorFlow thông qua Keras 3.0 bản địa.
- Sách ghi chép Colab và Kaggle sẵn sàng, cùng với việc tích hợp với các công cụ phổ biến như Hugging Face, MaxText, NVIDIA NeMo và TensorRT-LLM, giúp bạn dễ dàng bắt đầu với Gemma.
http://ai.google.dev/gemma/docs/get_started
https://www.kaggle.com/models/google/gemma/code
http://huggingface.co/google
https://github.com/google/maxtext
https://github.com/.../Generat....iveA.../tree/main/mo
https://github.com/NVIDIA/TensorRT-LLM
- Các mô hình Gemma được đào tạo trước và điều chỉnh hướng dẫn có thể chạy trên máy tính xách tay, trạm làm việc hoặc Google Cloud với cách triển khai dễ dàng trên Vertex AI: https://console.cloud.google.c....om/.../google/model- và Google Kubernetes Engine (GKE): https://cloud.google.com/kuber......./docs/integration
- Tối ưu hóa trên nhiều nền tảng phần cứng AI đảm bảo hiệu suất dẫn đầu trong ngành, bao gồm GPU NVIDIA và TPU Google Cloud.
- Điều khoản sử dụng giấy phép chịu trách nhiệm sử dụng và phân phối thương mại cho tất cả các tổ chức, bất kể quy mô nào.
3. Kết quả là gì?
Báo cáo kỹ thuật đã chứng minh rằng Gemma có hiệu suất đẳng cấp tốt nhất so với các mô hình mở khác có cùng kích thước như LLaMA 2 và Mistral về các nhiệm vụ tổng thể bao gồm hiểu biết chung (MMLU), lý luận (BBH và HellaSwag), toán (GSM8K và Toán), và mã (HumanEval).
https://storage.googleapis.com..../dee.../gemma/gemma-
4. Suy nghĩ của tôi
Gemma có thể là mô hình văn bản thay đổi trò chơi với hiệu suất vượt trội so với các đối tác của nó. Về mặt công nghệ, chất lượng vượt trội của Gemma được đóng góp đáng kể bằng cách sử dụng dữ liệu hướng dẫn và Học tập tăng cường. Về mặt thương mại, nhiều công ty sẽ tích hợp Gemma vào doanh nghiệp của mình để nâng cấp chất lượng dịch vụ vận hành. Do đó, nhu cầu sử dụng dịch vụ Google Cloud như Vertex và Google Cloud TPUs sẽ tăng cao.