Alibaba Cloud Membuka Sumber Kode Model LLM Berparameter 7 Miliar

Suara.com - Alibaba Cloud mengumumkan kontribusi terbarunya terhadap komunitas sumber terbuka (open-source) dengan membuka sumber kode Model Bahasa Besar (Large Language Models-LLM) berparameter 7 miliar yaitu Qwen-7B dan Qwen-7B-Chat, melalui komunitas model kecerdasan buatan ModelScope, dan platform kolaboratif kecerdasan buatan Hugging Face.

Sebelumnya, Alibaba Cloud memperkenalkan LLM miliknya, Tongyi Qianwen, pada April awal tahun ini.

Model canggih ini mampu menghasilkan konten mirip manusia dalam bahasa Mandarin dan Inggris, dengan berbagai ukuran model, termasuk model dengan parameter tujuh miliar atau lebih.

Kali ini, perilisan sumber terbuka mencakup model dengan 7 miliar parameter yang telah dilatih sebelumnya, Qwen-7B, beserta versi yang disesuaikan secara percakapan, yaitu Qwen-7B-Chat.

Dalam upaya demokratisasi teknologi AI, kode model, bobot model, dan dokumentasi akan dapat diakses secara bebas oleh kalangan akademisi, peneliti, dan lembaga komersial di seluruh dunia.

Untuk penggunaan komersial, model-model tersebut akan dapat digunakan secara gratis oleh perusahaan-perusahaan dengan jumlah pengguna aktif bulanan kurang dari 100 juta.

Program-program dengan jumlah pengguna lebih banyak dapat meminta lisensi dari Alibaba Cloud.

"Dengan menyediakan sumber terbuka untuk model bahasa besar eksklusif, kami ingin mempromosikan teknologi inklusif dan memungkinkan lebih banyak developer dan UMKM untuk mendapatkan manfaat dari AI generatif," kata Jingren Zhou, CTO Alibaba Cloud Intelligence.

Dia menambahkan, sebagai pendukung dengan komitmen jangka panjang terhadap inisiatif sumber terbuka, diharap pendekatan terbuka ini juga dapat membawa kebijaksanaan kolektif untuk lebih membantu berkembangnya komunitas sumber terbuka.

Model Qwen-7B telah dilatih sebelumnya pada lebih dari 2 triliun token, termasuk materi berbahasa Mandarin, Inggris, dan multibahasa lainnya, kode, serta matematika, mencakup bidang umum dan profesional.

Panjang konteksnya mencapai 8K. Selama pelatihan, model Qwen-7B-Chat diselaraskan dengan instruksi manusia.

Baik model Qwen-7B maupun Qwen-7B-Chat dapat diimplementasikan pada infrastruktur cloud
dan lokal.

Hal ini memungkinkan pengguna melakukan penyesuaian ulang terhadap model dan membangun model generatif berkualitas tinggi mereka sendiri secara efektif dan dengan biaya yang efisien.

Model pra-pelatihan Qwen-7B, berhasil mencetak skor tertinggi dalam uji benchmark Massive Multi-task Language Understanding (MMLU), dengan mencetak skor mengesankan sebesar 56,7, mengungguli model open-source yang sudah ada dengan skala yang serupa atau bahkan beberapa model yang lebih besar.

Uji benchmark ini mengevaluasi akurasi dari model teks multitugas dalam 57 tugas yang beragam, mencakup bidang-bidang seperti matematika dasar, ilmu komputer, dan hukum.