Secara khusus, Gemini Ultra berhasil mencapai skor 90,0% yang luar biasa pada uji Pemahaman Bahasa Multitugas yang Masif (MMLU), yang mencakup mata pelajaran seperti matematika, fisika, sejarah, hukum, kedokteran, dan etika, yang menilai pengetahuan dan kemampuan pemecahan masalah.
Pencapaian ini merupakan contoh pertama dari model AI yang melampaui para ahli manusia dalam uji khusus ini.
Iterasi awal Gemini menunjukkan kemampuan dalam memahami, menjelaskan, dan menghasilkan kode berkualitas tinggi dalam bahasa pemrograman populer seperti Python, Java, C++, dan Go. Google menegaskan bahwa hal ini memposisikan Gemini sebagai salah satu model AI utama untuk pengkodean secara global.
Gemini Ultra juga telah berhasil dalam berbagai uji coba pengkodean, termasuk HumanEval, standar industri untuk mengevaluasi kinerja dalam tugas-tugas pengkodean, dan Natural2Code, uji coba yang menggunakan sumber yang dibuat oleh penulis daripada informasi berbasis web.
Selain itu, Gemini memiliki potensi untuk mendukung sistem pengkodean canggih. Dua tahun lalu, Google memperkenalkan AlphaCode, sebuah sistem AI utama yang mampu menghasilkan kode untuk kompetisi pemrograman.
Dengan menggunakan versi khusus dari Gemini, Google telah mengembangkan sistem penghasil kode yang lebih canggih yang dikenal sebagai AlphaCode 2. Sistem ini menunjukkan kemampuan dalam memecahkan masalah pemrograman kompetitif yang melibatkan konsep matematika yang rumit dan ilmu komputer teoritis.
Kekurang Google Gemini AI
Meskipun Gemini Pro yang terintegrasi ke dalam Bard membawa kemajuan yang menjanjikan, sangat penting untuk mengetahui beberapa keterbatasan tertentu:
- Keterbatasan Bahasa: Gemini Pro saat ini hanya tersedia dalam bahasa Inggris, sehingga membatasi aksesibilitasnya dalam skala global.
- Kendala Integrasi: Meskipun Bard telah menggunakan Gemini Pro, integrasinya dalam chatbot saat ini masih terbatas. Google diantisipasi untuk meningkatkan integrasi dan menyempurnakan kemampuan AI dalam pembaruan mendatang.
- Kendala Geografis: Gemini Pro tidak tersedia di Uni Eropa, sehingga memberikan batasan geografis pada penggunaannya.
- Hanya Versi Berbasis Teks: Saat ini, hanya versi berbasis teks dari Gemini Pro yang dapat diakses di dalam Bard. Pengguna yang menginginkan interaksi multimedia mungkin perlu menunggu pembaruan di masa mendatang untuk mendapatkan fitur yang lebih beragam.
