Tahrirchi.uz tomonidan mashhur sunʼiy intellekt modellarining oʻzbek tilini qanchalik yaxshi tushunishi oʻrganib chiqildi. Bu maqsadda loyiha doirasida oʻzbek tilidagi birinchi keng qamrovli Benchmark – UzLiB (Uzbek Linguistic Benchmark) yaratildi.

Benchmarkni yaratishda turli Telegram kanallardagi oʻzbek tili grammatikasi, lugʻati va toʻgʻri qoʻllanilishiga oid bilimni sinovchi viktorinalardan foydalanilgan.

Natijalar qanday boʻldi?

Tadqiqot natijalariga koʻra, tijoriy modellar eng yuqori aniqlikka ega boʻldi. Claude 3.5 Sonnet (63.62%), Gemini 2.0 Pro Experimental (63.03%) va GPT-4o (62.87%) ushbu sinovda yetakchilik qilgan. Ularning natijalari nafaqat sunʼiy intellektlar orasida eng yuqori boʻldi, balki Telegram viktorinalarida qatnashgan insonlarning oʻrtacha aniqlik koʻrsatkichidan (taxminan 59%) ham oʻzib ketdi.

Shunga qaramay, hatto eng ilgʻor modellar ham test savollarining qariyb 40% ga notoʻgʻri javob bergan. Bu sunʼiy intellekt modellarining oʻzbek tilini tushunishi hali mukammallikdan yiroqligini va yanada chuqur tadqiqotlar va takomillashtirish ishlarini talab qilishini anglatadi.

Yopiq kodli modellar umumiy hisobda yaxshiroq natija qayd etgan boʻlsa-da, baʼzi ochiq kodli modellar ham eʼtiborga molik natijalarga erishdi. Masalan, Llama 3.1 405B (55.13%) va DeepSeek-V3 (52.98%) Benchmarkda ancha yaxshi ishladi.

Baʼzi modellar esa sezilarli darajada past natija qayd etgan. Jumladan, Mistral 7B (33.48%), Llama 3.1 8B Uz (31.76%) kabi modellar oʻzbek tilidagi test savollarini tahlil qilishda qiyinchiliklarga duch keldi.

Qaysi sunʼiy intellekt modeli oʻzbek tilini yaxshiroq tushunadi?