Для искусственного интеллекта создана открытая база данных на узбекском языке объёмом 6 млрд слов
Министерство цифровых технологий представило для открытого использования корпус узбекского языка, включающий 5,6 млн документов и около 6 млрд слов. База данных может использоваться для адаптации моделей искусственного интеллекта к узбекскому языку. Министерство также начало сотрудничество с разработчиками китайской модели Qwen.

В Узбекистане создан крупный открытый текстовый корпус, предназначенный для обучения моделей искусственного интеллекта. Он размещён на платформе Hugging Face. Об этом сообщила пресс-служба Министерства цифровых технологий.
Согласно технической информации, опубликованной на платформе, версия 1.3 набора данных «Uzbek Language Corpus» включает 5,64 млн документов и 6,06 млрд слов. Данные хранятся в 136 файлах, общий объём которых составляет 16,2 ГБ.
Основную часть корпуса составляют тексты из книг, периодических изданий, архивных документов и интернет-страниц. В частности, в него вошли 1,83 млрд слов из материалов Национальной библиотеки, 1,28 млрд слов из проекта Tahrirchi и более 1 млрд слов из интернет-страниц.
Кроме того, в корпус включены более 74,5 тыс. правовых документов с Lex.uz, 122,7 тыс. статей узбекской Википедии и 1,12 млн публикаций из открытых Telegram-каналов.
52% документов в базе данных написаны латиницей, 46% — кириллицей, оставшиеся 2% содержат смешанную письменность.
По данным министерства, собранные тексты прошли специальную обработку и контроль качества. При оцифровке отсканированных книг и архивных документов использовались технологии DeepSeek-OCR и Microsoft Azure AI Document Intelligence.
Тексты были классифицированы по темам, сферам и стилям, дублирующиеся документы удалены. Номера телефонов, персональные идентификаторы и некоторые другие личные данные заменены специальными обозначениями.
Что изменится для искусственного интеллекта на узбекском языке?
Проект разработан в рамках поручения президента от 21 октября 2025 года. Глава государства тогда подчеркнул, что для эффективной работы программ искусственного интеллекта необходимо обеспечить полноценное понимание ими узбекского языка.
Указом президента №ПФ-189 от 22 октября 2025 года была поставлена задача создать «Корпус узбекского языка» до конца 2026 года и внедрить его как минимум в пять открытых больших языковых моделей.
Новый корпус позволит местным разработчикам и исследователям обучать большие языковые модели на текстах на узбекском языке или адаптировать уже существующие модели.
В частности, его можно использовать для создания чат-ботов на узбекском языке, анализа текстов, обработки юридических документов и других сервисов на основе искусственного интеллекта.
В настоящее время Министерство цифровых технологий работает над предоставлением корпуса международным разработчикам крупных языковых моделей. В частности, уже началось сотрудничество по направлению моделей Qwen, разработчиком которых является китайская компания Alibaba.
Набор данных размещён на Hugging Face под лицензией Open Data Commons Attribution. При этом в отношении отдельных текстов, включённых в корпус, продолжают действовать авторские права и условия использования первоначальных источников.
Ознакомиться с корпусом и воспользоваться им можно по этой ссылке.









