Мазкур лойиҳа 2025 йил 21 октябрь куни Президент Шавкат Мирзиёев раислигида ўтказилган видеоселектор йиғилишида берилган топшириқ ижроси доирасида амалга оширилди. Ўшанда давлат раҳбари сунъий интеллект дастурлари самарали ишлаши учун, аввало, ўзбек тилини мукаммал тушуниши зарурлигини таъкидлаб, ўзбек тили корпусини яратиш вазифасини белгилаган эди.
Янги корпус ўзбек тилининг лотин ва кирилл ёзувларидаги матнларни қамраб олган. Ундан сканерланган китоблар, газета ва архив материаллари, қонунчилик ҳужжатлари, Википедия мақолалари, веб-саҳифалар ҳамда очиқ Telegram постлари ўрин олган.
Тўпланган маълумотлар махсус қайта ишланиб, сифат кўрсаткичлари бўйича сараланган ва соҳа ҳамда мавзулар кесимида таснифланган. Шунингдек, шахсий маълумотлар хавфсизлигини таъминлаш мақсадида улар [PHONE], [NAME] каби махсус белгилар билан алмаштирилган.
Лойиҳанинг асосий мақсади ўзбек тилидаги рақамли маълумотлар базасини кенгайтириш, сунъий интеллект моделларининг миллий тилни тушуниш, қайта ишлаш ва ўзбек тилида сифатли матнлар яратиш имкониятларини оширишдан иборат.
Айни пайтда Рақамли технологиялар вазирлиги мазкур корпусни етакчи катта тил моделлари (LLM) ишлаб чиқувчиларига тақдим этиш бўйича иш олиб бормоқда. Жумладан, Qwen модели билан ҳамкорликдаги ишлар бошланган.
Мутахассислар учун очиқ тақдим этилган ушбу маълумотлар базаси келгусида ўзбек тилида ишлайдиган сунъий интеллект ечимларини ривожлантириш, миллий тилнинг рақамли муҳитдаги имкониятларини кенгайтиришга хизмат қилиши кутилмоқда.
Ўзбек тили корпуси билан қуйидаги ҳавола орқали танишиш мумкин: