Бұл жоба 2025 жылғы 21 қазанда Президент Шавкат Мирзияевтың төрағалығымен өткен бейнеселекторлық жиында берілген тапсырманы орындау аясында жүзеге асырылды. Сол кезде мемлекет басшысы жасанды интеллект бағдарламаларының тиімді жұмыс істеуі үшін, ең алдымен, олардың өзбек тілін жетік түсінуі қажеттігін атап өтіп, өзбек тілінің мәтіндік корпусын құру міндетін жүктеген болатын.
Жаңа корпус өзбек тілінің латын және кирилл жазуларындағы мәтіндерін қамтиды. Оның құрамына сканерленген кітаптар, газет-журналдар мен архив материалдары, заңнамалық құжаттары, Википедия мақалалары, веб-парақшалар, сондай-ақ ашық Telegram жазбалары енгізілген.
Жиналған мәліметтер арнайы өңдеуден өткізіліп, сапа көрсеткіштері бойынша іріктелген және салалар мен тақырыптар бойынша жіктелген. Сонымен қатар жеке деректердің қауіпсіздігін қамтамасыз ету мақсатында олар [PHONE], [NAME] сияқты арнайы белгілермен алмастырылған.
Жобаның негізгі мақсаты – өзбек тіліндегі цифрлық деректер қорын кеңейту, жасанды интеллект модельдерінің ұлттық тілді түсіну, өңдеу және өзбек тілінде сапалы мәтіндер құрастыру мүмкіндіктерін арттыру.
Қазіргі уақытта Цифрлық технологиялар министрлігі аталған корпусты жетекші үлкен тілдік модельдерді (LLM) әзірлеушілерге ұсыну бағытында жұмыс жүргізіп жатыр. Атап айтқанда, Qwen моделімен бірлескен жұмыс басталған.
Мамандарға ашық түрде ұсынылған осы деректер базасы алдағы уақытта өзбек тілінде жұмыс істейтін жасанды интеллект шешімдерін дамытуға және ұлттық тілдің цифрлық кеңістіктегі мүмкіндіктерін кеңейтуге ықпал етеді деп күтілуде.
Өзбек тілінің мәтіндік корпусымен төмендегі сілтеме арқылы танысуға болады:
Hugging Face – Uzbek Language Corpus