Texnologiya Pixel 11 smartfonlaridagi Gboard va Live Transcribe xizmatlariga integratsiyalashgan.
Ilgari sun’iy intellekt texnologiyalari asosan og‘zaki nutqni aniqlashga qaratilgan edi. Biroq, butun dunyo bo‘ylab taxminan 70 million kar va eshitish qobiliyati zaif odamlar foydalanadigan 200 dan ortiq imo-ishora tillari bunday texnologiyalar tomonidan sezilarli darajada yetarlicha qo‘llab-quvvatlanmaydi.
SL2T yordamida foydalanuvchilar imo-ishoralar yordamida matnni "yozish", Internetda ma’lumot qidirish, xabarlar va hujjatlar yozish, shuningdek, Gemini sun’iy intellekt yordamchisiga so‘rovlar yuborishlari mumkin. Live Transcribe xizmati suhbatdoshga matn yozish o‘rniga imo-ishoralar bilan javob berish imkoniyatini beradi.
Hozircha texnologiya faqat Amerika imo-ishora tilini (ASL)qo‘llab-quvvatlaydi va uni ingliz tiliga tarjima qiladi. Google kelajakda tillar va qurilmalar ro‘yxatini asta-sekin kengaytirishni rejalashtirmoqda.
Imo-ishora tillarining o‘ziga xos grammatikalari mavjud va qo‘l imo-ishoralaridan tashqari, yuz ifodalari, bosh va tana harakatlari ham ularda muhim rol o‘ynaydi. Shuning uchun ularning avtomatik tarjimasi individual imo-ishoralarni tanib olishdan ancha murakkabroq.
SL2T modeli 50 dan ortiq imo-ishora tillarini qamrab olgan 100 ming soatdan ortiq video ma’lumotlar asosida o‘rgatilgan. Ish paytida tizim videoning o‘zini emas, balki inson tanasidagi asosiy nuqtalarning koordinatalarini tahlil qiladi. Buning yordamida serverga faqat harakat haqidagi ma’lumotlar yuboriladi, asl video emas.
Model imo-ishoralar ketma-ketligini oraliq imo-ishora belgilaridan, ya’ni glossalardan foydalanmasdan to‘g‘ridan to‘g‘ri matnga o‘zgartiradi. Ishlab chiquvchilarning so‘zlariga ko‘ra, FLEURS-ASL testida tizim BLEURT shkalasi bo‘yicha 70 ball to‘plagan.
Biroq, texnologiya hali ham bir qator cheklovlarga ega. Tizim noyob imo-ishoralarni, tez ta’sir qiluvchi barmoq alifbolarini va ba’zi murakkab tuzilmalarni tanib olishda xatolarga yo‘l qo‘yishi mumkin. Qo‘shimcha kontekstsiz harakat qachon sodir bo‘lganligini aniqlash ham qiyin.
Loyihani ishlab chiqishda eshitish qobiliyatidan mahrum odamlar jamoasi vakillari ham ishtirok etishdi. Loyiha g‘oyasi muallifi Google xodimi Sem Sepa bo‘lib, u ham eshitish qobiliyatiga ega emas. Jamoa vakillari ma’lumotlarni to‘plash va modelni sinovdan o‘tkazishda ishtirok etishdi, deb xabar berdi Kazinform.
