Tösiqsiz muloqot sari

Sönggi yillarda sunʼiy intellekt (SI) haqidagi şov-şuvli muhokamalarning örnini aniq ijtimoiy loyihalar egallamoqda. Çunki SI endi nazariy model emas, balki inson imkoniyatlarini töldiruvçi va jamiyatdagi tösiqlarni bartaraf etuvçi kuçli vosita sifatida qaralmoqda. Xususan, eşitiş va gapiriş qobiliyatida nuqsoni bölgan şaxslar uçun muloqotni osonlaştiriş bugungi texnologik rivojlanişning markazida turibdi.

“Imo-işora tili” dunyodagi eng vizual va dinamik tillardan biri bölib, har bir qöl harakati yoki barmoq egilişi orqali murakkab tuşunçalarni ifodalaydi. Ammo bu tilni bilmaydiganlar uçun u töliq yopiq olamdek körinadi. Endi esa zamonaviy SI algoritmlari yordamida bu “jimjitlik dunyosi”ni raqamli tilga ötkaziş mumkin bölib qoldi. Bu jarayon hali töliq ovozli muloqot darajasiga yetmagan bölsa-da, qöl harakatlarini alohida sözlarga aylantirişni taʼminlaydigan dastlabki natijalarga allaqaçon erişilgan.

Tadqiqotlarimiz markazida kompyuterda köriş orqali imo-işorani matnga ögiriş masalasi turibdi, bunda “YOLO” (“You Only Look Once”) modeli asosiy rol öynaydi. Çunki u boşqa modellardan farqli ölaroq, videokadrlardagi obʼyektlarni (qöllarni) bir vaqtning özida aniqlab, lokalizatsiya qilişda yuqori tezlikda real vaqt rejimida keçikişsiz tahlilni taʼminlaydi. Ammo nozik harakat detallarini öqiş uçun “MediaPipe” kutubxonasi integratsiya qilinadi.

Bu tajribalarning muhim jihati — har bir tuşunilgan söz ortida inson taqdiri va qadr-qimmati yotibdi. “Özbekiston – 2030” strategiyasida belgilanganidek, raqamli texnologiyalar insonni yuksaltirişga xizmat qilişi kerak; hozirgi tizim hali gapirmayotgan bölsa-da, u imo-işorani tuşunib, matn şaklida çiqaradi. Bu esa eşitişda nuqsoni bölganlar uçun öz fikrlarini boşqalarga yetkaziş imkonini beradi va yaqin kelajakda har bir xizmat maskani yoki mobil qurilmada standart vositaga aylanadi. Hozirgi natijalar “vizual luğat” bosqiçida bölib, kundalik hayotdagi “salom”, “rahmat”, “ha // yöq”, “yordam bering” kabi tayanç sözlarni taniy olişga yönaltirilgan. Imo-işora tilini matnga yoki nutqqa ögiriş (“Sign-to-Text/Speech”) jarayoni zamonaviy sunʼiy intellekt va kompyuterda köriş sohalarining eng murakkab va ijtimoiy ahamiyatga ega yönalişlaridan biri hisoblanadi. U kameradan olingan videotasvirlarni real vaqt rejimida semantik maʼnoga ega bölgan til birliklariga aylantirişni közda tutadi.

Bu yondaşuvning texnik asosi inson harakatlarini tahlil qilişga tayanadi va vizual maʼlumotlarni yiğiş jarayonida oddiy “RGB” kameralardan foydalaniş tizimning ommabopligini taʼminlaydi. Yoritiş darajasi, fon şovqinlari va kiyim rangining tasvir bilan uyğunlaşib ketişi kabi muammolar algoritmlarning aniqligiga sezilarli taʼsir körsatadi. Dastlabki işlov beriş bosqiçida tasvirdagi foydalanuvçi tanasining holati normalizatsiya qilinadi va “MediaPipe” kutubxonasi yordamida har bir qöl uçun 21 ta asosiy tayanç nuqtasi (landmarks) aniqlanib, ularning “x”, “y”, “z” koordinatalari orqali skelet modeli yaratiladi. Bu tizimga butun boşli videoni emas, balki faqatgina raqamli koordinatalar ketma-ketligini tahlil qiliş imkonini beradi.

Şu bilan birga, imo-işoralarni tasniflaşda statik (“fingerspelling”) va dinamik (söz va gaplar) harakatlar farqlanadi. Bunda statik işoralarni aniqlaşda “Convolutional Neural Networks” (CNN) modeli 98 foizgaça aniqlikni körsatsa, vaqt davomida özgarib turuvçi dinamik harakatlarni qayta işlaş uçun “Long Short-Term Memory” (LSTM) va “Gated Recurrent Units” (GRU) kabi rekurrent neyron tarmoqlari qöllaniladi. Çunki bu modellar har bir kadrni oldingi kadrlar bilan mantiqiy boğlaş xususiyatiga ega. Tadqiqot natijalari şuni körsatadiki, faqatgina qöl harakatlariga tayaniş har doim ham kutilgan natijani bermaydi. Binobarin, imo-işora tilining tölaqonli maʼnosi yuz mimikasi (“eyebrow movement”), lab harakati va tana holati (“pose estimation”) kabi non-manual xususiyatlar (“NMFs”) orqali şakllanadi. Bu tizimdan multimodal yondaşuvni, yaʼni bir vaqtning özida bir neça neyron tarmoqlarini integratsiya qilişni talab qiladi.

“LSTM” tarmoqlari yordamida sözlarni gaplarga birlaştiriş va grammatik qurilmani örganişga ötişni taʼminlaydi, natijada imo-işora tilining “alifbo”si va dastlabki sözlarini kompyuterga örgatiş orqali eşitiş nuqsoniga ega şaxslar uçun tölaqonli raqamli köprik yaratiladi, bu esa jamiyatdagi inklyuzivlikni yanada kuçaytiradi.

Ilyosbek VALIXONOV,

Farğona davlat texnika

universiteti talabasi.