Valós idejű jelnyelvi tolmács lehet a mesterséges intelligencia

A modell hozzájárul olyan eszközök létrehozásához, amelyek javíthatják a siket és nagyothalló közösség kommunikációját
A nagyothallók és siketek kommunikációjában főszerepet játszik a jelbeszéd, amely kézmozdulatokkal, arcjátékkal, testbeszéddel teszi lehetővé bonyolult mondanivalók kifejtését. Ennek minden nyelvben külön szótára, nyelvtana és mondattana van, például még a brit, az ausztrál és az amerikai jelnyelv is különbözik egymástól. Már eddig is készültek olyan programok, amelyek valós időben próbálják lefordítani a jelnyelvet (írott) szavakra, a kezekre szerelt mozgásérzékelőket és komputeres képalkotó technológiákat használva. A Floridai Atlanti Egyetem számítógép-tudományi tanszékének kutatói most olyan kísérletről számoltak be, amelynek során az amerikai jelnyelv (ASL) csaknem 30 ezer statikus jelének fordítógéppel való értelmezését tették lehetővé.
A MediaPipe, a Google mesterséges intelligenciája segítségével minden gesztust 21 jellemzője alapján írtak le, ezekkel bőséges információt nyújtva a kezek szerkezetéről, pozíciójáról. Ezek az adatok sokat segítettek a YOLOv8 gépi tanulás program fejlesztésében, képzésében ahhoz, hogy sokkal jobban értelmezze a finom eltéréseket a kézhelyzetek között, mindezt figyelemre méltó, 98 százalékos pontossággal teszi. Kutatók korábban már dolgoztak a YOLOv5-tel is, ami nagyon könnyen kezelhető, de annak a pontossága még jó tíz százalékkal alacsonyabb volt.
A hallássérültek számára hatalmas előrelépés volna egy olyan applikáció, amely az általuk jelnyelven elmondottakat mások számára érthető szöveggé alakítaná. A továbbiakban még fejlesztik a modellt, hogy nagyobb adatbázisa legyen a különböző kézformákról és gesztusokról annak érdekében, hogy jobban meg tudja különböztetni a hasonló gesztusokat, ezzel növelve pontosságát, továbbá olyan segédeszközöket készítenek hozzá, amelyekkel biztosítható a valósidejűség olyan környezetben, ahol a mozdulatok nehezebben értelmezhetők.

Forrás: Népszava

Ezeket is olvassa el:

A legjobb hazai sakkozónak számít, a világversenyeken is az elithez tartozik a debreceni Máté Balázs...

A BTS-tagok hangját a siket rajongóknak leíró bejegyzés zümmögést kelt

Puskás, a musical – Audionarráció és kedvezményes jegyek látássérülteknek

Eszter kitartása, szorgalma példa sorstársainak is

Leszállítottak egy siket utast a repülőgépről, amiért nem hallotta a légiutas-kísérőt

A Los domingos című dráma kapta a legjobb filmért járó Goyát