Magyar mesterséges intelligenciával jelelnek az amerikai siketek

A SignAll jeltolmácsgépet egy magyar fejlesztői csapat vitte sikerre, és Washingtonban debütált a Gallaudet Egyetemen, ahol – a világon egyedüliként – siket embereket képeznek. A SignAll jeltolmácsrendszere az egyetlen olyan megoldás, mely valós időben képes a siketjelnyelv automatikus fordítására. Robotka Zsolttal, a SignAll alapítójával beszélgetett a cikk szerzője.

GyártásTrend: Hogyan kezdődött a jelnyelvrendszer fejlesztése? Mi adta az ötletet? Robotka Zsolt: A történetnek két szála van. Magunk is felvettünk egy siket programozót két évvel ezelőtt, aki egy iráni fiatalember, és a Budapesti Műszaki és Gazdaságtudományi Egyetemre járt. A jelenlegi vállalkozásunk, a SignAll részben a Dolphio Technologies cégből alakult, amely kamerás gépilátás-fejlesztéssel foglalkozott, és ahol nagyon sok mozgáskövető rendszert fejlesztettünk, így a technológiai hátterünk adott volt. A siket fejlesztővel való találkozás után tapasztaltuk, hogy az írásos kommunikáció egyáltalán nem megfelelő. A legtöbb siket számára, így kollégánknak is a jelnyelv volt az elsődleges kommunikációs színtere, a beszélt nyelv írása pedig csupán a másodlagosan tanult nyelve volt. Később magam is tapasztaltam, hogy siketekkel együttműködve gondot okoz például a jeltolmácsok egyeztetése. Ennél fejlettebb megoldásnak számít, ha a tolmács nem megy a helyszínre, hanem videókapcsolaton keresztül segít távolról, telekonferencia-rendszerrel. Ez annyiban egyszerűbb, hogy rugalmasabb, és bármelyik tolmács kapcsolható, aki éppen ráér. Ez már javított a kommunikációs lehetőségeken, amelyhez képest a mi fejlesztésünk egy újabb technológiai lépés. GyT.: Mit csinál ez a rendszer? Összeköti videón a gép a tolmácsot azokkal a felekkel, akik kommunikálni akarnak? R. Z.: Itt a mesterséges intelligencia (MI) a tolmács, amely fordít, amelynek a segítségével egy halló és egy siket kommunikálni tud. Az MI kamerával nézi a siketet, a kameraképeket feldolgozva megérti a jelnyelvet, és lefordítja beszélt nyelvre. Esetünkben amerikai jelnyelvet használ a siket, a rendszer figyeli a mozdulatait, arcát, és az alapján angol mondatokat mond – gyakorlatilag a túloldalon lévő halló ember számára. A kommunikáció másik iránya, hogy a halló ember mond valamit, amely beszédfelismeréssel megjelenik a chatszövegben, és a siket ember el is tudja olvasni. Nekünk az a célunk, hogy olyan tolmácsminőségű szoftvert fejlesszünk, amelynek a segítségével az illető megérti a beszélt nyelvet anélkül, hogy írni kelljen. A siket iráni programozónkkal amerikai jelnyelven kommunikáltunk, ezt használják a nemzetközi kommunikációhoz is. A magyar jelnyelv megismerésében kezdeti lépéseket tettünk. Amint üzletileg komolyabbá vált ez a fejlesztés, azonnal átváltottunk az amerikai jelnyelvre, mert ennek nagyobb a megtérülése. Pillanatnyilag ehhez tudjuk előteremteni a szükséges piaci fedezetet. Magyar siketek, magánszemélyek és kutatók segítenek, akik a magyar jelnyelvet kutatják. Szembesültünk azzal, hogy a magyar jelnyelv is bonyolult – elsősorban technológiailag. Amit kevesen tudnak, hogy a jelnyelv nem csak kézjelekkel működik: az egész testtartás, az arcjáték és a mimika szerepet kap. Mind együttesen adják ki a fogalmak, szavak jelentését. A siketek nyelve a hallókétól egészen eltérő: elszigetelten strukturált nyelvet használnak annak saját nyelvtanával, egymásra hatásával, hiszen egy arckifejezés is módosíthat egy fogalmat. Maga a kommunikáció más logikára épül, mint a beszélt nyelv. Mindez nyelvészeti szempontból is komoly kihívást jelentett. GyT.: Honnan gyűjtöttek adatokat az MI fejlesztéséhez? R. Z.: Nem volt könnyű dolgunk. Míg máshol minden jól elérhető, addig ezen a területen kevés adat állt rendelkezésre. Megfelelő adatbázis nem volt elérhető, ezt nekünk kellett rögzíteni. Ezt fáradságos munkával az Amerikai Egyesült Államokban gyűjtöttük. A szoftver használatán keresztül jutunk még több adathoz – az amerikai siket közösség is nagyon erősen támogat minket, illetve számos, piacon lévő cég és magánszemély is segít nekünk. A washingtoni Gallaudet Egyetemen, a világ egyetlen egyetemén, ahol jelnyelven tanítanak, egy laboratóriumot nyitottunk. Az ottani kutatógárda az amerikai siketek széles körét megszólította: időseket, fiatalokat, keleti és nyugati parti lakosokat, továbbá különböző fogyatékossággal küzdő emberek támogatását kérték a vizsgálathoz, adatgyűjtéshez. A kutatás-fejlesztést Budapesten végezzük, nem lenne hatékony az Amerikai Egyesült Államokban, viszont vannak amerikai kollégáink, akik ideköltöztek, s mindig van egy-két siket is a fejlesztők között. Mindnyájan tanuljuk a jelnyelvet, hogy magunk is értsük, és tudjunk kommunikálni. GyT.: Mennyire volt bonyolult összehangolni, amikor megpróbálták az amerikai nyelvre megtanítani a mesterséges intelligenciát, illetve a chatjellegű felületeken való szövegátalakítást? R. Z.: Ha valaki két beszélt nyelvet fordít egymásra, nem biztos, hogy minden szónak sikerül megtalálni a megfelelő jelentését. Ez a jelnyelvre fokozottan igaz, mivel nagyon eltérő módon működnek azáltal, hogy több csatornán lehet kommunikálni: a testbeszéd és az érzelmek is benne vannak. Nem mindegy az sem, hogy a test melyik oldalán jelel valaki – ezt megjegyzi a mesterséges intelligencia. A jelnyelveknek is megvan a saját maga specialitásuk. A fejlesztést segíti egy nyelvészcsoport is, amelynek tagjai napi szinten azzal küzdenek, hogyan tudják a legjobban megfeleltetni egymással ezt a két nyelvet. A mi szoftverünk az amerikai beszélt jelnyelv és az amerikai beszélt angol között fordít. Az angol beszélt nyelv és az amerikai beszélt nyelv között kisebb különbségek vannak, de például a brit és amerikai jelnyelv teljes mértékben eltér egymástól. GyT.: Az angolon kívül lesz más világnyelveken fejlesztés? R. Z.: Nagyon szeretnénk ilyen fejlesztést végrehajtani, de azt tudni kell, hogy egy újabb nyelv feldolgozására óriási összegeket kell áldozni. A piaci logikának igazolnia kell, hogy miért fektetünk bele ennyit, és ebben a pillanatban az amerikai piacra koncentrálunk. Amíg az USA-ban adatbázist tudtunk létrehozni, mert a piac megengedte, addig kisebb országokban valamilyen állami szerepvállalással lehet csak adatbázist fejleszteni. Akár nyílt, akár zárt, de mindenképpen megfelelő infrastruktúrára van szükség. GyT.: Mi a véleménye: mikor lehet közkincs a fejlesztésük? R. Z.: Nemcsak a Gallaudet Egyetemen, de mi is azt gondoljuk, hogy ez többéves munka lesz, amíg sikerül széles körben elterjeszteni. Arra mindenképpen ügyelünk, nehogy félreértsék: nem a jeltolmácsok munkáját akarjuk kiváltani, hanem tökéletesíteni akarjuk a jelelők kommunikációját. GyT.: Hogyan lehet hozzájutni ehhez a technológiához? R. Z.: Egyelőre tőlünk lehet megvásárolni, később természetesen viszonteladókon keresztül is elérhető lesz. Most mindenesetre mindegyiket mi magunk telepítjük. Különböző cégeknél, intézményeknél irodán belül telepíthetők ezek a rendszerek, belső kommunikációra használják őket. Leginkább azok a vállalatok vásárolják meg, amelyek már alkalmaznak vagy alkalmazni fognak siket munkavállalókat. Fontos tudni, hogy munkaerőhiány van sok területen, de akadnának munkavállalók a fogyatékkal élők között is. Az USA-ban különböző állami előírások vannak arra vonatkozóan, hogy minél több fogyatékkal élőt kell alkalmazni, de ilyen szabályok az Európai Unióban is vannak. GyT.: Mekkora az érdeklődés az új rendszer iránt? R. Z.: Egyelőre lépésről lépésre haladunk. Nagyon sok megkeresést kapunk, de még erősen szűrjük az érdeklődőket: egyelőre fontos, hogy a rendszer működéséhez a legmegfelelőbbek legyenek a körülmények, és a felhasználók hozzájáruljanak az adatok megosztásához. Ez ebben a fejlesztési szakaszban kulcskérdés számunkra. Cégünk központja itthon van, személyes kapcsolatunk van magyar siketekkel, és nagyon szeretnénk, hogy egyszer Magyarországon is megjelenjen ez a rendszer. A jövőben magát a technológiát akarjuk tökéletesíteni, és célunk, hogy később egy egyszerű mobiltelefonon is működjön a rendszer. (Forrás: Ilonka Mária – GyártásTrend.hu)

Ez az oldal az Akismet szolgáltatást használja a spam csökkentésére. Ismerje meg a hozzászólás adatainak feldolgozását .