Mesterséges intelligencia elemezheti a műalkotásokat a jövő múzeumában

Milyen céllal indult közel három évvel ezelőtt a SHIFT-projekt?

Szerettünk volna megalkotni egy olyan mesterséges intelligencia (MI) által támogatott technológiát, amelyet az intézmények alkalmazhatnak a saját gyűjteményükre. A konzorcium minden tagja megkaphatja az együttműködés összes fejlesztését, s nemcsak most, hanem a későbbiek során is. A projekt célja ugyanakkor, hogy a fejlesztéseket idővel a világ összes intézménye megvásárolhassa.

Új, élményszerű hozzáférés

A SHIFT-projekt az Európai Unió Horizon Europe programjának támogatásával valósul meg, célja olyan technológiai megoldások fejlesztése, amelyek elősegítik a kulturális örökség szélesebb körű, befogadóbb és akadálymentesebb elérését. A projekt 2022 októberében indult, és 2025 szeptemberéig tart, 13 partnerintézmény részvételével (fejlesztők, múzeumok, könyvtárak, levéltárak) 11 európai országból. A konzorciumot a romániai SIMAVI vezeti, a magyarországi partner a Magyar Nemzeti Múzeum Közgyűjteményi Központ Semmelweis Orvostörténeti Múzeum Könyvtár és Adattár (röviden SOM). A projektben fejlesztett megoldások a legmodernebb technológiákra – mesterséges intelligencia, gépi tanulás, multimodális adatfeldolgozás, szemantikai reprezentáció, nyelvészeti elemzés, haptikus interfészek – épülnek. A cél, hogy minden látogató, különösen a fogyatékossággal élők számára új, értelmezhető és élményszerű hozzáférést biztosítsanak a kulturális tartalmakhoz.

Mi volt az eredeti elképzelés a konzorcium létrehozásakor? 

A projekt egy hosszabb előkészítő szakasszal indult, kezdetben azzal a céllal, hogy minél több emberhez, minél változatosabb formában és eszközök segítségével juthasson el a kultúra. Azonban már a kezdeti megbeszélések során megerősödött az igény arra vonatkozóan, hogy minél inkább fókuszáljunk a fogyatékossággal élők igényeire, azon belül is a látássérültekre. A projekt kezdetén többen kifejezték igényüket azzal kapcsolatban is, hogy ideális lenne, ha idősek vagy alacsonyabb szociokulturális közegből érkezők számára ugyancsak befogadhatóbbá tudnánk tenni a kiállítások anyagát. 

A projekt nem kizárólag a kiállított műtárgyakra fókuszál, mert a különböző technológiai megoldások segítségével kimondottan a gyűjteményi anyagokat képes feldolgozni, „láthatóvá” tenni, így nemcsak a látogatók, de a kutatók is használhatják. 

Milyen eredményeket értek el eddig?

Az érintett látogatói csoportoknak számos workshopot tartottunk, amelyeken minden egyes ötletelési, előkészítési, fejlesztési szakaszt leteszteltünk. Az alkalmak során megvitattuk, milyen változtatásokra van szükség ahhoz, hogy az eszközöket megfelelően tudják használni. Ezzel a lépessel tudott a projekt igazán inkluzívvá válni. 

Kép

Fotó forrása: Blahák Eszter/SOM

Hogyan zajlott a fejlesztési szakasz?

Első körben áttekintettük, melyek azok a csoportok, amelyek rendszeresen látogatják az intézményünket. Statisztikáink szerint főként látás- és hallássérültek, autizmus spektrumzavarral érintettek, illetve értelmileg akadályozottak keresik fel a SOM-ot. Létrehoztunk három nagyobb csoportot, és minden egyes fejlesztési szakaszt három külön workshopon teszteltünk tapasztalati szakértőkkel. A siketekkel és nagyothallókkal érkező jelnyelvi tolmácsokat szintén bevontuk szakértőként. Az autizmus spektrumzavarral érintettek esetében a kezdetektől együtt dolgoztunk gyógypedagógus szakemberekkel, akik között akadt olyan, aki maga is érintett volt a fogyatékossággal. Később felvettük a kapcsolatot érintett gyermekcsoportokkal, fiatal felnőttekkel is. 

Milyen észrevételek érkeztek az eszközökkel kapcsolatban?

Kezdetben arról gondolkodtunk, mi lenne, ha hozzáférhetnének egy MI-alapú fejlesztéshez a múzeumunkban, ám már az első workshopokon kiderült, hogy a fogyatékossággal élőknek nem feltétlenül arra van szükségük, amit a többségi társadalomból érkezők gondolnak. 

Viszonylag korán igény vetődött fel például arra, hogy festményeket valamilyen formában leíró programok is készüljenek, ami nem azonos a vakok és gyengénlátók által használt felolvasó programmal. 

Mire gondoljunk ez esetben?

Már most is léteznek olyan megoldások, amikor fizikailag jelenítenek meg egy képet, például dombornyomott formában, vagy különböző anyagokkal imitálva (a Van Gogh képein látható örvénylő formákat például bársonnyal és frottírral tették érzékelhetővé). Ám mi szerettünk volna ennél tovább lépni, és technológiai válaszokat adni a felmerült kérdésre, hogy az MI-alapú technológia viszonylag „önműködő” lehessen. Azaz: a program idővel ne csupán előre feltöltött festményekről informálja a látogatót, hanem lényegében bármilyen kiállított műalkotásról.

Kép

Benyó-Vattay Liliána – Fotó: Császár Tamás

Úgy képzeljük el az eszközt, hogy a kamerával lefényképezi a műtárgyat, s a képről a MI generál szöveget a felhasználó számára?

Nagyjából igen, ez lenne az egyik jövőbeni irány. A fejlesztést kiegészítenék VR-szemüveggel is, ami még a gyengénlátók – és persze más fogyatékossággal érintettek – számára is segítséget jelenthet, illetve plusz tartalmakat rendelhetünk segítségével a műalkotásokhoz, megjelenhet a képen szöveg vagy kattintható tartalom. Ugyancsak a korai szakaszban született meg az ötlet egy haptikus kesztyű megalkotásáról is.

Utóbbi milyen segítséget biztosít?

Különböző érzeteket nyújthat a felhasználó számára. 

Ha például valaki ráközelít egy festményre, amin tüzet ábrázolnak, akkor az eszköz meleg hőérzetet biztosít viselőjének. 

Ezáltal sokkal befogadhatóbbá válik egy vak látogató számára az ábrázolás. Sokuknak ugyanis az a kifejezés, hogy „tűz” nem sokat mond abban az esetben, ha korábban nem látta, mert születésétől fogva vak. Hőérzete viszont van, hiszen biztos megfogott már egy pohár meleg teát. De említhettem volna a fémet, a bőrt, a bársonyt, amelyek szintén nem biztos, hogy sokat mondanak egy nem látónak. A kesztyűt láttam működés közben festmény, szobor és épületdíszítés értelmezéséhez használni. 

Kép

Fotó forrása: SOM

A felsorolt fejlesztések egytől egyig remek kezdeményezések. Milyen elemein csiszoltak a fogyatékossággal élők javaslatai alapján?

Az egyik festmény tengerparti jelentet ábrázolt: hullámok verdesnek magas sziklákat, a vízen csónak halad. A VR-szemüveghez számos hanghatást rendeltek, hullámzást, motorcsónakzajt, szélzúgást. A vakok és gyengénlátók és az autizmus spektrumzavarral érintettek egyaránt jelezték: túl sok az inger, a különböző hanghatás, amelyektől ráadásul nem hallották a magyarázó szöveget. A siketek és nagyothallók is azt jelezték, nehéz differenciálniuk a narrációt a zajoktól. Vagyis a legelső nagyon fontos kérés az volt, hogy minden beállítás legyen egyénileg állítható. 

A workshopokat úgy szerveztük, hogy az érintettek minél szélesebb rétegei legyenek jelen, így gyakran fordult elő, hogy egy születésétől kezdve vak és egy szerzett látássérüléssel élő ember teljesen más igényeket fogalmazott meg egy-egy eszközzel kapcsolatban; vagyis a különböző fogyatékossággal élő csoportok egyáltalán nem homogének. 

Ezekről a találkozásokról felvételek készültek, amit a konzorcium tagjainak rendelkezésére bocsátottunk, így az érintettek visszajelzéseit a szakemberek beépíthették a fejlesztésekbe. 

Az imént említett hallgatható magyarázó szöveg mennyivel jelent többet a számos múzeumban elérhető audio guide-nál?

Utóbbi állandó szöveget biztosít, csupán a nyelveken lehet változtatni, míg a SHIFT-programban fejlesztett változat sokkal inkább személyre szabható, így teljesen más élményt nyújt, és folyamatosan fejleszthető a múzeumi kurátorok és az MI segítségével. Arra is lehetőség nyílik, hogy a technológia révén kiválaszthassunk egyfajta szövegigényt annak megfelelően, kinek, milyen elvárása vagy kedve van.

Vagyis a programban be lehet majd állítani, hogy például egy alsós gyermek vagy egy művészettörténész számára egyaránt releváns tartalmat nyújtson az audio magyarázat?

Elképzelhető, hogy valaki csupán egy általános leírásra vágyik, ahogy az is, hogy más két-három tárgyról szeretne mélyebb, művészettörténeti elemzést kapni. Emellett olyan szövegek is elérhetők lesznek, amelyek könnyebben befogadhatók akár értelmileg akadályozottak vagy alacsony iskolázottságúak számára is. 

Például, ha a SOM-ban egy trepanálót, vagyis koponyalékelőt mutatunk be, a kifejezés érthetően az egyes fogyatékossággal élőknek kevés, ezért öt-hat mondatban leírjuk a használata lényegét. 

Előfordult, hogy a kontrollcsoportok visszajelzései, javaslatai alapján alakult ki egy új fejlesztési irány, eszköz, program?

Például a VR-szemüvegeknél nem jelent meg a jelnyelvi tolmácsolás, de a kontrollcsoport jelezte: sok siket és nagyothalló akkor is igényli a szolgáltatást, ha látható a szöveg is. A jelenlegi eszközök ezt a verziót még nem tartalmazzák, de a későbbiek során ebbe az irányba szeretnénk őket továbbfejleszteni.

Arra gondoltak, hogy a háromdimenziós nyomtatóval műtárgyakat nyomtassanak ki?

A jelenleg futó projekt kizárólag technológiai megoldások fejlesztésére fókuszált, azonban ki lehet egészíteni egyéb eszközökkel, mi magunk is gondoltunk a műtárgyak kinyomtatására. Emellett a későbbiekben szeretnénk létrehozni egy-egy műtárgy szegmentált ábrázolását is.

Magyarországon első alkalommal a Magyar Nemzeti Múzeum Közgyűjteményi Központ Semmelweis Orvostörténeti Múzeum Könyvtár és Adattár Variationes címmel futó időszaki kiállítását egészítik majd ki a SHIFT-projektben fejlesztett technológiával. Az intervenciós tárlatban a fogyatékossággal élő látogatók kipróbálhatják majd például az említett haptikus kesztyűt és VR-szemüveget. Egy másik fejlesztés monitoron lesz elérhető, amelyen a múzeum képzőművészeti alkotásait, metszeteit, illetve orvosi eszközeit animálják, mozgatják. Az intervenciós kiállítás 2025. május 30-tól szeptemberig tart nyitva. 

Mi a SOM távlati célja a SHIFT lezárása utáni időszakban?

A MI támogatásával működő alkalmazást mi is megkapjuk, és a későbbiekben fejleszthetjük. Értelemszerűen első körben a műtárgyak szűk körét tudjuk elérhetővé tenni, mert rendkívül sok tudást kell a technológiába táplálnunk, de később akár „önjáró” is lehet a program, ráadásul magyar nyelven.