Een pictogram zegt meer dan duizend woorden

Text2Picto & Picto2Text

Leen Sevens, Centrum voor Computerlinguïstiek, KU Leuven
leen@ccl.kuleuven.be


Een dringend mailtje sturen naar je collega, surfen naar je favoriete site om de laatste nieuwtjes te lezen, een handvol grappige Facebook-statussen liken, je beste vriendin whatsappen om samen te gaan lunchen en zelf nog even tweeten over de fluitende vogeltjes in je achtertuin. Tekst en digitale media zijn onlosmakelijk met elkaar verbonden. En toch zijn er binnen Europa naar schatting tussen de twee en vijf miljoen mensen voor wie communicatie gemakkelijker zou zijn als deze niet via tekst, maar via pictogrammen of plaatjes zou verlopen. Text2Picto en Picto2Text helpen deze mensen actief deel uit te maken van de hedendaagse maatschappij, inclusief de sociale media.

Het Centrum voor Computerlinguïstiek van de KU Leuven werkt aan een systeem voor het automatisch omzetten van geschreven tekstjes naar pictogrammen en omgekeerd. Hierbij wordt gebruik gemaakt van Sclera en Beta, twee sets die beide uit enkele duizenden pictogrammen bestaan. Sclera- en Beta-pictogrammen worden nu al vaak gebruikt in Vlaamse scholen, dagcentra en beschutte werkplaatsen, bijvoorbeeld om weekschema's te ontwerpen, om een verbod uit te drukken of om het menu van de dag te communiceren (figuur 1).


Figuur 1. Sclera-pictogrammen voor weekschema's (“maandag”), een verbod (“niet met je mond open eten”) en menu's (“soep”).

In Text2Picto en Picto2Text worden de Sclera- en Beta-sets als volwaardige, maar sterk vereenvoudigde talen beschouwd (figuur 2). Zo wordt er bijvoorbeeld geen onderscheid gemaakt tussen enkelvoud en meervoud bij de zelfstandige naamwoorden, of heden en verleden bij de werkwoorden. Ook lidwoorden (“de”, “het”, “een”) en een aantal bijwoorden (zoals “toch”, “wel”, “ook”) komen niet aan bod in de pictogrammensets. Hoewel er momenteel “slechts” ongeveer 5000 Sclera’s en 3000 Beta’s in het systeem gebruikt worden en de betekenis van de meeste pictogrammen vaak vanzelf duidelijk is, moeten de talen toch in zekere zin aangeleerd worden aan de gebruikers. Dit geldt dan vooral voor de voorzetsels (zoals “op” en “naast”), complexe pictogrammen (zoals “niet met je mond open eten”) en abstracte werkwoorden (zoals “helpen” en “willen”).


Figuur 2. Sclera- (links) en Beta- (rechts) pictogram voor “kat”, “poes”, “het katje”, “de poezen”, enzovoort.

Hoe kwamen Text2Picto en Picto2Text tot stand?

De huidige technologische ontwikkelingen hebben een belangrijke invloed op ons dagelijks leven. Wie geen toegang heeft tot informatie- en communicatietechnologie loopt het risico om uitgesloten te worden. Om sociale isolatie te beperken, is er steeds meer vraag naar digitale, op pictogrammen gebaseerde interfaces die het lezen, schrijven en begrijpen van geschreven teksten kunnen stimuleren.

Het Vlaamse communicatieplatform WAI-NOT biedt zijn gebruikers al enkele jaren de mogelijkheid om te mailen of chatten door middel van pictogrammen. Boodschappen kunnen ingevoerd worden als tekst of als een reeks Sclera’s of Beta’s. Aanvankelijk gebeurde de omzetting van tekst naar pictogrammen zonder enige vorm van taalkundige analyse. Enkel woorden die letterlijk overeenkwamen met de bestandsnaam van een pictogram werden daadwerkelijk omgezet naar dat pictogram. Deze vertaalmethode bracht natuurlijk de nodige problemen met zich mee. Zo werd het voorzetsel “bij” (zoals in het zinnetje “ik ben bij de bakker”) altijd vertaald naar “bij.png”, een pictogram met de afbeelding van het vliegende insect. Ook verbogen werkwoorden of meervouden, zoals “honden”, werden niet naar pictogrammen vertaald, omdat bestandsnamen van pictogrammen vaak eerder een infinitief of een enkelvoud (zoals “hond.png”) zijn.

Daarom bouwde het Centrum voor Computerlinguïstiek van de KU Leuven een slimmer vertaalsysteem aan de hand van allerlei taaltechnologische snufjes, waardoor communicatie met familie, werk of school gemakkelijker kan verlopen. In het kader van het Europese CIP-project (Competitiveness and Innovation) “Able-To-Include” werd het systeem later nog uitgebreid naar het Spaans en het Engels. Ook wordt er nu gewerkt aan een programma voor het vertalen van pictogrammen naar tekst.

Text2Picto

Text2Picto vertaalt automatisch geschreven tekst naar een reeks Sclera- of Beta-pictogrammen (figuur 3). Eerst wordt de tekst automatisch taalkundig geanalyseerd met behulp van een aantal basistechnologieën, waaronder spellingcorrectie, herkenning van de woordsoorten (bv. om te ontdekken of “bij” een voorzetsel of een zelfstandig naamwoord is in een bepaalde context) en lemmatisering (het vinden van de “woordenboekvorm”, bv. de infinitief bij werkwoorden en het enkelvoud bij zelfstandige naamwoorden).


Figuur 3. Automatische vertaling van het simpele zinnetje “ik ben blij” naar Sclera-pictogrammen.

De Beta- en Sclera-pictogrammen zijn gekoppeld aan “betekenissen” in een grote databank van woorden. Zo hebben “poes”, “kater” en “kat” bijvoorbeeld dezelfde betekenis. Indien er een link gevonden wordt tussen een pictogram en de betekenis van het geschreven woord, wordt het pictogram als boodschap afgebeeld.

Ook bevatten de databanken een gigantisch web van relaties tussen betekenissen. De betekenis van “ui” en “ajuin” is bijvoorbeeld een specifieke instantie van die van “groente”. En de betekenis van “droevig” en “verdrietig” staat in directe tegenstelling tot die van “blij” en “vrolijk”. Indien er geen pictogram gevonden kan worden voor een begrip, zal het systeem gebruik maken van deze relaties om een verwant pictogram weer te geven. Een voorbeeld hiervan is het begrip “genezen”. Omdat er geen pictogram bestaat voor “genezen” (immers, hoe beeld je dat uit?), kiest het systeem voor een combinatie van de pictogrammen voor “ziek” en “niet” (figuur 4).


Figuur 4. Automatische vertaling van het simpele zinnetje “hij is genezen” (“hij is niet ziek”) naar Beta-pictogrammen.

Sclera-pictogrammen beelden ook vaak complexere zaken af, zoals een actie en voorwerpen die bij de actie horen. Er bestaat bijvoorbeeld een pictogram voor “een boterham eten”. Indien zowel “boterham” als “eten” aanwezig zijn in de boodschap, zal het complexe pictogram afgebeeld worden in plaats van de twee afzonderlijke pictogrammen (figuur 5).


Figuur 5. Het pictogram “eten” en het pictogram “boterham” vormen samen het pictogram “boterham eten” in Sclera.

Text2Picto biedt niet alleen veel opties voor de doelgroep, maar ook voor hun begeleiders en familie. In de eerste plaats kan Text2Picto helpen om op een eenvoudige manier korte berichten te vertalen naar een reeks pictogrammen, zowel voor offline als voor online gebruik. Hierdoor wordt het opstellen van pictografische teksten veel gemakkelijker. Daarnaast kan Text2Picto ook gebruikt worden als ondersteuning tijdens het lezen van tekst op het web. Er kan bijvoorbeeld een “web browser extension” (een handige toevoeging voor de internetbrowser) gebouwd worden. De “web browser extension” laat dan toe om een moeilijk woord te vertalen naar een pictogram, indien de gebruiker dit zou wensen. Ook bij het leren van een vreemde taal (zoals Engels) of het beter leren beheersen van de eigen taal kan Text2Picto een welkome ondersteuning zijn.

Picto2Text

Picto2Text werkt dan weer in de andere richting. Het laat de gebruiker toe om boodschappen in te voeren aan de hand van pictogrammen, waarna deze automatisch omgezet worden naar Nederlandse, Engelse of Spaanse tekst. Dit vertaalproces is niet zo simpel. De pictogramboodschappen bevatten immers geen lidwoorden, werkwoordstijden en andere taalkundige aspecten die een rol kunnen spelen bij het bouwen van correcte geschreven tekst. Daarnaast is eenzelfde pictogram vaak gekoppeld aan meerdere woorden met dezelfde betekenis, zoals “kat” of “poes”.

Voor ieder ingevoerd pictogram verzamelt het systeem de woorden die aan het pictogram gekoppeld zijn in de databank. Voor ieder woord worden vervolgens alle mogelijke varianten opgesomd (figuur 6). Bij een zelfstandig naamwoord zijn dit enkelvouden (“kat”), meervouden (“katten”) en verkleinende vormen (“katje”, “katjes”). Bij werkwoorden zijn er vaak nog veel meer vormen beschikbaar (“eten”, “at”, “gegeten”, “etend”, enzovoort). In het geval van zelfstandige naamwoorden gaat het systeem nog een stapje verder en worden ook nog onbepaalde en bepaalde lidwoorden gegenereerd (“een”, “de”, “het”). Zo schuilt er uiteindelijk achter ieder pictogram een heel gamma aan mogelijke realisaties. Picto2Text krijgt vervolgens de taak om de meest waarschijnlijke combinatie van deze woorden en woordgroepen te vormen. Hierbij baseert het zich op een grote hoeveelheid aan eerder opgeslagen teksten. Daaruit kan het systeem bijvoorbeeld afleiden dat “de man gaat” een meer waarschijnlijke combinatie is dan de combinatie “een man gingen”.


Figuur 6. Achter één pictogram kunnen veel verschillende woordvormen schuilen.

Een hindernis hierbij is de vraag hoe de gebruikers op een efficiënte manier hun pictogrammen kunnen selecteren, aangezien er duizenden pictogrammen beschikbaar zijn. Zelfs indien er een kleinere set wordt aangeboden, blijft het belangrijk dat het selecteren van de gewenste pictogrammen niet te veel tijd en moeite in beslag neemt. Daarom moet de interface gebruiksvriendelijk zijn en beantwoorden aan de noden van de doelgroep. Een hiërarchie van pictogrammen moet bijvoorbeeld toelaten dat een pictogram in meerdere categorieën mag verschijnen (zoals “juffrouw” in de categorieën “school”, “beroepen” en “mensen”). Daarnaast wordt er ook gewerkt aan een “pictovoorspeller”, die op basis van de eerder gekozen pictogrammen een aantal suggesties geeft om het bericht te vervolledigen. Deze suggesties kunnen dan weer gebaseerd zijn op verwante begrippen of op informatie uit eerder geschreven pictogramberichten (figuur 7).


Figuur 7. Een voorbeeld van een simpele interface die pictogrammen “voorspelt”.

Picto2Text laat mensen die moeilijkheden hebben met schrijven toe om een tekstuele boodschap te bouwen aan de hand van (een combinatie van geschreven tekst en) pictogrammen. Dit is niet alleen handig in de context van e-mails of sms'jes, maar ook bij het bouwen van een pictografisch chatprogramma (figuur 8). Indien we een stapje verder gaan, kunnen de Text2Picto- en Picto2Text-technologieën zelfs gecombineerd worden: een begeleider of familielid kan in Text2Picto chatten, terwijl de doelgroep Picto2Text gebruikt om een antwoord te formuleren.


Figuur 8. Een pictografisch chatprogramma.

Toekomstmuziek

Er valt nog een hoop te winnen. Daarom zullen Text2Picto en Picto2Text de komende jaren nog op verschillende vlakken verbeterd worden. Voor tekst-naar-pictogramvertaling wordt de ingevoerde tekst voortaan op een dieper niveau geanalyseerd. Zo proberen we de juiste betekenis van woorden met dezelfde uitspraak (zoals “bank” als financieel instituut of als meubel) automatisch te achterhalen. Ook zal de zinsstructuur nauwkeuriger onderzocht worden, om bijvoorbeeld lange zinnen te vereenvoudigen, pictogrammen te verplaatsen of een pictografische indicatie van “verleden” of “toekomst” te laten verschijnen.

Eveneens zullen er voor het eerst gebruikersstudies uitgevoerd worden in samenwerking met de faculteit Psychologie en Pedagogische Wetenschappen van de KU Leuven. Op die manier kunnen er specifieke versies van Text2Picto en Picto2Text gebouwd worden, aangepast aan de verschillende doelgroepen. De gebruikersstudies kunnen een dieper inzicht bieden in kwesties betreffende de gebruiksvriendelijkheid van de systemen en de grootte van de aangeboden pictogrammensets. Daardoor kunnen de systemen in de toekomst verbeterd worden.

Nieuwsgierig geworden? Voor een demo van Text2Picto en de laatste nieuwtjes over het systeem kan je hier een kijkje nemen. Able-To-Include heeft inmiddels ook een eerste versie van de “Able”-app ontwikkeld. De app is beschikbaar voor alle smartphones en tablets die met een iOS- of Android-besturingssysteem werken.