Pictografische Communicatietechnologieën

Doctoraatsonderzoek, nieuwsbrief #1
Jaar 1: 2015

Leen Sevens, Centrum voor Computerlinguïstiek, KU Leuven
leen@ccl.kuleuven.be
My homepage

Promotor: Prof. Dr. Frank Van Eynde
Co-promotor: Dr. Vincent Vandeghinste


Beste lezer,

De tijd vliegt! Op 1 januari startte ik mijn tweede jaar als doctoraatsstudente aan de KU Leuven. Ik had aan veel mensen beloofd om hen op de hoogte te houden van mijn doctoraatsonderzoek, dus het werd hoog tijd voor een update. Indien u vragen of opmerkingen heeft, aarzel dan vooral niet om mij te contacteren. Ik sta altijd open voor nieuwe ideeën.

Eerst een kleine reminder. Mijn naam is Leen Sevens, maar mensen verwijzen ook wel eens naar mij als "dat meisje dat die dingetjes doet met die prentjes". Aan het Centrum voor Computerlinguïstiek ontwikkelen we kwaliteitsvolle en volautomatische systemen waarmee we Nederlandse tekst naar pictogrammen en pictogrammen naar Nederlandse tekst kunnen vertalen. Wij doen dit om de toegankelijkheid van het internet te vereenvoudigen voor gebruikers die niet (goed) kunnen lezen of schrijven. Hiervoor moeten natuurlijk eerst verschillende taken uitgevoerd worden. In deze nieuwsbrief vertel ik over de dingen die we ontwikkeld hebben, de aspecten die we verbeterd hebben en de plannen die wij binnenkort hopen uit te voeren. Daarnaast zal ik ook mijn wetenschappelijke en minder wetenschappelijke disseminatieactiviteiten becommentariëren.

	We ontwikkelen en verbeteren het pictogramvertaalsysteem voor het WAI-NOT-communicatieplatform. WAI-NOT is een Vlaamse non-profit organisatie die mensen met zware communicatieve beperkingen de kans geeft om zich vertrouwd te maken met computers, het internet en sociale media. Hun veilige internetomgeving bevat onder meer een e-mailprogramma dat gebruikmaakt van onze pictogramvertaalsystemen.
	Daarnaast ontwikkelen we Engelse en Spaanse versies van de systemen binnen het Able-to-Include-project. Able-to-Include wil het leven van mensen met een verstandelijke beperking verbeteren. Om deel uit te maken van de hedendaagse maatschappij, wordt het steeds belangrijker om de huidige beschikbare technologieën te kunnen gebruiken. Het aantal apps groeit exponentieel, maar weinig van die apps zijn echt toegankelijk voor mensen met een verstandelijke beperking. Able-to-Include bouwt een contextgevoelige "Toegankelijkheidslaag" gebaseerd op drie technologieën (pictogramvertaling, tekstvereenvoudiging en tekst-naar-spraak) die de dagelijkse activiteiten van mensen met een verstandelijke beperking kunnen vereenvoudigen en hen toelaten om mee te genieten van de informatiemaatschappij. De Toegankelijkheidslaag zal uitgebreid getest worden in Spanje, het Verenigd Koninkrijk en België.

Het Text-to-Pictograph vertaalsysteem vertaalt Nederlandse tekst naar Beta- of Sclera-pictogrammen om steun te bieden bij het begrijpen van geschreven tekst. Voor ik begon met mijn doctoraatsonderzoek, had het Centrum voor Computerlinguïstiek reeds een eerste versie van dit systeem ontwikkeld. U kan hier de demo testen. Merk op dat de hieronder beschreven technologieën nog niet in deze demo geïmplementeerd werden.



Hoewel het erg belangrijk is om mensen met een verstandelijke beperking te stimuleren om hun eigen berichtjes te schrijven indien zij zelf in staat zijn om woorden te typen, kunnen hun schrijfsels toch heel wat problemen veroorzaken. Ten eerste, zelfs indien de ontvangers van de berichtjes (in zekere zin) in staat zijn om geschreven teksten te lezen, kan het toch zijn dat zij deze berichtjes niet begrijpen omwille van de vele spelfouten. Ten tweede kan het gebeuren dat onze Text-to-Pictograph tool, die de e-mail naar pictogrammen vertaalt voor mensen die niet kunnen lezen, foute pictogrammen of juist helemaal geen pictogrammen zal genereren voor woorden die te veel fouten bevatten. En dat willen we vermijden.



We hebben de eerste versie gebouwd van een automatische spellingscorrector die speciaal ontworpen werd voor mensen met een verstandelijke beperking. Eerst vergeleken we 1000 e-mails van het WAI-NOT-platform met 1000 tweets. Onze resultaten toonden aan dat mensen met een beperking meer en andere spelfouten maken dan gebruikers zonder een beperking. Ze schrijven bijvoorbeeld vaak woorden zoals ze uitgesproken worden. We moesten zelfs soms berichtjes hardop lezen om hun betekenis te achterhalen. Maar waar een wil is, is een weg.

Onze eerste spellingscorrector bestaat enerzijds uit een woordgeneratie- en filteringstap die gedeeltelijk gebaseerd is op het ontdekken van fonetische gelijkenissen, en anderzijds uit een nieuwe benadering voor contextgevoelige spellingscorrectie. Onze evaluaties tonen aan dat we reeds significante verbeteringen over de baseline geboekt hebben binnen het Text-to-Pictograph vertaalsysteem, maar er is nog steeds ruimte voor verbetering. Wordt vervolgd!





Nederlandse inputtekst in het Text-to-Pictograph vertaalsysteem ondergaat oppervlakkige taalkundige analyse. Deze analyse is momenteel beperkt tot het woordniveau. We zullen het huidige systeem verbeteren door diepe taalkundige analyse op het zinsniveau toe te voegen.

Ons nieuwste idee is om diepe taalkundige analyse voor een heel specifiek doeleinde aan te wenden. We willen een pictogramvereenvoudigingssysteem bouwen, de eerste van zijn soort. Hier werken we momenteel hard aan. We zullen semantische en syntactische informatie van de inputtekst gebruiken om de pictogramvertaling te transformeren naar een simpele, kortere sequentie die gemakkelijk begrepen zou moeten worden door de ontvanger. We hebben reeds samengestelde zinnen, bijvoeglijke bijzinnen en ondergeschikte zinnen gesplitst. En hoewel temporele informatie normaal verloren zou gaan in de pictogramvertaling, zijn we erin geslaagd om "verleden"- en "toekomst"-picto's te genereren en werkwoorden die niet bijdragen tot de betekenis van de zin te verwijderen.





De Pictograph-to-Text vertaaltechnologie vertaalt Beta- of Sclera-pictogrammen naar Nederlandse tekst om steun te bieden bij het opstellen van geschreven tekst. Voor een kijkje achter de schermen, kan u hier onze demo testen.



We hebben de eerste versie van een Pictograph-to-Text vertaalsysteem ontwikkeld. Het probeert een optimale vertaling naar natuurlijke taal te vinden door gebruik te maken van trigram taalmodellen. De eerste evaluaties tonen aan dat onze benadering reeds tot verbeteringen leidt tegenover de initiële baseline, maar er is nog veel ruimte voor verbetering. We zullen bijvoorbeeld de grammaticaliteit van de zinnen controleren tijdens het generatieproces.





Het Pictograph-to-Text vertaalsysteem berust op pictografische input. Tot nu toe hebben we twee verschillende inputmethodes ontwikkeld. De eerste methode biedt de gebruiker een statische hiërarchie van pictogrammen aan, terwijl de tweede optie de input scant en zichzelf dynamisch aanpast om geschikte pictogrammen te suggereren.

De statische hiërarchie van pictogrammen bestaat uit drie niveaus. De structuur van de hiërarchie is gebaseerd op automatische onderwerpdetectie en frequentietellingen op e-mails die verstuurd werden met het WAI-NOT communicatieplatform. De tweede methode is een dynamische pictogramvoorspeller, de eerste van zijn soort. Dit systeem kan vergeleken worden met het automatische aanvullingssysteem voor woorden van Google. We hebben reeds twee prototypes ontwikkeld, die we uiteindelijk zullen combineren in één systeem. Wanneer onze gebruikers surfen naar sociale media-websites, kunnen zij pictogramboodschappen opstellen door gebruik te maken van de hiërarchie en de voorspeller. Hun berichtjes worden geconverteerd naar natuurlijke taal, waarna ze gepost kunnen worden op de website.

WAI-NOT implementeert binnenkort onze nieuwe pictografische interface op hun website. Met gebruikerstests zullen we leren hoe de interface verbeterd kan worden.







In vitro-evaluaties van de tools

Voor iedere (versie van iedere) subcomponent die we ontwikkelden, hebben we statistische en manuele evaluaties uitgevoerd. Op die manier kunnen we de toegevoegde waarde van toekomstige verbeteringen nagaan.

In vivo-evaluaties van de ervaringen van de gebruikers

We zullen nagaan wat de impact van ons systeem is op de vaardigheden en het welzijn van de gebruikers. We zijn ervan overtuigd dat deze benadering noodzakelijk is om onze tools te verbeteren en ze te modelleren naar de wensen en noden van de gebruikers. Ter voorbereiding heb ik mij ingeschreven voor een kredietcontract bij de les "Pedagogische hulpverlening voor mensen met een handicap" aan de Faculteit van Pedagogische Wetenschappen. In samenwerking met Prof. Dr. Ilse Noens, haar collega's en mezelf, zullen studenten die in 2016-2017 hun Master in de Pedagogische Wetenschappen aanvangen de kans krijgen om hun tweejarig thesisonderzoek te wijden aan een in vivo-evaluatie van (een specifieke component van) de pictogramvertaalsystemen.



Publicaties (in 2015)

Leen Sevens, Vincent Vandeghinste, Ineke Schuurman and Frank Van Eynde (2015). Natural Language Generation from Pictographs. Proceedings of 15th European Workshop on Natural Language Generation (ENLG 2015), pages 71-75. Brighton, UK. [Download paper]

Leen Sevens, Vincent Vandeghinste, Ineke Schuurman and Frank Van Eynde (2015). Extending a Dutch Text-to-Pictograph Converter to English and Spanish. Proceedings of 6th Workshop on Speech and Language Processing for Assistive Technologies (SLPAT 2015), pages 1-8. Dresden, Germany. [Download paper]

Vincent Vandeghinste, Ineke Schuurman, Leen Sevens and Frank Van Eynde (2015). Translating Text into Pictographs. Natural Language Engineering, pages 1-28. Cambridge University Press. [Download paper]

Leen Sevens, Vincent Vandeghinste and Frank Van Eynde (2014). Improving the Precision of Synset Links Between Cornetto and Princeton WordNet. Proceedings of the Workshop on Lexical and Grammatical Resources for Language Processing. Coling 2014. Dublin, Ireland. [Download paper]

Prijzen (in 2015)

Beste Wetenschappelijke Poster: 21 juni 2015 - LOT Zomerschool (Leuven, België). Leen Sevens, Vincent Vandeghinste, Ineke Schuurman and Frank Van Eynde - "Text-To-Pictograph Translation for Six Language Pairs".

Presentaties (in 2015)

Ik heb best wel veel gebabbeld. U vindt al mijn presentaties hier.

Bredere disseminatie (in 2015)

December 2015 - Music for Life (radio, België)

WAI-NOT heeft mijn project heel hard gesteund, dus wilde ik de WAI-NOT-medewerkers bedanken door een creatieve inzamelactie op poten te zetten. Dankzij mijn vrienden en familie heb ik in het totaal 800 euro ingezameld. Ik maakte meer dan 30 tekeningen op een maand tijd - dat was ongetwijfeld een persoonlijk record! Ik werd ook opgebeld door Studio Brussel om over mijn tekenproject en het pictogramvertaalsysteem te praten op de radio. U kan hieronder het interview beluisteren.

Fabled Fox for Life - Live @ Studio Brussel

Vandaag werd Fabled Fox for Life opgebeld door Studio Brussel!

Geplaatst door Fabled Fox for Life op dinsdag 1 december 2015

8 oktober 2015 - The Big Draw (Leuven, België)

The Big Draw, het grootste tekenfestival ter wereld, kwam dit jaar naar Leuven. Mijn collega Ineke en ik werden gevraagd om een universitaire les over het pictogramvertaalsysteem te geven. Het beste van allemaal? Deze les was bedoeld voor mensen met een verstandelijke beperking! We bedachten puzzels, spelletjes en raadsels, en de studenten mochten de betekenis van Beta- en Sclera-pictogrammen raden. Iedereen had een fantastische ochtend!



April 2015 – Tripliek (tijdschrift van Downsyndroom Vlaanderen)

Ik schreef een artikeltje voor Tripliek, het officiële tijdschrift van Downsyndroom Vlaanderen. Het artikel gaat over het basisdesign van onze tools, onze doelen en onze toekomstplannen. U kan de online versie hier lezen.

Doctoraatsbeurs gesubsidieerd door Agentschap Innoveren & Ondernemen