Natural language processing versus handmatige tekstanalyse

Wat is natural language processing?

Natural language processing, of in het Nederlands natuurlijke taalverwerking, combineert statistische technieken met machine learning technieken. Met inzet van NLP halen we slim en automatisch informatie uit omvangrijke en ongestructureerde tekstuele data. We halen bijvoorbeeld makkelijk kernwoorden uit een tekst. Hieruit maken we belangrijke classificaties.

Automatisch taxonomieën maken met NLP

Overeenstemmend jargon in een vakgebied bepalen, kost veel tijd. Met jargon kun je processen beter stroomlijnen en standaardiseren, bijvoorbeeld in de vorm van een:

• taxonomie (het indelen van individuen of objecten in groepen)
• ontologie (deel van de filosofie dat alle bestaande dingen in categorieën onderbrengt)

Met inzet van NLP identificeren wij belangrijke termen uit een set documenten en bepalen we hun onderlinge relaties. We doen dit door het combineren van:

• syntactische informatie (zinsconstructie)
• trefwoordextractie
• web-bronnen
• semantische inbedmethoden

De taxonomie gebruiken we vervolgens als input voor een expertsessie.

Natural language processing en trendvoorspelling

Bij TNO extraheren we met onze tools automatisch informatie uit documenten. Daarnaast maken we voorspellingen. Met de Horizon Scanner bijvoorbeeld, verkennen en extraheren we relevante websites, blogs en documenten. Daardoor halen we relevante informatie op en laten we trends zien. Wat we zien in zo’n trendanalyse? Bijvoorbeeld dat men de term 'deep learning' (diep leren) in de computerwetenschap nu veel vaker noemt dan 10 jaar geleden.

Met behulp van NLP classificeren we documenten automatisch. Bijvoorbeeld op een bepaald onderwerp of vakgebied. Verder maken we vanuit blogs een sentimentanalyse. Daarmee bepalen we of men termen nu negatiever of positiever beschrijft. Met deze AI-techniek besparen we dus veel tijd en moeite ten opzichte van handmatige tekstanalyses én werken we nauwkeuriger.