Troldejæger

Automatische Erkennung von Troll-Kommentaren in Schweizer Online-Zeitungen

Troldejæger wurde von Abinas Kuganathan, Jan Huber und Joel Hirzel als Bachelorarbeit an der Ostschweizer Fachhochschule entwickelt.

Auf den meisten Schweizer Nachrichten-Websites können die Benutzer Artikel kommentieren. In der Regel gibt es Richtlinien für die Kommentierung und die Kommentare durchlaufen vor der Veröffentlichung einen Moderationsprozess. Unangemessene Kommentare werden oft als "Troll"-Kommentare bezeichnet. Die Definition von "Online-Trolling" ist jedoch zweideutig. Trolling kann von harmlosen Witzen bis hin zu Mobbing oder staatlich geförderter Propaganda reichen.

Um unangemessene Kommentare herauszufiltern, verlassen sich die meisten Zeitungen in der Schweiz stark auf die manuelle Moderation. In dieser Arbeit wurden verschiedene Machine Learning Modelle trainiert, um unangemessene Kommentare automatisch zu erkennen.

Es wurden mehrere Klassifizierungsalgorithmen entwickelt, um Hassreden (83% richtige Ergebnisse), themenfremde Kommentare (80% richtige Ergebnisse) und staatlich gelenkte Propaganda (91% richtige Ergebnisse) zu erkennen. Diese Klassifikatoren wurden mit Daten aus verschiedenen Quellen trainiert. Bei Kommentaren der größten Schweizer Zeitung, 20 Minuten, können die Algorithmen in 71% der Fälle korrekt vorhersagen, ob ein Kommentar akzeptiert oder abgelehnt wird.

Die Klassifikatoren können das menschliche Moderationsteam in der Arbeit unterstützen. Die Genauigkeit reicht nicht aus, um den Moderationsprozess vollständig zu automatisieren. Stattdessen können die Algorithmen dazu verwendet werden, die extremsten Kommentare automatisch zu entfernen. Um die Ergebnisse zugänglich zu machen, wurde eine Webanwendung entwickelt. Mit der Applikation können Benutzer:innen ihre eigenen Kommentare analysieren oder bestehende Kommentare von 20minuten.ch untersuchen.