„Ich habe Hunderte schrecklicher und traumatisierender Videos moderiert“

In den letzten Monaten hat die BBC eine dunkle, verborgene Welt erkundet – eine Welt, in der die schlimmsten, schrecklichsten, beunruhigendsten und in vielen Fällen illegalen Online-Inhalte landen.

Enthauptungen, Massenmorde, Kindesmissbrauch, Hassreden – all das landet in den Posteingängen einer globalen Armee von Content-Moderatoren.

Sie sehen oder hören nicht oft von ihnen – aber es sind die Leute, deren Aufgabe es ist, Inhalte zu überprüfen und dann bei Bedarf zu löschen, die entweder von anderen Benutzern gemeldet oder von technischen Tools automatisch gekennzeichnet werden.

Das Thema Online-Sicherheit rückt immer mehr in den Vordergrund, da Technologiefirmen stärker unter Druck stehen, schädliches Material schnell zu entfernen.

Und obwohl viel Forschung und Investitionen in technische Lösungen fließen, um zu helfen, sind es vorerst letztlich immer noch größtenteils menschliche Moderatoren, die das letzte Wort haben.

Moderatoren sind oft bei Drittunternehmen angestellt, arbeiten aber an Inhalten, die direkt in den großen sozialen Netzwerken wie Instagram, TikTok und Facebook gepostet werden.

Sie sind auf der ganzen Welt ansässig. Die Leute, mit denen ich während der Produktion unserer Serie „The Moderators“ für Radio 4 und BBC Sounds gesprochen habe, lebten größtenteils in Ostafrika und hatten alle die Branche inzwischen verlassen.

Ihre Geschichten waren erschütternd. Einiges von dem, was wir aufgenommen haben, war zu brutal, um es zu übertragen. Manchmal beendeten mein Produzent Tom Woolfenden und ich eine Aufnahme und saßen einfach schweigend da.

„Wenn Sie Ihr Telefon nehmen und dann zu TikTok gehen, werden Sie viele Aktivitäten sehen, Tanzen, wissen Sie, fröhliche Dinge“, sagt Mojez, ein ehemaliger Moderator aus Nairobi, der an TikTok-Inhalten gearbeitet hat. „Aber im Hintergrund moderierte ich persönlich Hunderte von schrecklichen und traumatisierenden Videos.

„Ich habe es auf mich genommen. Lassen Sie meine geistige Gesundheit zunichtemachen, damit allgemeine Benutzer ihren Aktivitäten auf der Plattform weiterhin nachgehen können.“

Derzeit gibt es mehrere gerichtliche Behauptungen, dass die Arbeit die psychische Gesundheit solcher Moderatoren zerstört habe. Einige der ehemaligen Arbeiter in Ostafrika haben sich zu einer Gewerkschaft zusammengeschlossen.

„Wirklich, das Einzige, was mich davon abhält, mich auf einer Social-Media-Plattform anzumelden und einer Enthauptung zuzusehen, ist, dass jemand irgendwo in einem Büro sitzt und sich die Inhalte für mich ansieht und sie überprüft, damit ich es nicht tun muss“, sagt Martha Dark Wer leitet Foxglove, eine Kampagnengruppe, die die rechtlichen Schritte unterstützt.

Im Jahr 2020 stimmte Meta, damals bekannt als Facebook, zu, eine Abfindung in Höhe von 52 Millionen US-Dollar (40 Millionen Pfund) an Moderatoren zu zahlen, die aufgrund ihrer Arbeit psychische Probleme entwickelt hatten.

Die Klage wurde von einer ehemaligen US-Moderatorin namens Selena Scola eingeleitet. Sie beschrieb Moderatoren als „Hüter der Seelen“, weil sie so viel Filmmaterial sehen, das die letzten Momente im Leben der Menschen zeigt.

Die ehemaligen Moderatoren, mit denen ich gesprochen habe, verwendeten alle das Wort „Trauma“, um die Auswirkungen zu beschreiben, die die Arbeit auf sie hatte. Einige hatten Schwierigkeiten beim Schlafen und Essen.

Einer beschrieb, wie das Schreien eines Babys einen Kollegen in Panik versetzt hatte. Ein anderer sagte, es sei für ihn aufgrund des Kindesmissbrauchs, den er miterlebt hatte, schwierig, mit seiner Frau und seinen Kindern zu interagieren.

Ich hatte erwartet, dass sie sagen würden, dass diese Arbeit so emotional und mental anstrengend sei, dass kein Mensch sie machen müsste – ich dachte, sie würden die Automatisierung der gesamten Branche voll und ganz unterstützen, wobei KI-Tools weiterentwickelt werden, um dieser Aufgabe gerecht zu werden.

Aber das taten sie nicht.

Was sehr eindrucksvoll zum Ausdruck kam, war der immense Stolz der Moderatoren auf die Rolle, die sie beim Schutz der Welt vor Online-Schaden gespielt hatten.

Sie sahen sich als lebenswichtigen Rettungsdienst. Einer sagt, er wollte eine Uniform und ein Abzeichen und vergleicht sich damit mit einem Sanitäter oder Feuerwehrmann.

„Nicht einmal eine Sekunde wurde verschwendet“, sagt jemand, den wir David nannten. Er bat darum, anonym zu bleiben, aber er hatte an Material gearbeitet, das zum Trainieren des viralen KI-Chatbots ChatGPT verwendet wurde, sodass dieser so programmiert wurde, dass er kein schreckliches Material wiedergibt.

„Ich bin stolz auf die Menschen, die dieses Modell zu dem gemacht haben, was es heute ist.“

Aber genau das Werkzeug, bei dessen Training David geholfen hatte, könnte eines Tages mit ihm konkurrieren.

Dave Willner ist ehemaliger Leiter für Vertrauen und Sicherheit bei OpenAI, dem Erfinder von ChatGPT. Er sagt, sein Team habe ein rudimentäres Moderationstool entwickelt, das auf der Technologie des Chatbots basiert und schädliche Inhalte mit einer Genauigkeit von etwa 90 % identifizieren könne.

„Als mir irgendwie klar wurde: ‚Oh, das wird klappen‘, verschluckte ich mich ehrlich gesagt ein wenig“, sagt er. „[AI tools] Langweile dich nicht. Und sie werden nicht müde und sie sind nicht geschockt…. sie sind unermüdlich.“

Allerdings ist nicht jeder davon überzeugt, dass KI ein Allheilmittel für den angeschlagenen Moderationssektor ist.

„Ich denke, es ist problematisch“, sagt Dr. Paul Reilly, Dozent für Medien und Demokratie an der Universität Glasgow. „Offensichtlich kann KI eine ziemlich direkte, binäre Art der Moderation von Inhalten sein.

„Es kann dazu führen, dass die Meinungsfreiheit übermäßig blockiert wird, und natürlich kann es passieren, dass Nuancen fehlen, die menschliche Moderatoren erkennen könnten. Menschliche Moderation ist für Plattformen von entscheidender Bedeutung“, fügt er hinzu.

„Das Problem ist, dass es nicht genug davon gibt und der Job für diejenigen, die ihn machen, unglaublich schädlich ist.“

Wir haben auch die in der Serie genannten Technologieunternehmen angesprochen.

Ein TikTok-Sprecher sagt, das Unternehmen wisse, dass die Moderation von Inhalten keine leichte Aufgabe sei, und sei bestrebt, ein fürsorgliches Arbeitsumfeld für die Mitarbeiter zu fördern. Dazu gehört die Bereitstellung klinischer Unterstützung und die Erstellung von Programmen, die das Wohlbefinden der Moderatoren unterstützen.

Sie fügen hinzu, dass Videos zunächst von einer automatisierten Technologie überprüft werden, wodurch ihrer Meinung nach eine große Menge schädlicher Inhalte entfernt wird.

Unterdessen sagt Open AI – das Unternehmen hinter Chat GPT –, es sei dankbar für die wichtige und manchmal herausfordernde Arbeit, die menschliche Arbeiter leisten, um die KI darin zu trainieren, solche Fotos und Videos zu erkennen. Ein Sprecher fügt hinzu, dass Open AI gemeinsam mit seinen Partnern Richtlinien durchsetzt, um das Wohlergehen dieser Teams zu schützen.

Und Meta – dem Eigentümer von Instagram und Facebook – verlangt von allen Unternehmen, mit denen es zusammenarbeitet, rund um die Uhr Vor-Ort-Support durch geschulte Fachkräfte. Darüber hinaus können Moderatoren ihre Überprüfungstools anpassen, um grafische Inhalte unkenntlich zu machen.

„The Moderators“ ist von Montag, 11. November, bis Freitag, 15. November, um 13:45 Uhr GMT auf BBC Radio 4 zu sehen BBC-Sounds.