Hände Tippen an einem Laptop zur KI gegen Hasskommentare von Penemue in Freiburg
Penemue nutzt KI, um problematische Kommentare auf Social-Media-Kanälen schneller zu erkennen. Foto: Pexels / Lizenz: Pexels

Das Freiburger Start-up Penemue setzt Künstliche Intelligenz gegen beleidigende und möglicherweise strafbare Kommentare in sozialen Netzwerken ein. Die Software prüft eingehende Social-Media-Kommentare automatisch. Sie markiert problematische Beiträge oder blendet sie aus. Genutzt wird sie inzwischen von Politikerinnen und Politikern, Sportlerinnen und Sportlern sowie Unternehmen. Zu den bekannten Nutzerinnen gehört die Freiburger Bundestagsabgeordnete Chantal Kopf von den Grünen. Das Unternehmen wurde unter anderem von Jonas Navid Mehrabanian Al-Nemri und Sara Egetmeyr entwickelt. Nach Angaben des Start-ups soll die Anwendung besonders dann helfen, wenn viele Kommentare in kurzer Zeit auf öffentlichen Kanälen erscheinen.

Chantal Kopf nutzt Penemue

Chantal Kopf nutzt die Software, weil sich Hasskommentare bei geteilten Videos schnell häufen können. Wenn ein Video der Freiburger Bundestagsabgeordneten in bestimmten Chatgruppen verbreitet werde, könne daraus rasch eine Welle von Kommentaren entstehen. Für ihr Team sei diese Menge nicht mehr einfach zu bearbeiten.

„Dann stürzen sich ganz viele Leute auf ein Video. Das ist für mein Team in der Menge nicht mehr zu händeln. Da hilft dann die KI, das zu sortieren.“

Chantal Kopf

Mitentwickler Jonas Navid Mehrabanian Al-Nemri beschreibt Hass im Netz als eine starke Kraft. Seine Begründung ist technisch und organisatorisch. Wenn digitale Mittel Hasswellen verstärken können, sollen nach seiner Darstellung auch digitale Werkzeuge beim Schutz helfen.

„Wir brauchen einfach Waffengleichheit“

Jonas Navid Mehrabanian Al-Nemri, Penemue-Gründer, Freiburg

Das Thema steht in Freiburg nicht isoliert. Digitale Angebote, neue Technologien und lokale Anwendungen spielen auch in anderen Bereichen eine Rolle, etwa beim Digitaltag in Freiburg. Penemue ordnet sich in diesen Zusammenhang ein, arbeitet aber mit einem konkreten Schwerpunkt. Es geht um Kommentare auf Social-Media-Kanälen.

Sara Egetmeyr erklärt den Filter

Penemue schaltet einen Filter vor die Kommentare der betreuten Social-Media-Accounts. Die Software prüft eingehende Beiträge. Danach werden Kommentare markiert, sortiert oder ausgeblendet. Was genau mit den Beiträgen geschieht, entscheiden die Nutzerinnen und Nutzer selbst.

„Penemue analysiert alle Kommentare, die reinkommen und sortiert aus, was potenziell strafbar oder toxisch ist.“

Sara Egetmeyr, Penemue-Gründerin

Nach Angaben des Unternehmens lassen sich auffällige Kommentare mit wenigen Klicks für eine Strafanzeige übernehmen. Eine Flut von Anzeigen habe das bisher nicht ausgelöst. Laut Sara Egetmeyr erhalten viele Nutzerinnen und Nutzer durch die Anwendung zunächst einen Überblick darüber, was auf ihren Kanälen geschrieben wird.

Häufig entschieden sie anschließend, besonders problematische Kommentare auszublenden. Dabei geht es nicht nur um einzelne Beiträge. Es geht auch um die Richtung einer ganzen Diskussion.

„Wenn die ersten paar Hasskommentare sind, wird sich der gesamte Feed in die Richtung entwickeln“

Sara Egetmeyr
  • Die Software prüft Social-Media-Kommentare automatisch.
  • Sie markiert möglicherweise strafbare oder toxische Beiträge.
  • Nutzerinnen und Nutzer entscheiden selbst über das weitere Vorgehen.
  • Auffällige Kommentare können für eine Strafanzeige übernommen werden.

BASF, Telekom und DFB sind Kunden

Penemue richtet sich derzeit vor allem an Personen des öffentlichen Lebens sowie an große Organisationen. Dazu gehören Politikerinnen und Politiker, Sportlerinnen und Sportler, Unternehmen und Verbände. Genannt werden unter anderem Telekom, BASF und der DFB.

Für einzelne Personen kostet ein Abonnement nach Unternehmensangaben etwa 50 Euro im Monat. Bei großen Unternehmen liegen die Kosten im vierstelligen Bereich. Der Preis richtet sich nach der Zahl der Kommentare. Damit hängt er direkt mit dem Umfang der betreuten Social-Media-Kanäle zusammen.

Bereich Angabe
Standort Freiburg
Software Penemue
Ziel Schutz vor Hasskommentaren im Netz
Kunden Politikerinnen und Politiker, Sportlerinnen und Sportler, Unternehmen
Genannte Organisationen Telekom, BASF, DFB
Preis für Einzelpersonen etwa 50 Euro im Monat
Kosten für große Unternehmen vierstelliger Bereich
Beschäftigte 7 Vollzeitkräfte
Finanzierung 1,7 Millionen Euro

Das Start-up will künftig auch Produkte für Privatpersonen entwickeln. Inzwischen gibt es nach Unternehmensangaben 7 Vollzeitkräfte. Bei einer Finanzierungsrunde wurden zuletzt 1,7 Millionen Euro eingeworben. Das Geld soll in Marketing und die technologische Weiterentwicklung fließen.

Auch andere lokale Themen zeigen, wie stark digitale Infrastruktur den Alltag prägt, etwa Internet zu Hause. Bei Penemue steht jedoch nicht der Zugang im Mittelpunkt. Entscheidend ist die automatische Auswertung großer Kommentarmengen.

Penemue erkennt den Kontext

Nach Angaben des Unternehmens liegt eine Stärke der KI darin, den Kontext eines Kommentars einzuordnen. Das ist wichtig, weil problematische Aussagen nicht immer eindeutige Beleidigungen oder klare Drohungen enthalten. Manche Formulierungen wirken auf den ersten Blick harmlos. Die Bedeutung ergibt sich erst aus dem Zusammenhang.

Als Beispiel wird der Satz „Nimm mal den Fön mit in die Badewanne“ genannt. Er enthält keine direkt problematischen Wörter. Penemue erkennt darin laut Darstellung des Unternehmens dennoch eine Aufforderung zum Selbstmord. Damit soll die Software nicht nur einzelne Begriffe prüfen, sondern auch die Aussageabsicht erfassen.

Sara Egetmeyr verweist zudem auf Folgen für öffentliche Debatten. Hasswellen könnten dazu führen, dass sich Menschen aus digitalen Diskussionen zurückziehen. Manche Themen würden dann nicht mehr angesprochen, weil sie polarisieren könnten.

„diesen Debattenraum erhalten“

Sara Egetmeyr

Chantal Kopf sieht in der Anwendung auch eine Chance für den Einsatz Künstlicher Intelligenz. Für sie zeigt Penemue, dass Technologie nicht nur negative Folgen haben müsse. Sie könne auch helfen, Debatten ins Positive zu drehen und den Rechtsstaat angesichts großer Datenmengen im Internet handlungsfähig zu halten.

„dass Technologie und Künstliche Intelligenz nicht alles nur schlechter machen.“

Chantal Kopf

Thematisch passt die Entwicklung auch zu lokalen Berichten über digitale Anwendungen, etwa wenn KI in Freiburg in anderen Bereichen eingesetzt wird.

Penemue verbindet automatische Kommentaranalyse, Schutz öffentlicher Accounts und die Vorbereitung möglicher Strafanzeigen. Die Software wird bereits von Einzelpersonen und großen Organisationen genutzt. Das Freiburger Start-up plant nun weitere Entwicklungsschritte. Dazu gehören technische Verbesserungen, Marketing und perspektivisch Angebote für Privatpersonen.

FAQ 

Was ist Penemue?

Penemue ist eine Software des Freiburger Start-ups Penemue. Sie analysiert Social-Media-Kommentare automatisch und markiert oder blendet problematische Beiträge aus.

Wer nutzt die Software aus Freiburg?

Zu den Nutzern gehören Politikerinnen und Politiker, Sportlerinnen und Sportler sowie Unternehmen. Genannt werden unter anderem Chantal Kopf, Telekom, BASF und der DFB.

Was kostet Penemue für einzelne Personen?

Für einzelne Personen kostet ein Abonnement nach Unternehmensangaben etwa 50 Euro im Monat.

Wie viele Vollzeitkräfte hat Penemue?

Das Unternehmen gibt an, inzwischen sieben Vollzeitkräfte zu beschäftigen.

Wie viel Geld hat Penemue zuletzt eingeworben?

In einer Finanzierungsrunde hat das Start-up nach eigenen Angaben zuletzt 1,7 Millionen Euro eingeworben.

Was entscheidet die KI bei Kommentaren?

Die Software analysiert eingehende Kommentare und sortiert aus, was potenziell strafbar oder toxisch ist. Was danach mit den Kommentaren geschieht, entscheiden die Nutzerinnen und Nutzer selbst.

Quelle: SWR