Exklusiv: Das komplette KIVI-Dossier – Meine Antwort auf den Verfassungsschutz-Skandal der Landesmedienanstalten

Der Skandal weitet sich aus. Der „Welt“ hat es jetzt über einen Informanten als Gewissheit veröffentlicht: Die Landesmedienanstalten sind mit ihrem KI-Tool KIVI zum verlängerten illegalen Arm des Verfassungsschutzes geworden. Die Stasi wäre vor Neid erblasst, die DDR würde heute noch in den Mauern von 1961 fortbestehen, wenn den Geheimdiensten des Regimes damals diese Möglichkeiten zur Verfügung gestanden hätten.

Der von der „Welt“ aufgedeckte Skandal in einem Satz: Die Landesmedienanstalten spionieren flächendeckend und massenhaft mit KI und geben die Daten verdächtiger Schriftverbrecher an den Verfassungsschutz weiter. Das Werkzeug der Landesmedienanstalten heißt KIVI.

Als Anfang 2025 die Verfolgung der Landesmedienanstalten gegen mich begann, saß der Verfassungsschutz also mutmaßlich schon mit im Boot. Es besteht sogar der dringende Verdacht, dass der Austausch in beide Richtungen verläuft. Jedenfalls meldete sich plötzlich auch der bayerische Verfassungsschutz und beschuldigte mich, russische Narrative zu bedienen. Nachher musste er Aussagen revidieren, aber das wird in Zukunft sicher nicht mehr passieren. Also was, wenn der Verfassungsschutz Daten an die Landesmedienanstalten weitergibt und man sich gegenseitig mit KI bei der Verfolgung von Wallasch unterstützt?

Im Februar 2025 habe ich ein IT-Team gegen Honorar beauftragt, die KI „KIVI“ der Landesmedienanstalten zu untersuchen und ein Dossier darüber anzulegen. Als Arbeitsmaterial diente ein freigeklagtes, teilweise geschwärztes KI-Handbuch von 2022, das hier zu finden ist. Das Dossier stelle ich hier jetzt erstmals ungekürzt und für jeden kostenfrei zur Verfügung. Aber wichtig zu wissen im Vorfeld: Das Dossier ist ein Jahr alt, das Handbuch von 2022. Es ist also etliches dazugekommen. Sie sehen auch hier erst die Spitze des Eisbergs, der heute vor uns liegt. Was ist in den letzten vier Jahren (2022–2026) mutmaßlich dazugekommen?

Das 2022-Handbuch ist die letzte öffentlich freigeklagte Version. Seitdem hat sich einiges entwickelt (basierend auf offiziellen Angaben der Medienanstalten):Sprachausweitung: Seit ca. Juni 2025 auch Englisch und Arabisch (zuvor nur Deutsch). Das erweitert die Reichweite massiv auf internationale und migrantische Inhalte.

Bessere KI: Höhere Trefferquote durch mehr Trainingsdaten (Feedback aus Tausenden realen Fällen), wahrscheinlich multimodale Modelle (Text + Bild + Video besser integriert). Einige Berichte sprechen von Integration externer Machine-Learning-Dienste.

Mehr Plattformen / tiefere Suche: Besserer Telegram-Monitoring, mögliche Erweiterung auf weitere Kanäle oder besseres Crawling. Mehr automatische Regionen-Zuordnung und Batch-Verarbeitung.

Datenweitergabe & Kooperation: Explizite oder intensivierte Zusammenarbeit mit Polizei (LKA/BKA) und Verfassungsschutz – genau das, was die Welt jetzt enthüllt. Früher primär Staatsanwaltschaft, jetzt offenbar breitere „Weitergabe unter der Hand“.

Skalierung: Alle 14 Landesmedienanstalten nutzen es einheitlich. Mehr Fälle insgesamt (Zehntausende Funde, Tausende bestätigte Verstöße). Möglicherweise zentralere Datenhaltung oder bessere Statistiken.

Rechtliche/organisatorische Anpassungen: Interne Richtlinien zu Datenschutz, DSGVO, psychischer Belastung oder neue Workflows für Dossiers. Eventuell angepasste Kategorien oder Scoring für „Desinformation“/Extremismus.

Technische Updates: Neueres Handbuch (Versionen nach 1692 von Nov. 2022) würde neue Features, Security-Updates, geänderte Rollen oder erweiterte Admin-Funktionen zeigen.

Das System ist wahrscheinlich deutlich leistungsfähiger, multilingualer und stärker in die Sicherheitsarchitektur integriert als 2022. Die KI ist reifer, die Weitergabe an Verfassungsschutz & Co. offenbar etablierter – und genau das macht den aktuellen Skandal aus (fehlende gesetzliche Grundlage + Intransparenz).

Und hier nun nach der Werbung das Dossier von Anfang 2025 ungekürzt samt Fragenkatalog an die LMA für Journalisten – bedient Euch bitte:

Analyse & kritische Betrachtung des IT-Tools „KIVI“ der Landesmedienanstalten

Inhaltsverzeichnis

EINLEITUNG / TLDR; ................................................................................................................... 2

ALLGEMEIN ................................................................................................................................ 3

Kurzüberblick ......................................................................................................................... 3

Leistungsmerkmale von KIVI für Durchsuchungen ................................................................ 5

Einschränkungen .................................................................................................................... 6

Weitere Informationsquellen ................................................................................................. 6

RISIKEN & POTENZIAL ................................................................................................................ 7

1. Datenschutzrisiken ............................................................................................................. 7

2. Überwachung und Missbrauch .......................................................................................... 7

3. Fehlende Transparenz und Bias ......................................................................................... 7

4. Abhängigkeit von externen Diensten ................................................................................. 8

KRITISCHE FRAGEN ..................................................................................................................... 8

Technisch ................................................................................................................................ 8

Organisatorisch ...................................................................................................................... 9

MÖGLICHKEITEN ZUM SCHUTZ VOR KIVI ................................................................................ 11EINLEITUNG / TLDR;

Die Landesmedienanstalten in Deutschland verwenden ein Tool mit „künstlicher Intelligenz“

namens KIVI, um rechtswidrige und jugendgefährdende Inhalte im Internet zu bekämpfen.

Handelt es sich bei diesem Tool wirklich um „KI“ oder ist das nur eine

Marketingformulierung?

Der Begriff KI wurde in den letzten drei Jahren vor allem durch „Generative AI“ geprägt – das

sind Systeme, die z.B. Bilder und Texte erstellen (ChatGPT, DallE, Stable Diffusion, etc). Diese

Systeme haben mittlerweile weitreichende Fähigkeiten und können sogar autonom

verschiedenste Aufgaben erledigen. KIVI ist allerdings nicht mit diesen modernen KIs

vergleichbar. Es basiert auf DenseNN (Klassifizierung mittels „Deep learning), dem Naive-

Bayes-Verfahren und einer Sammlung von kommerziellen Bilderkennungs- und

Klassifizierungstools wie dem Amazon-Dienst „Rekognition“. KIVI könnte daher eher als

rückgekoppelte, stochastische Algorithmik bezeichnet werden anstatt als „KI“.

Die Landesmedienanstalten verwenden KIVI, um automatisiert das Internet zu durchsuchen

und um dann Inhalte zu markieren. Diese müssen anschließend von Menschen gesichtet und

ausgewertet werden. Das ist aktuell auch der „Bottleneck“ bei den Landesmedienanstalten.

Angeblich läuft das Tool nur eine Stunde am Tag, weil es zu viele Treffer ausgibt, um sie in

einem realistischen Zeitraum zu bearbeiten.

Man möchte sich nicht ausmalen, was es bedeuten würde, wenn moderne KIs die

menschlichen Mitarbeiter ersetzen würden um damit Tag und Nacht – ununterbrochen -die

Roh-Daten, die KIVI liefert, weiter auswertet und z.B. automatisiert zu Anzeige bringt.

Technisch wäre dies jedenfalls leicht denkbar. Möglicherweise wird auch zurzeit daran

gearbeitet.

Die nachfolgende Analyse beleuchtet den Sachverhalt im Detail und zeigt Möglichkeiten auf,

wie Websitebetreiber sich vor KIVI schützen könnten.ALLGEMEIN

Kurzüberblick

• KIVI baut auf die Smart Media Engine („KI-basierte Content-Discovery-Lösung“) der

Condat AG auf, ergänzt durch externe Funktionen. [1]

• Alle 14 Landesmedienanstalten nutzen KIVI. [2]

• Seit Einführung wurden mehr als 40.000 Funde mit KIVI überprüft. [2]

• Stand 07.02.2025: Mehr als 8.600 Verfahren wegen Rechtsverstößen eingeleitet dank KIVI

laut [2]

• Laut [4] seit Launch bis Juli 2024 mehr als 11.600 Straftaten überprüft und gemeldet.

• Aktuelle Weiterentwicklung von KIVI wird durch die Staatskanzlei NRW gefördert. [2]

• Es gibt Anfragen aus anderen europäischen Ländern, die dieses Tool ebenfalls nutzen

möchten

• Es gibt in KIVI für Inhalte 3 Oberkategorien, 6 Kategorien & 10 Unterkategorien [3]:

o Hassrede

▪ Gewalt/Menschenwürde

▪ Politischer Extremismus

• Volksverhetzung

• Holocaustverleugnung

• Kennzeichen verfassungswidriger Organisationen

o Jugendschutz

▪ Pornographie

• Realbildpornographie

• Hentai-Pornographie

▪ Offensichtlich schwere Jugendgefährdung

▪ Entwicklungsbeeinträchtigung

• Selbstgefährdung

• Erotik

• Drogenverherrlichung

o Werbung

▪ Werbung

• Kennzeichnungspflichtige Werbung

• Werbung mit Jugendschutzproblemen

• Bewertungsabstufungen des Inhalts: "Absolut unzulässig", "Relativ unzulässig",

"Entwicklungsbeeinträchtigend", "Werbung Jugendschutz", "Werbung Kennzeichnung",

"Kein Verstoß" [3]

• Gescannte Plattformen laut [5] (Stand 2023): VKontakte, X (ehem. Twitter), Telegram,

TikTok, Youtube, BitChute, GETTRQuellen:

[1]

https://web.archive.org/web/20250215130858/https://www.condat.de/loesungen/smart-

media-engine/

[2] https://web.archive.org/web/20250215125926/https://www.medienanstalt-

nrw.de/presse/pressemitteilungen/pressemitteilungen-2025-02/fuer-mehr-sicherheit-im-

netz.html

[3] handbuch.pdf

[4] https://web.archive.org/web/20250215110404/https://www.medienanstalt-

nrw.de/kivi.html

[5] https://web.archive.org/web/20250215110655/https://www.flurfunk-

dresden.de/2023/02/26/slm-die-kuenstliche-intelligenz-kivi-sucht-nach-pornos-und-hetze/

[6] https://www.heise.de/news/KI-sucht-rechtswidrige-und-jugendgefaehrdende-Inhalte-im-

Internet-7072959.htmlLeistungsmerkmale von KIVI für Durchsuchungen

• KIVI kann automatisierte und regelmäßige Internetsuchen durchführen, um potenziell

rechtswidrige Inhalte zu identifizieren. Dabei werden Suchbegriffe auf Basis eines

Wissensmodells definiert und kontinuierlich aktualisiert. [1]

• Das Tool ist in der Lage, dedizierte Suchen in sozialen Netzwerken durchzuführen und

dabei auch Reichweiteninformationen wie Follower-Zahlen oder Retweets zu

berücksichtigen. Dies ermöglicht eine gezielte Analyse von Social-Media-Inhalten. [1]

• KIVI kann spezifische, im Tool hinterlegbare URLs direkt crawlen (automatisiert auslesen)

und analysieren. Dies ist besonders hilfreich für die gezielte Überwachung bestimmter

Plattformen oder Anbieter (wie z.B. alexander-wallasch.de). [1]

• Neben Texten kann KIVI auch multimediale Inhalte wie Bilder, Videos und Audiodateien

analysieren. Hierbei kommen externe Dienste für Bild- und Videoanalysen zum Einsatz, z.

B. Reverse Image Search oder die Zerlegung von Videos in Keyframes. [1]

• Das Tool ist in der Lage, täglich mehr als 10.000 Seiten zu durchsuchen, was eine

erhebliche Zeitersparnis gegenüber manuellen Prozessen darstellt. [2]

• KIVI nutzt semantische Fingerabdrücke, um Inhalte unabhängig von Sprache oder

Dokumenttyp zu analysieren und zu klassifizieren. Dadurch können verwandte Inhalte

effizient erkannt werden, selbst wenn sie in unterschiedlichen Sprachen oder Formaten

vorliegen. [1]

• Bekannte Anbieter rechtswidriger Inhalte oder Plattformen, die gezielt durchsucht werden

sollen, können auf eine Blacklist gesetzt werden, während vertrauenswürdige Quellen auf

einer Whitelist geführt werden (wie z.B. der Zentralrat der Muslime). [1][4]

• KIVI wird laut der Condat AG durch tägliches Feedback von Mitarbeitern kontinuierlich

verbessert. Das System lernt aus bestätigten Verstößen und passt seine Algorithmen

entsprechend an. [2]

• Ursprünglich auf deutschsprachige Inhalte spezialisiert, wird KIVI mittlerweile auch für

englische und arabische Inhalte weiterentwickelt, um eine breitere Abdeckung zu

erreichen. [3]

• Externe Machine-Learning-Dienste werden integriert, insbesondere für die Analyse

multimedialer Inhalte wie Videos und Bilder, um beispielsweise die Erkennungsrate zu

verbessern. [1]Einschränkungen

• Die Durchsuchung ist laut der Condat AG auf öffentlich zugängliche Inhalte beschränkt;

geschützte oder private Bereiche (z. B. geschlossene Foren) können nicht direkt erfasst

werden. [1]

• Die Aktualität der Ergebnisse hängt von den Indizierungsintervallen der verwendeten

Suchmaschinen ab, die bis zu zwei Wochen betragen können. [1]

• Externe Dienste zur Analyse können zusätzliche Kosten verursachen und sind nicht immer

präzise genug (z. B. bei der Unterscheidung zwischen legalen und illegalen Nacktbildern).

[1]

Quellen:

[1] angebot.pdf

[2] https://web.archive.org/web/20250215122706/https://www.plattform-lernende-

systeme.de/practical-exampels.html?AID=1543

[3] https://web.archive.org/web/20250215125926/https://www.medienanstalt-

nrw.de/presse/pressemitteilungen/pressemitteilungen-2025-02/fuer-mehr-sicherheit-im-

netz.html

[4] https://fragdenstaat.de/anfrage/allowlist-des-ki-verfahrens-kivi/

Weitere Informationsquellen

• https://web.archive.org/web/20220518152451/https://www.medienanstalt-

nrw.de/zum-nachlesen/recht-und-aufsicht/mit-kuenstlicher-intelligenz-zu-einer-

modernen-medienaufsicht.html -> im Original entfernt

• https://web.archive.org/web/20250215110404/https://www.medienanstalt-

nrw.de/kivi.html

• https://web.archive.org/web/20250215130439/https://www.bpb.de/lernen/digitale-

bildung/werkstatt/513732/ki-in-der-medienaufsicht-was-leistet-das-tool-kivi/

• https://web.archive.org/web/20250215130916/https://www.condat.de/medienaufsicht

en-nutzen-ki-tool-von-condat/

• https://rp-online.de/nrw/panorama/landesmedienanstalt-nrw-entwickelt-ki-tool-zur-

aufsicht-im-internet_aid-67879323

• https://web.archive.org/web/20250215110530/https://www.condat.de/mit-kivi-gegen-

hass-und-hetze-im-netz/

• https://web.archive.org/web/20250215110440/https://www.land.nrw/pressemitteilung

/mehr-medienkompetenz-schaerfere-regulierung-und-effektivere-rechtsdurchsetzung•https://web.archive.org/web/20250215131056/https://www.condat.de/loesungen/smar

t-media-engine/lfm-effektivere-medienaufsicht-im-digitalen-raum/

• https://web.archive.org/web/20250215132556/https://www1.wdr.de/nachrichten/land

espolitik/lfm-kivi-ki-tool-gegen-hass-im-netz-100.html

RISIKEN & POTENZIAL

1. Datenschutzrisiken

• Die Verarbeitung personenbezogener birgt das Risiko von Datenschutzverletzungen.

Besonders problematisch ist die Analyse von multimedialen Inhalten, da diese oft

Rückschlüsse auf Identitäten oder private Informationen ermöglichen.

• Die Speicherung großer Mengen an Daten, insbesondere in einer zentralen Datenbank,

könnte bei unzureichendem Schutz Ziel von Cyberangriffen werden. Dies betrifft auch die

Nutzung externer Dienste, bei denen Daten möglicherweise in Drittländer übertragen

werden, was zusätzliche DSGVO-Risiken birgt.

2. Überwachung und Missbrauch

• Massenüberwachung & Vorratsdatenspeicherung: Die Fähigkeit, automatisiert große

Mengen an Internetdaten zu durchsuchen und zu analysieren, könnte zur

Massenüberwachung genutzt werden.

• Profiling und Diskriminierung: KI-gestützte Tools können prinzipiell Profile über Personen

erstellen, die potenziell/vermeintlich rechtswidrige Inhalte teilen. Das kann zu

Fehlklassifikationen führen und Personen fälschlicherweise als Täter markieren.

• Einsatz für nicht vorgesehene Zwecke: Eine missbräuchliche Nutzung des Tools durch

eigene Mitarbeiter oder andere Akteure (z. B. staatliche Behörden außerhalb des

vorgesehenen Rahmens) kann zur Einschränkung der Meinungsfreiheit oder zur

unrechtmäßigen Überwachung von Personen führen.

3. Fehlende Transparenz und Bias

• Algorithmische Intransparenz: KI-Systeme können Entscheidungen treffen, deren Logik für

Nutzer oder Betroffene schwer nachvollziehbar ist. Dies betrifft insbesondere die

Klassifikation von Inhalten als rechtswidrig oder unproblematisch.

• Bias in der Analyse: Algorithmen könnten voreingenommene Ergebnisse liefern,

insbesondere wenn sie auf unzureichend diversifizierten Trainingsdaten basieren. Daskann beispielsweise dazu führen, dass bestimmte Gruppen oder Inhalte überproportional

häufig als problematisch eingestuft werden.

4. Abhängigkeit von externen Diensten

Externe Anbieter: Die Integration externer KI-Dienste (z. B. zur Bild- oder Videoanalyse) birgt

Risiken hinsichtlich der Kontrolle über die Datenverarbeitung und der Abhängigkeit von

Drittanbietern.

Kostenkontrolle: Die Nutzung externer Dienste kann hohe laufende Kosten verursachen, was

bei unzureichender Planung zu finanziellen Risiken führen könnte -> Pflicht zur

Wirtschaftlichkeit

KRITISCHE FRAGEN

Technisch

• Welche Arten von KI-Funktionalitäten kommen zum Einsatz?

• Welche externen Dienste werden von KIVI genutzt? Wurden diese Dienste auf

Datenschutzkonformität und Zuverlässigkeit geprüft?

• Welche expliziten KI-Modelle & -Services werden zur Erkennung und Kategorisierung von

Inhalten genutzt?

• Auf Grundlage welcher Daten wurden/werden die KI-Modelle trainiert?

• Wie wird sichergestellt, dass die KI-Algorithmen zuverlässig zwischen rechtswidrigen und

unproblematischen Inhalten unterscheiden können, insbesondere bei mehrdeutigen oder

kontextabhängigen Aussagen?

• Welche Maßnahmen gibt es, um die Anzahl von falsch-positiven und falsch-negativen

Ergebnissen zu minimieren?

• Wie wird verhindert, dass das System durch fehlerhafte Trainingsdaten oder

unzureichendes Feedback falsche Muster erlernt?

• Welche Sicherheitsmaßnahmen schützen die IT-Infrastruktur vor Cyberangriffen oder

Datenlecks?

• Wo werden die im Zusammenhang mit KIVI oder verknüpften Services erhobenen Daten

jeweils (zwischen-)gespeichert?

• Mit welchen Maßnahmen wird der Schutz von Persönlichkeitsrechten durch KIVI technisch

realisiert?

• Welche automatisierten Funktionalitäten bietet KIVI?

• Werden "do-not-crawl" policies (robots.txt) von Webseiten vom Crawler respektiert?

• Welche manuell ausführbaren Funktionalitäten bietet KIVI?• Wie wird technisch zwischen Urheberschaft und sog. Reposting unterschieden?

• Wie wird sichergestellt, dass nur notwendige Daten verarbeitet und keine sensiblen

Informationen ohne rechtliche Grundlage gespeichert werden?

• Gibt es Mechanismen zur Überprüfung der Durchsuchungsergebnisse durch unabhängige

Stellen?

• Welche Maßnahmen verhindern den Missbrauch des Tools für Zwecke außerhalb des

ursprünglichen Anwendungsbereichs (z.B. Überwachung ohne Rechtsgrundlage)?

• Sind die Algorithmen frei von Vorurteilen und Diskriminierung? Werden bestimmte

Gruppen oder Personen überproportional häufig überwacht oder falsch klassifiziert?

• Welche User-agents werden für das Crawling genutzt?

• Welche IP-Adresse(n) verwenden die eingesetzten crawler?

• Welche Accounts werden bei der Durchsuchung entsprechender Portale genutzt (z.B.

welcher Telegramaccount tritt öffentlichen Gruppen bei?)

Organisatorisch

• Welche Personengruppen & Parteien haben Zugriff auf KIVI direkt oder auf Inhalte, die

mithilfe von KIVI erstellt werden?

• Wer hat die Fachaufsicht über KIVI? (-> zielt auf das Thema nötige Staatsferne)

• Wie wird sichergestellt, dass externe Dienste nicht zu hohen Betriebskosten führen oder

ihre Verfügbarkeit langfristig garantiert ist?

• Wer entscheidet über die Durchführung manueller Durchsuchungen?

• Das Handbuch spricht von drei Ursprüngen für Vorfälle „Automatische Recherche“,

„Beschwerde“ und „Manuelle Recherche“. Wer kann diese Beschwerden einbringen?

• Auf welchen rechtlichen Grundlagen werden die Inhalte von KIVI kategorisiert?

• Auf welcher Grundlage werden manuelle Durchsuchungen von Internetinhalten

durchgeführt?

• Auf welcher rechtlichen Basis erfolgt das automatische Crawling von Webseiten und

Social-Media-Profilen?

• Auf welcher Rechtsgrundlage werden personenbezogene Daten von Dritten durch die

Condat AG verarbeitet und gespeichert?

• Wer hat die Aufsicht über die von der Condat AG gespeicherten personenbezogenen

Daten?

• Wie wird die Zulässigkeit der Erhebung, Verarbeitung und Nutzung der Daten sowie

Wahrung der Rechte der Betroffenen durch die LMA sichergestellt?

(-> "anlage11-2.pdf" Punkt 4.1.)

• Welche Weisungen sind bisher durch die LMA an die Condat AG erfolgt im Rahmen von

Art, Umfang und Verfahren der Datenverarbeitung?

(-> "anlage11-2.pdf" Punkt 4.1.)• Wie viele Ersuchen zwecks Berichtigung oder Löschung der Daten durch Betroffene

wurden bisher durch die Condat AG an die LMA gemeldet? Wie wurde mit diesen Ersuchen

verfahren? (-> "anlage11-2.pdf" Punkt 4.3.)

• Wie viele Fälle der jeweiligen Ober- & Unterkategorien wurden bisher erfasst? Wie viele

wurden jeweils an staatliche Stellen weitergeleitet? (-> "handbuch.pdf" S. 51)

• Welche wesentlichen Änderungen technischer oder organisatorischer Maßnahmen

wurden bisher durchgeführt? (-> "anlage11-2.pdf" Punkt 3.3.)

• Welche Prozesse gibt es bei den LMA, die auf Grundlage der von KIVI erfassten Inhalte

ausgelöst werden? (z.B. Versenden von Hinweisschreiben etc.)

• Welche Websites sind auf der Whitelist & welche auf der Blacklist?

• Wer entscheidet über das White/Black-listing von Websites?

• Welche URLs sind bisher manuell durchsucht worden? (wie z.B. alexander-wallasch.de)

• Wie viele Inhalte wurden von den automatisch durchsuchten Plattformen bisher jeweils

erfasst?

• Wie viele der erfassten Inhalte wurden bisher gerichtlich als rechtswidrig bestätigt?

• Was ist die Definition von "Relativ unzulässig"? Wie wird mit solchen Inhalten

typischerweise verfahren?

• Wer ist verantwortlich für manuelle Recherchen und nach welchem Prinzip werden sie

durchgeführt?

• Wie und wo werden rechtswidrige Inhalte verwaltet, bei denen alleine der Besitz strafbar

ist?

• Welche URLs sind derzeit für automatische Durchsuchungen (Crawling) hinterlegt?

• Was ist der derzeitige Inhalt der KIVI-Stichwortliste (Keywords) für automatische

Durchsuchungen?

• Wie viele manuelle Durchsuchungen finden statt (monatlich)?

• Wie viele automatisierte Durchsuchungen finden statt (monatlich)?

• Wie wird mit Inhalten umgegangen, die zwar potenziell rechtswidrig sind, aber aus

anderen Ländern stammen und unter deren Rechtsprechung fallen?

• Wer trägt die Verantwortung für Fehlklassifikationen durch das Tool? Kann es zu

rechtlichen Konsequenzen kommen, wenn Inhalte fälschlicherweise als rechtswidrig

gemeldet werden?

• Wie gestaltet sich die Zusammenarbeit mit Strafverfolgungsbehörden wie dem

Bundeskriminalamt (BKA)?

• Welche Prozesse existieren zur Übergabe von Fällen an juristische Instanzen?

• Die Identifikation potenziell rechtswidriger Inhalte könnte unbeabsichtigt auch legitime

Meinungsäußerungen erfassen. Wie wird verhindert, dass es zu einer Einschränkung der

Meinungsfreiheit kommt?

• Da KIVI von einem externen Anbieter entwickelt wurde (Condat AG), stellt sich die Frage

nach der Abhängigkeit der Landesmedienanstalten von privaten Unternehmen. Wie wirdgewährleistet, dass der Anbieter keinen unangemessenen Einfluss auf den Betrieb des

Tools hat?

• Werden Internetnutzer darüber informiert, dass ihre Inhalte analysiert werden? Gibt es

eine Möglichkeit, die Kriterien oder Algorithmen einzusehen, nach denen Inhalte als

rechtswidrig eingestuft werden?

• Wie können Betroffene erfahren, ob ihre Inhalte erfasst wurden?

• Wie können Betroffene ihr Recht auf Berichtigung oder Löschung ihrer Daten gemäß Art.

16 und 17 DSGVO ausüben?

MÖGLICHKEITEN ZUM SCHUTZ VOR KIVI

• IP-Blocking: IP-Adressen der Crawler für Websitezugriff explizit sperren. Dafür muss

bekannt sein, welche Server oder Agents von KIVI genutzt werden, bzw. wie diese Agents

funktionieren und über welche IP-Adresse(n) sie das Internet durchsuchen

• User-Agents blocken: Üblicherweise schickt jede Anfrage im Web einen „User-Agent“

-Text

mit, der angibt mit welchem Browser man sich auf eine Website verbindet (z.B. „Firefox“).

KIVI sollte hier auch einen eindeutig identifizierbaren User-Agent mitschicken, sobald KIVI

Webseiten durchsucht.

• CAPTCHA bei Websitezugriff einrichten: Captchas sind ein wirkungsvoller Schutz vor dem

Zugriff automatisierter Crawler und lassen sich relativ leicht implementieren. KIVI hat sehr

wahrscheinlich derzeit keine Möglichkeiten Captchas zu lösen.

• Rate Limiting: Begrenzung der Anzahl erlaubter Zugriffe pro IP-Adresse in einem

bestimmten Zeitraum. Crawler machen meist viele Anfragen in kurzer Zeit und man könnte

damit entgegenwirken – ist aber technisch leicht umgehbar.

• Maschinenlesbarer Nutzungsvorbehalt: Rechtlich bindende Hinweise auf der Website

platzieren, das maschinelles Auslesen untersagt wird. Das würde insbesondere eine

andere Ausgangslage im Angesicht von KI-Crawling ermöglichen, da z.B. Inhalte auch für

Trainingszwecke genutzt werden könnten.

Im Falle von KIVI würde ein IP-Blocking oder die Implementierung von CAPTCHAs ausreichen,

es schadet aber grundsätzlich nicht mehrere Methoden zu kombinieren, wenn man Crawling

generell stark erschweren möchte. Für maximale Wirkung bei minimaler Einschränkung für

den regulären Websitetraffic sollte nur auf das IP-Blocking i.V.m. User-Agent Blocking

zurückgegriffen werden.