ISMC – Information Security Management Consulting

Autor: Christoph Gruber

  • Wie KI-Sprachmodelle wirklich funktionieren

    Wie KI-Sprachmodelle wirklich funktionieren

    Warum diese Maschinen brillant und gleichzeitig erstaunlich dumm sein können

    Künstliche Intelligenz schreibt Gedichte, fasst Verträge zusammen und beantwortet komplexe Fragen – aber sie scheitert an einem simplen Kreuzworträtsel. Wie kann das sein? Um das zu verstehen, müssen wir uns ansehen, was hinter den Kulissen eines sogenannten Large Language Model (LLM) tatsächlich passiert.

    Was steckt in der Maschine?

    Ein LLM wie ChatGPT oder Claude ist im Kern ein mathematisches Modell mit Milliarden von Zahlenwerten – sogenannten Parametern. Man kann sich das vorstellen wie ein riesiges Netz aus Knotenpunkten, die miteinander verbunden sind. Jede Verbindung hat eine bestimmte Stärke, ausgedrückt als Zahl. Diese Zahlen bestimmen, wie das Modell auf eine Eingabe reagiert.

    Aber woher kommen diese Zahlen?

    Das Training: Lesen lernen im Schnelldurchlauf

    Phase 1: Das Internet als Schulbuch

    Bevor ein LLM auch nur ein einziges Wort erzeugen kann, muss es trainiert werden. Dafür wird dem Modell eine gewaltige Menge an Text vorgelegt – Bücher, Webseiten, wissenschaftliche Artikel, Forenbeiträge, Nachrichtenartikel. Wir sprechen von Hunderten Milliarden Wörtern.

    Das Modell liest diese Texte aber nicht so, wie wir das tun. Es zerlegt den Text in kleine Bruchstücke, sogenannte Tokens. Ein Token ist dabei nicht unbedingt ein ganzes Wort. Das Wort „Unabhängigkeitserklärung” wird beispielsweise in mehrere Tokens zerlegt – etwa „Unab”, „hängig”, „keits”, „erklärung”. Kurze, häufige Wörter wie „der” oder „ist” sind hingegen jeweils ein eigenes Token.

    Dieser Punkt ist wichtig, und wir werden darauf zurückkommen.

    Phase 2: Das Ratespiel

    Das eigentliche Training funktioniert nach einem verblüffend einfachen Prinzip: Das Modell bekommt den Anfang eines Satzes und muss das nächste Token vorhersagen.

    Nehmen wir den Satz: „Die Hauptstadt von Österreich ist …”

    Am Anfang des Trainings rät das Modell völlig zufällig. Es könnte „Banane” vorhersagen. Das ist offensichtlich falsch. Das Trainingsverfahren berechnet nun, wie weit die Vorhersage vom tatsächlichen nächsten Wort entfernt war, und passt die Milliarden von Parametern ein winziges Stück an – so, dass „Wien” beim nächsten Mal etwas wahrscheinlicher wird.

    Diesen Vorgang wiederholt das Modell Billionen Mal, mit Billionen verschiedenen Textausschnitten. Stück für Stück lernt es dabei die Muster und Strukturen der menschlichen Sprache: Grammatik, Fakten, Argumentationsweisen, Schreibstile und sogar so etwas wie gesunden Menschenverstand.

    Phase 3: Feinschliff durch Menschen

    Nach diesem Grundtraining kann das Modell zwar Texte fortsetzen, aber es ist noch kein hilfreicher Assistent. Es würde auf die Frage „Was ist die Hauptstadt von Österreich?” nicht unbedingt mit „Wien” antworten, sondern vielleicht einfach weitere Fragen generieren – weil es in seinen Trainingsdaten häufig gesehen hat, dass auf eine Frage eine weitere folgt.

    Deshalb folgt ein zweiter Trainingsschritt: Menschliche Trainer bewerten die Antworten des Modells. Sie zeigen ihm, welche Antworten hilfreich, korrekt und sicher sind – und welche nicht. Durch dieses Feedback lernt das Modell, sich wie ein nützlicher Gesprächspartner zu verhalten, statt einfach nur Text weiterzuspinnen.

    Im Einsatz: Wie eine Antwort entsteht

    Wenn Sie einem LLM eine Frage stellen, passiert Folgendes:

    Ihre Eingabe wird in Tokens zerlegt. Diese Tokens wandern durch das neuronale Netz – durch Hunderte Schichten von Berechnungen. Am Ende steht eine Wahrscheinlichkeitsverteilung: Das Modell berechnet für jedes Token in seinem Wortschatz, wie wahrscheinlich es als nächstes kommt.

    Dann wird ein Token ausgewählt – und der Vorgang beginnt von vorne. Das gerade erzeugte Token wird an die bisherige Sequenz angehängt, und das Modell berechnet das nächste. Wort für Wort, Token für Token, entsteht so die Antwort.

    Das bedeutet: Ein LLM plant seine Antwort nicht im Voraus. Es hat keinen fertigen Gedanken im Kopf, den es dann formuliert. Es erzeugt jeden Textbaustein einzeln, immer nur auf Basis dessen, was bisher dasteht. Es ist, als würde jemand einen Roman schreiben, ohne die Handlung zu kennen – Satz für Satz, immer nur mit Blick auf das bisher Geschriebene.

    Was LLMs bemerkenswert gut können

    Trotz dieses scheinbar simplen Mechanismus sind die Fähigkeiten von LLMs erstaunlich:

    Texte verstehen und zusammenfassen. Geben Sie einem LLM einen zwanzigseitigen Vertrag, und es liefert Ihnen in Sekunden eine präzise Zusammenfassung der wichtigsten Punkte.

    Zwischen Sprachen übersetzen. Da das Modell Texte in Dutzenden Sprachen gelesen hat, hat es deren Muster verinnerlicht und kann flüssig zwischen ihnen wechseln.

    Komplexe Sachverhalte erklären. Ein LLM kann ein und dasselbe Thema für ein Fachpublikum, für Studierende oder für Zehnjährige erklären – weil es gelernt hat, wie Menschen auf verschiedenen Niveaus kommunizieren.

    Programmcode schreiben. Code ist letztlich auch eine Sprache mit klaren Regeln, und LLMs haben Millionen von Programmen in ihren Trainingsdaten gesehen.

    Kreativ formulieren. Ob Gedicht, Werbetext oder Kurzgeschichte – LLMs können stilistisch erstaunlich vielseitig sein.

    All diese Stärken haben eines gemeinsam: Es geht um Muster in der Sprache. Und genau darin sind LLMs Weltmeister.

    Wo die Maschine scheitert: Das Kreuzworträtsel-Problem

    Und damit kommen wir zum Kreuzworträtsel. Stellen Sie sich folgende Aufgabe vor:

    Gesucht: Europäische Hauptstadt, 4 Buchstaben, dritter Buchstabe ist ein „r”.

    Für einen Menschen ist das einfach. Wir denken an Hauptstädte, zählen die Buchstaben ab, prüfen den dritten – und kommen auf „Bern”.

    Für ein LLM ist genau diese Aufgabe ein Albtraum. Und der Grund liegt in dem, was wir vorhin über Tokens gelernt haben.

    Das Token-Problem

    Erinnern Sie sich: Ein LLM sieht keine einzelnen Buchstaben. Es sieht Tokens – Wortfragmente, die oft mehrere Buchstaben umfassen. Das Wort „Bern” ist für das Modell ein einzelner Token, ein unteilbares Stück. Es hat keinen direkten Zugang zu der Information, dass „Bern” aus den Buchstaben B-e-r-n besteht, dass es vier Buchstaben hat, oder dass der dritte davon ein „r” ist.

    Das ist, als würde man Sie bitten, den dritten Buchstaben eines Wortes zu nennen – aber Sie dürfen das Wort nur als versiegelten Umschlag sehen, ohne hineinzuschauen.

    Was das Modell stattdessen tut

    Wenn ein LLM mit einer Kreuzworträtsel-Frage konfrontiert wird, versucht es, das zu tun, was es immer tut: Es sucht nach Mustern. Es hat in seinen Trainingsdaten vielleicht Kreuzworträtsel-Lösungen gesehen und kann manchmal die richtige Antwort „erraten” – nicht weil es die Buchstaben wirklich zählt, sondern weil es das Muster „Europäische Hauptstadt + 4 Buchstaben” mit „Bern” assoziiert hat.

    Aber sobald die Aufgabe etwas kniffliger wird – etwa wenn eine ungewöhnliche Buchstabenkombination gefragt ist oder wenn es keine geläufige Assoziation gibt – scheitert das Modell kläglich. Es rät dann oft falsch und behauptet dabei mit großer Überzeugung, die Antwort sei korrekt.

    Was wir daraus lernen

    Dieses Beispiel zeigt eine fundamentale Einschränkung: LLMs verarbeiten Sprache nicht so, wie wir Menschen das tun. Sie haben kein inneres Modell von Buchstaben, Silben oder der physischen Struktur von Wörtern. Sie operieren auf einer anderen Ebene – der Ebene statistischer Muster zwischen Token-Sequenzen.

    Das bedeutet auch: Was für uns Menschen trivial einfach ist, kann für ein LLM unlösbar schwer sein – und umgekehrt. Eine dreißigseitige wissenschaftliche Arbeit zusammenzufassen ist für ein LLM ein Leichtes. Zu zählen, wie oft der Buchstabe „e” in einem Satz vorkommt, kann es dagegen überfordern.

    Was heißt das für den Alltag?

    LLMs sind mächtige Werkzeuge – aber eben Werkzeuge, keine denkenden Wesen. Sie erkennen und reproduzieren Muster in Sprache auf einem Niveau, das noch vor wenigen Jahren undenkbar schien. Aber sie verstehen die Welt nicht in dem Sinne, wie wir Menschen das tun.

    Wer das im Kopf behält, kann LLMs enorm gewinnbringend einsetzen: als Recherche-Hilfe, als Schreibassistenz, als Sparringpartner für Ideen, als Übersetzer, als Erklärer komplexer Sachverhalte. Man sollte ihre Ausgaben aber immer kritisch prüfen – besonders dort, wo es auf exakte Details ankommt, die sich nicht aus sprachlichen Mustern ableiten lassen.

    Die nächste Generation von KI-Systemen arbeitet bereits daran, einige dieser Schwächen zu überwinden – etwa durch die Fähigkeit, zwischendurch „nachzudenken” und Probleme schrittweise zu lösen, statt immer nur das nächste Wort vorherzusagen. Aber das Grundprinzip bleibt: Diese Systeme sind Meister der Mustererkennung. Und das ist gleichzeitig ihre größte Stärke und ihre fundamentalste Grenze.

    Dieser Artikel erklärt die grundlegende Funktionsweise sogenannter Large Language Models (LLMs) in vereinfachter Form. Die tatsächliche technische Umsetzung ist in vielen Details komplexer, als hier dargestellt.

  • 80 % Cybersecurity ist ITIL — Warum wir aufhören sollten, Security und IT zu trennen

    80 % Cybersecurity ist ITIL — Warum wir aufhören sollten, Security und IT zu trennen

    Von Christoph Gruber, CTO & CISO

    Eine unbequeme Beobachtung aus München

    Ich sitze auf der Munich Cyber Security Conference 2025, höre den Vorträgen zu, folge den Diskussionen — und mir fällt etwas auf, das mich seit Jahren beschäftigt: Die meisten Akteure in der Cybersecurity-Branche verhalten sich so, als wäre ihr Fachgebiet völlig unabhängig von der IT.

    Eigene Budgets. Eigene Abteilungen. Eigene Tools. Eigene Konferenzen. Eine eigene Sprache. Eine eigene Karriereleiter.

    Und ich frage mich: Wann genau haben wir beschlossen, dass Cybersecurity keine IT-Disziplin mehr ist?

    Die unbequeme Wahrheit: Ein CISO arbeitet in ITIL

    Wenn ich mir anschaue, was ein CISO im Tagesgeschäft tatsächlich verantwortet, dann komme ich zu einem Ergebnis, das auf Security-Konferenzen niemand gerne hört: Rund 80 Prozent der operativen Aufgaben eines CISO sind in ITIL bereits vollständig abgebildet.

    Das ist keine Provokation um der Provokation willen. Es ist eine nüchterne Analyse:

    Change Management ist vielleicht das deutlichste Beispiel. Unkontrollierte Änderungen an Systemen gehören zu den häufigsten Angriffsvektoren. Wer ein sauberes Change Management betreibt, hat einen erheblichen Teil seiner Security-Probleme bereits gelöst — ganz ohne ein einziges Security-Tool.

    Incident Management bildet die direkte Grundlage für Security Incident Response. Die Prozesse sind nahezu identisch: Erkennung, Klassifizierung, Eskalation, Behebung, Lessons Learned. Ob ein Server wegen eines Hardwaredefekts ausfällt oder wegen eines Ransomware-Angriffs — der Prozess ist derselbe.

    Configuration Management und eine gepflegte CMDB sind die Voraussetzung für jedes Schwachstellenmanagement. Ohne vollständiges Asset-Inventar kein Patching. Ohne Patching keine Security. So einfach ist das.

    Access Management in ITIL ist praktisch deckungsgleich mit Identity and Access Management in der Security-Welt. Dieselben Prinzipien, dieselben Prozesse, nur mit anderem Etikett.

    Service Continuity Management deckt Business Continuity und Disaster Recovery ab — Kernthemen jedes CISO.

    Supplier Management ist die Basis für Third Party Risk Management, das gerade durch NIS2 und DORA in Europa enorm an regulatorischer Bedeutung gewonnen hat.

    Die Liste lässt sich fortsetzen. Problem Management, Availability Management, Information Security Management — ITIL hatte das alles schon, bevor „Cybersecurity“ zum Milliardenmarkt wurde.

    Was bleibt dann noch?

    Die verbleibenden 20 Prozent — die Bereiche, die tatsächlich spezifische Security-Expertise erfordern — sind wichtig, keine Frage: Threat Intelligence, Penetration Testing, Red Teaming, forensische Analyse, das adversariale Denken in Bedrohungsszenarien.

    Aber selbst diese Disziplinen funktionieren nicht im luftleeren Raum.

    Und hier wird es wirklich unbequem: Was macht eine Security-Architektur ohne IT-Architektur? Sie produziert PowerPoints.

    Man kann die elegantesten Zero-Trust-Konzepte entwerfen. Aber wenn man nicht weiß, wie das Netzwerk segmentiert ist, welche Applikationen über welche Schnittstellen kommunizieren und wo die Daten tatsächlich liegen, bleibt das Ganze eine theoretische Übung. Security Architecture ist keine eigenständige Disziplin — sie ist eine Spezialisierung innerhalb der IT-Architektur. Oder sie ist wertlos.

    Dasselbe gilt für Penetration Testing ohne Kenntnis der Infrastruktur. Für Threat Intelligence ohne Verständnis der eigenen Angriffsfläche. Für Vulnerability Management ohne funktionierende CMDB.

    Warum die Trennung trotzdem existiert

    Wenn die Überlappung so offensichtlich ist, warum halten wir an der Trennung fest? Ich sehe drei Gründe:

    Erstens: Geld. Die Cybersecurity-Branche ist ein Wachstumsmarkt. Eigene Budgets, eigene Abteilungen und eigene Beratungsmandate lassen sich leichter rechtfertigen, wenn man Security als eigenständige Disziplin positioniert. Das ist nicht verwerflich — es ist Marktlogik. Aber es ist auch nicht im besten Interesse der Organisationen, die wir schützen sollen.

    Zweitens: Ego. Auf beiden Seiten. Der IT-Betrieb sieht Security oft als Störfaktor, der Prozesse verlangsamt. Security sieht den IT-Betrieb als inkompetent und nachlässig. Beide Seiten profitieren von der Trennung, weil sie die jeweils andere Seite für Versäumnisse verantwortlich machen können.

    Drittens: Regulatorik. NIS2, DORA und andere Regularien fordern explizit Security-Verantwortlichkeiten auf Leitungsebene. Das ist richtig und wichtig. Aber die Schlussfolgerung, dass diese Verantwortlichkeiten in einer von der IT isolierten Struktur besser aufgehoben sind, ist ein Trugschluss.

    Die Ironie

    Die größte Ironie, die ich in meiner Beratungspraxis erlebe: Organisationen, die ihre ITIL-Prozesse wirklich sauber leben, sind fast immer deutlich sicherer als solche, die Millionen in Security-Tools investieren, aber kein ordentliches Change Management haben.

    Ein Unternehmen mit einer aktuellen CMDB, sauberem Change Management, funktionierendem Incident Management und konsequentem Access Management hat seine Hausaufgaben gemacht. Die Security-Tools obendrauf sind dann das Sahnehäubchen — nicht das Fundament.

    Umgekehrt habe ich Unternehmen gesehen, die SIEM, SOAR, EDR, XDR und ein ganzes Alphabet an Security-Lösungen betreiben — aber nicht wissen, wie viele Server sie haben.

    Was folgt daraus?

    Ich plädiere nicht dafür, die Rolle des CISO abzuschaffen. Ich plädiere dafür, sie ehrlich zu definieren.

    Ein CISO, der seine Aufgabe ernst nimmt, muss die IT-Prozesse seiner Organisation nicht nur kennen, sondern mitgestalten. Er muss ITIL nicht als fremdes Framework betrachten, sondern als sein wichtigstes Werkzeug. Und er muss den Mut haben, in Security-Meetings zu sagen: „Das lösen wir nicht mit einem neuen Tool, sondern mit einem sauberen Change-Prozess.“

    Die eigentliche Frage ist nicht, ob wir Security und IT trennen sollten. Die Frage ist, ob wir es uns leisten können, so zu tun, als wären sie jemals getrennt gewesen.

    #MCSC #CISO #CIO #ITIL #ISMS

  • Chat-Kontrolle – Neu gedacht

    Chat-Kontrolle – Neu gedacht

    Lokales Löschen statt zentraler Meldung: Eine alternative Implementierung der EU-Chatkontrolle?

    Ein technischer Ansatz zur CSAM-Bekämpfung würde bekannte Missbrauchsinhalte clientseitig erkennen und sofort löschen – ohne zentrale Meldung an Behörden. Die rechtliche und technische Analyse zeigt: Auch dieser Ansatz steht vor erheblichen Herausforderungen, könnte aber grundrechtskonformer sein als bisherige Vorschläge.

    Die Europäische Union ringt seit drei Jahren um eine Verordnung zur Bekämpfung von Kindesmissbrauchsmaterial (Child Sexual Abuse Regulation, CSAR). Nach sieben gescheiterten Ratspräsidentschaften und beispielloser Opposition von Kryptographen, Datenschützern und Technologieunternehmen steht am 14. Oktober 2025 die nächste kritische Abstimmung an. Der Kern des Konflikts: Wie lässt sich Kindesmissbrauch wirksam bekämpfen, ohne eine Massenüberwachung von 450 Millionen EU-Bürgern zu etablieren und Ende-zu-Ende-Verschlüsselung zu untergraben?

    Ein alternativer Ansatz rückt in den Fokus: Clientseitiges Scanning mit lokaler Löschung, aber ohne zentrale Meldung. Bekannte CSAM-Hashes würden auf Nutzergeräten oder in Messenger-Apps abgeglichen, Treffer sofort gelöscht – ohne dass Behörden, Anbieter oder Meldestellen involviert werden. Diese Variante unterscheidet sich fundamental von den bisherigen Chat-Control-Vorschlägen. Doch ist sie technisch machbar, rechtlich zulässig und praktisch wirksam?

    Die aktuelle Sackgasse: Warum Chat Control 2.0 scheitert

    Der EU-Kommissionsvorschlag vom Mai 2022 sieht verpflichtende Detection Orders für alle Kommunikationsdienste vor – einschließlich verschlüsselter Messenger wie WhatsApp und Signal. Kompetente Behörden könnten Anbieter zwingen, drei Kategorien von Inhalten zu scannen: bekanntes CSAM (Hash-Matching), neues CSAM (KI-Klassifikatoren) und Grooming (Textanalyse). Gefundene Inhalte müssten an das neu zu gründende EU Centre on Child Sexual Abuse gemeldet werden, das sie an Europol und nationale Strafverfolgungsbehörden weiterleitet.

    Die Kritik ist vernichtend. European Digital Rights (EDRi) bezeichnet Chat Control als „das meistkritisierte EU-Gesetz aller Zeiten“. Im September 2025 unterzeichneten 587 Sicherheitsforscher und Kryptographen aus 34 Ländern einen offenen Brief, der vor „inakzeptabel hohen Falsch-Positiv- und Falsch-Negativ-Raten“ warnt. Signal drohte mit dem Rückzug aus dem EU-Markt. Das eigene Legal Service des Rates stufte Teile des Vorschlags als unverhältnismäßig und grundrechtswidrig ein.

    Drei zentrale Kritikpunkte dominieren: Massenüberwachung ohne Verdachtsmoment, Untergrabung von Ende-zu-Ende-Verschlüsselung durch clientseitiges Scanning, und hohe Falsch-Positiv-Raten (Deutschland: 99.375 fälschlich gemeldete Chats/Fotos Unschuldiger 2024, +9% Anstieg). Die dänische Ratspräsidentschaft versucht derzeit einen Kompromiss, der aber im Wesentlichen frühere gescheiterte Ansätze recycelt – inklusive einer umstrittenen Ausnahme für Regierungskonten.

    Der Europäische Datenschutzausschuss (EDPB) und der Europäische Datenschutzbeauftragte (EDPS) empfahlen in ihrer gemeinsamen Stellungnahme 04/2022 explizit, Grooming-Erkennung komplett aus dem Vorschlag zu entfernen und wiesen auf massive proportionalitätsprobleme hin.

    Der alternative Ansatz: Lokales Löschen ohne Meldung

    Die hier untersuchte Variante unterscheidet sich in einem entscheidenden Punkt von allen bisherigen Vorschlägen: Keine zentrale Meldung, keine Strafverfolgung, nur lokales Löschen.

    Technische Funktionsweise:

    1. NCMEC (National Center for Missing & Exploited Children) betreibt eine Datenbank mit über 5 Millionen verifizierten Hashes bekannter CSAM-Inhalte (Stand 2023, dreifach verifiziert mit 99,99% Genauigkeit laut Concentrix-Audit)
    2. Diese Hash-Datenbank wird auf Nutzergeräten integriert – entweder in Messenger-Apps oder direkt im mobilen Betriebssystem (iOS, Android)
    3. Vor dem Versenden von Bildern/Videos erstellt das Gerät einen Perceptual Hash des Inhalts
    4. Lokaler Abgleich mit der Datenbank auf dem Gerät
    5. Bei Treffer: Sofortige lokale Löschung der Datei
    6. Kritisch: Kein Report an Apple, Google, Meta, Europol oder nationale Behörden

    Dieser Ansatz vermeidet die drei größten Kritikpunkte an Chat Control: Keine Massenüberwachung durch zentrale Meldestellen, keine falschen Anschuldigungen Unschuldiger durch Behörden, und keine Aufbewahrung sensibler Daten über Nutzer.

    Technische Grundlagen: Perceptual Hashing erklärt

    Der Ansatz basiert auf Perceptual Hashing – fundamentally different from cryptographic hashing wie MD5 oder SHA-256.

    Kryptographische Hashes (MD5/SHA-256):

    • Avalanche-Effekt: Eine Änderung von nur einem Bit erzeugt komplett anderen Hash
    • Exakte Duplikaterkennung
    • Leicht zu umgehen: Größenänderung, Rotation, einzelnes Pixel ändern

    Perceptual Hashing (PhotoDNA, PDQ, NeuralHash):

    • Analysiert visuelle Merkmale: Farbverläufe, Frequenzspektren, Gradienten
    • PhotoDNA-Technik (Microsoft/Dartmouth 2009):
      • Konvertierung zu Graustufen, Normalisierung auf 26×26 Pixel
      • Unterteilung in 6×6-Pixel-Blöcke mit 2-Pixel-Überlappung
      • Berechnung von 4 Gradienten-Summationen pro Block
      • Discrete Cosine Transform (DCT) im Frequenzbereich
      • Erzeugt 144 Hash-Werte → feste digitale Signatur
    • Matching: Hamming-Distanz misst Bit-Unterschiede; Schwellenwert typisch 150-175

    Robustheit (Steinebach 2023, ACM):

    • JPEG-Kompression: ~99% Robustheit
    • Skalierung/Größenänderung: Hoch
    • Farbänderungen: Hoch
    • Cropping: Limitiert – verwundbar bei 2-5% Beschnitt
    • Rotation: Nicht robust

    Behauptete False-Positive-Rate: 1 zu 10-50 Milliarden (Microsoft/ITU-Angaben). Unabhängige Experten wie Dr. Neal Krawetz bezweifeln diese Zahlen als „Mischung aus Evaluation und mathematischen Annahmen“.

    Reale Genauigkeitsprobleme: Was die Zahlen verschweigen

    Die theoretisch extrem niedrigen False-Positive-Raten stehen im Widerspruch zu realen Daten:

    Irland (2020): Nur 20% der NCMEC-Meldungen wurden als tatsächliches CSAM bestätigt – 11,2% waren False Positives.

    Schweiz: 80% der maschinell generierten Meldungen stellten sich als unbegründet heraus.

    Deutschland (BKA 2024): 99.375 Chats/Fotos Unschuldiger fälschlich gemeldet (+9% Zunahme). ~50% aller NCMEC-Reports „nicht strafrechtlich relevant“.

    EU-Kommissarin Johansson (2023): 75% der NCMEC-Reports haben nicht die Qualität, mit der Polizei arbeiten kann.

    Diese Diskrepanz entsteht durch mehrere Faktoren: unterschiedliche nationale Rechtsdefinitionen von CSAM, Qualitätsprobleme bei der Hash-Verifikation, und die Kombination von Hash-Matching mit fehleranfälligeren KI-Klassifikatoren für „neues“ CSAM. Für reines Hash-Matching bekannter Inhalte liegt die Fehlerrate deutlich niedriger – aber selbst bei 1 zu 10 Milliarden produzieren Milliarden täglicher Bilder statistische Fehler.

    Google-Fälle (2022): Zwei Väter fotografierten ihre Söhne für telemedizinische Diagnosen. Googles PhotoDNA/KI-System flaggte die Bilder als CSAM. Polizeiliche Ermittlungen stellten fest: keine Straftat. Google deaktivierte die Accounts trotzdem dauerhaft – Totalverlust von Mails, Fotos, Dokumenten.

    Diese Fälle zeigen: Selbst mit menschlicher Überprüfung führen False Positives zu drastischen Konsequenzen. Bei lokalem Löschen ohne Meldung entfallen diese Konsequenzen – aber auch die Möglichkeit zur Korrektur.

    Client-Side Scanning: Apples gescheitertes Experiment

    Der prominenteste Versuch eines lokalen Scanning-Systems kam von Apple im August 2021. Das Unternehmen wollte NeuralHash zur CSAM-Erkennung auf iOS-Geräten implementieren – ausschließlich für iCloud Photos.

    Technisches Design (hochentwickelt):

    • NeuralHash: Neuronales Netz zur Erzeugung perzeptueller Hashes
    • Private Set Intersection (PSI): Kryptographisches Protokoll verhindert Leak von Non-Matches
    • Threshold Secret Sharing: Verschlüsselungskey nur rekonstruierbar nach mehreren Treffern
    • Device erstellt verschlüsselte „Safety Vouchers“ für jedes Bild
    • Erst nach Überschreiten einer Schwelle (Apple nannte keine Zahl) könnte Apple inner layer entschlüsseln
    • Dann: menschliche Überprüfung → NCMEC-Meldung falls bestätigt

    Der Backlash war massiv. Die akademische Antwort kam im Oktober 2021 mit dem Paper „Bugs in Our Pockets“ – unterzeichnet von Kryptographie-Koryphäen wie Whitfield Diffie, Ronald Rivest, Bruce Schneier, Ross Anderson, Steven Bellovin und anderen. Veröffentlicht im Journal of Cybersecurity (Oxford Academic).

    Kernkritikpunkte:

    1. Slippery Slope: Infrastruktur existiert, Regierungen werden Ausweitung fordern (Terrorismus, Urheberrecht, politische Inhalte)
    2. Datenbank-Manipulation: Angreifer könnten bösartige Hashes einschleusen, um gezielt Individuen zu überwachen
    3. Nicht auditierbar: Nutzer können nicht verifizieren, dass nur CSAM-Hashes in der Datenbank sind (Hashes nicht reversibel)
    4. Hash-Kollisionen: Innerhalb von 3 Wochen demonstrierten Forscher Kollisions-Angriffe auf NeuralHash
    5. Untergräbt Verschlüsselung: Scanning vor Verschlüsselung macht Ende-zu-Ende-Verschlüsselung bedeutungslos
    6. Neue Angriffsfläche: Jedes Gerät wird zur Schwachstelle

    90+ Organisationen (ACLU, EFF, CDT) forderten Rückzug. Signal-Präsidentin Meredith Whittaker: „Hintertüren werden immer ausgenutzt“. Niederländische Geheimdienste warnten, Client-Side Scanning sei eine Bedrohung für nationale Sicherheit.

    Apple zog den Vorschlag im Dezember 2022 zurück. Erik Neuenschwander (Director User Privacy): „Das Scannen jedes privat gespeicherten iCloud-Inhalts würde neue Bedrohungsvektoren für Datendiebe schaffen“ und „die Tür für Massenüberwachung öffnen“. Apple implementierte stattdessen Advanced Data Protection – Ende-zu-Ende-Verschlüsselung für iCloud Backups.

    Rechtliche Einordnung: DSGVO und EU-Grundrechtecharta

    Die entscheidende Frage: Wäre lokales Löschen ohne Meldung rechtlich zulässiger als die aktuellen Chat-Control-Vorschläge?

    DSGVO-Konformität: Komplexe Gemengelage

    Ja, es ist Datenverarbeitung: Auch lokales Scannen und Löschen fällt unter DSGVO Art. 4(2), da Inhalte analysiert werden. Erforderlich ist eine Rechtsgrundlage nach Art. 6(1) – wahrscheinlich durch Gesetz (6(1)(c) oder (e)).

    Transparenzpflichten (Art. 13-14): Nutzer müssen über Verarbeitung informiert werden. Paradox: Nutzer informieren → ermöglicht Umgehung. Nicht informieren → verstößt gegen DSGVO.

    Data Protection by Design (Art. 25): Lokales Löschen ist besser ausgerichtet als zentrale Speicherung, aber Scanning selbst verarbeitet dennoch Daten.

    EU-Grundrechtecharta: Der entscheidende Maßstab

    Art. 7 (Privatsphäre) und Art. 8 (Datenschutz): EDPB-EDPS-Stellungnahme 04/2022 macht klar – auch clientseitiges Scanning „ohne zentrale Meldung stellt einen Eingriff in Art. 7 und 8 dar“.

    „Essence of the Right“-Test (EuGH Schrems C-362/14): „Gesetzgebung, die Behörden auf generalisierter Basis Zugang zu Inhalten elektronischer Kommunikation erlaubt, muss als Kompromittierung des Wesensgehalts des Grundrechts auf Privatsphäre betrachtet werden.“

    Lokales Löschen ohne Meldung vermeidet diese Schwelle möglicherweise, da kein Behördenzugriff erfolgt. Aber: Das EDPB warnt, dass Grooming-Erkennung „den Kern von Art. 7 und 8 berühren könnte“.

    Chilling Effect (Digital Rights Ireland C-293/12): „Die Tatsache, dass Daten aufbewahrt werden, ohne dass Nutzer informiert sind, erzeugt das Gefühl konstanter Überwachung.“ Dies gilt auch für Scanning – selbst ohne Meldung.

    Verhältnismäßigkeitsprüfung nach Art. 52(1) Charta

    Jede Grundrechtseinschränkung muss fünf Kriterien erfüllen:

    1. Gesetzlich vorgesehen: Muss klar, zugänglich, vorhersehbar sein. Aus Tele2/Watson (C-203/15): „hinreichend klar, um Bürgern angemessene Hinweise zu geben, unter welchen Umständen Behörden zu solchen Maßnahmen befugt sind.“

    2. Wesensgehalt achten: Lokales Löschen berührt möglicherweise nicht den Wesensgehalt, da kein Behördenzugriff und keine Speicherung. Aber: Das Scanning selbst greift auf Inhalte zu.

    3. Ziel von allgemeinem Interesse: Kindesmissbrauch bekämpfen ist anerkanntes legitimes Ziel.

    4. Erforderlichkeit: Muss streng notwendig und die am wenigsten eingreifende Maßnahme sein. Aus Tele2/Watson: „Nur das Ziel der Bekämpfung schwerer Kriminalität kann schwerwiegende Eingriffe rechtfertigen.“ Problem für lokales Löschen: EDPB merkt an, dass es „leicht umgangen werden kann durch separate Verschlüsselungs-Apps“. Wenn nicht effektiv, scheitert es am Erforderlichkeitstest.

    5. Verhältnismäßigkeit (stricto sensu): Vorteile müssen Nachteile überwiegen.

    Aus Digital Rights Ireland (para 47): „Der Spielraum des EU-Gesetzgebers kann sich als begrenzt erweisen, abhängig von… der Art des durch die Charta garantierten Rechts.“

    EuGH-Rechtsprechung: Klare rote Linien

    Kernprinzip aus Tele2 und La Quadrature du Net (C-511/18): „Allgemeine und unterschiedslose Speicherungverletzt die Charta.“ „Selbst das Ziel der Bekämpfung schwerer Kriminalität kann… nicht rechtfertigen, dass Gesetzgebung, die allgemeine und unterschiedslose Speicherung vorsieht, als notwendig betrachtet wird.“

    Dieses Prinzip gilt auch für Scanning. Der EuGH unterscheidet wiederholt nicht zwischen „Speicherung“ und „Scanning“ als unterschiedliche Eingriffskategorien – es geht um „allgemeinen und unterschiedslosen Zugriff“ auf Kommunikationsinhalte.

    Ausnahmen (La Quadrature du Net):

    • Gezielte Speicherung bei schwerer Kriminalität
    • Echtzeit-Erfassung bei Verdächtigen schwerer Kriminalität
    • Allgemeine Speicherung von IP-Adressen (weniger eingreifend)

    Impliziert: Maßnahmen, die deutlich weniger eingreifend sind als allgemeine Datenspeicherung, könnten akzeptabel sein. Lokales Löschen könnte hier argumentieren.

    Neueste Entwicklung (La Quadrature du Net II C-470/21, April 2024): Gericht lockerte Standards leicht für IP-Adressen-Speicherung. Zeigt: EuGH bereit, Abstufungen der Eingriffsintensität zu machen.

    Lokales Löschen vs. Meldung: Der entscheidende Unterschied

    LOKALES LÖSCHEN – Vorteile:

    1. Kein Behördenzugriff: Vermeidet EuGH-Bedenken zu „Zugang auf generalisierter Basis“
    2. Keine Datenspeicherung: Kein Retention-Problem wie in Digital Rights Ireland
    3. Keine False-Positive-Konsequenzen: Unschuldige nicht bei Polizei gemeldet
    4. Geringeres Missbrauchsrisiko: Keine zentrale Datenbank für andere Zwecke nutzbar
    5. Weniger Chilling Effect: Keine Strafverfolgungsangst

    LOKALES LÖSCHEN – verbleibende Probleme:

    1. Immer noch „allgemein und unterschiedslos“: Betrifft alle Nutzer ohne individuellen Verdacht
    2. Inhaltsanalyse findet statt: Kommunikationsinhalte werden zugegriffen, analysiert
    3. Effektivitätsfragen: Wenn leicht umgehbar → scheitert an Erforderlichkeit
    4. Untergräbt Verschlüsselung: Erfordert clientseitiges Scanning vor Verschlüsselung
    5. Schwierige Aufsicht: Keine Reports → schwer zu kontrollieren, ob nur CSAM

    MELDUNG AN BEHÖRDEN – zusätzliche Probleme:

    1. Behördenzugriff auf Inhalte: Schrems-Bedenken zu „generalisiertem Zugang“
    2. Datenspeicherung: Reports bei Behörden gespeichert → Digital Rights Ireland
    3. False-Positive-Konsequenzen: Unschuldige polizeilich ermittelt
    4. Strengere Prüfung: Tele2: „Nur schwere Kriminalität rechtfertigt solche Maßnahmen“
    5. Zusätzliche Verfahrensgarantien: EuGH verlangt vorherige richterliche/unabhängige Prüfung für Behördenzugriff

    EDPB-EDPS Stellungnahme 04/2022: Die maßgebliche Einschätzung

    Zu bekanntem CSAM (Hash-Matching): „Derzeit scheinen nur Technologien zur Erkennung bekannten CSAM – d.h. Matching-Technologien mit Hash-Datenbanken – diese Standards generell erfüllen zu können.“ False-Positive-Rate von „nicht mehr als 1 zu 50 Milliarden (0,000000002%).“ Das ist die am ehesten vertretbare Art des Scannings.

    Zu neuem CSAM (KI-Klassifikatoren): „Ernsthafte Zweifel, inwieweit die Verfahrensgarantien… ausreichend sind.“ Technologien „anfällig für Fehler“ mit „relativ hohen Fehlerraten.“

    Zu Grooming (Text/Audio-Scanning): Empfehlung: „Sollte aus dem Vorschlag entfernt werden.“ „De facto allgemeine und unterschiedslose automatisierte Analyse textbasierter Kommunikation… respektiert nicht die Anforderungen von Notwendigkeit und Verhältnismäßigkeit.“ „Könnte sogar den Kern des Grundrechts auf Privatsphäre in Art. 7 berühren.“ „Chilling Effect auf Meinungsfreiheit besonders signifikant.“ Genauigkeitsrate von nur 88% als unzureichend eingestuft.

    Zu Verschlüsselung: „Nichts in der vorgeschlagenen Verordnung sollte als Verbot oder Schwächung von Verschlüsselung interpretiert werden.“ „Jede der Techniken zur Umgehung von E2EE… würde Sicherheitslücken einführen.“

    Council Legal Service: Vernichtendes Urteil

    Laut Medienberichten über die geleakte Stellungnahme des Rechtsdienstes des Rates (Mai 2023):

    • Teile zu clientseitigem Scanning sind „unverhältnismäßig und grundrechtswidrig“
    • Würde wahrscheinlich „allgemeines und unterschiedsloses“ Screening darstellen, entgegen EuGH-Rechtsprechung
    • Verpflichtendes Screening würde „einheitlich und ohne Unterschied für alle“ gelten
    • „Es ist hochwahrscheinlich, dass eine gerichtliche Überprüfung feststellen wird, dass die Screening-Pflichten ‚allgemein und unterschiedslos‘ sind“

    Technische Machbarkeit und Sicherheitsprobleme

    Kann ein OS-Level-Scanner umgangen werden?

    Ja – mühelos. Ana-Maria Cretu (EPFL Center for Digital Trust): „Alle Beweise deuten darauf hin, dass clientseitiges Scanning nicht effektiv wäre zur Erkennung von CSAM bei Vorhandensein von Gegnern.“

    Umgehungsmethoden:

    1. Einfache Bildmanipulation: Leichte Filter, Beschnitt >5%, Rotation, imperceptible Noise
    2. Alternative Kanäle: Apps ohne CSS, Custom-Apps, P2P, Darknet-Foren
    3. Pre-Encryption: Bilder separat verschlüsseln, passwortgeschützte Archive
    4. Modifizierte Clients: Jailbroken/gerootete Geräte, inoffizielle App-Versionen, Open-Source-Alternativen
    5. Steganographie: Inhalte in anderen Dateien verbergen

    Konsequenz: CSS stoppt nur unsophistizierte Akteure, während alle legitimen Nutzer überwacht werden. Tatsächliche Kriminelle – die selbstgehostete Darknet-Foren, verschlüsselte Archive, und Tor nutzen – bleiben unerreichbar.

    Kann CSS für andere Überwachung genutzt werden?

    Ja – das ist die größte Sicherheitsbesorgnis.

    Datenbank-Tainting (Jaap-Henk Hoepman 2023): Demonstrierte Methode, harmlos aussehende Bilder zu erstellen, die CSAM-Fingerprints matchen. Bösartige Entität könnte synthetische CSAM-Bilder bei Abuse Center einreichen. Reales Bild A (kein CSAM) wird so gestaltet, dass es Fingerprint von synthetischem Bild B′ matched. Nutzer mit Bild A wird geflaggt. Ermöglicht gezielte Angriffe auf Individuen.

    Government Pressure – Historische Präzedenzfälle:

    • USA PATRIOT Act Massen-Metadaten-Sammlung
    • NSA PRISM-Programm
    • China: WeChat scannt bereits auf politische Inhalte

    Wahrscheinliche Ausweitung:

    • Terrorismus-Inhalte (bereits in EU Chat Control vorgeschlagen)
    • Urheberrechtsverletzungen
    • „Desinformation“/„Misinformation“
    • Politische Dissidenten-Bilder (Tiananmen-Platz, Dalai Lama in China)
    • LGBTQ+-Inhalte (illegal in 70+ Ländern)
    • Religiöse Inhalte (variiert nach Land)

    Apples ursprüngliche Antwort: „Wir werden solche Forderungen ablehnen.“ Kritiker: Sobald Infrastruktur existiert, wird rechtlich/politischer Druck unwiderstehlich. Technische Fähigkeit = eventueller Einsatzdruck.

    Technische Realität: Von der Perspektive des Systems sind alle Hashes identisch. Keine Möglichkeit, CSAM-Hash von politischem Bild-Hash zu unterscheiden. Nur Policy verhindert Ausweitung, nicht Technologie.

    Auswirkungen auf verschlüsselte Messenger

    Fundamentales Problem: Client-Side Scanning ist inkompatibel mit dem Vertrauensmodell von Ende-zu-Ende-Verschlüsselung.

    Traditional E2EE-Versprechen:

    1. Nur Sender und Empfänger können Nachrichteninhalte lesen
    2. Kein Dritter kann auf Inhalte zugreifen, auch nicht der Dienstanbieter
    3. Inhalt geschützt in Transit und auf Servern
    4. Vertrauensmodell: Nutzer vertraut seinem Gerät und dem Gerät des Korrespondenten

    CSS untergräbt diese Versprechen:

    • Inhalt wird vor Verschlüsselung analysiert
    • Gerät wird zum Gegner des Nutzers
    • Vertrauensgrenze kollabiert
    • Dritte (Dienstanbieter, Regierung) erhalten Zugang zu Inhalt

    Electronic Frontier Foundation (2019): „Obwohl es technisch einige Eigenschaften von Ende-zu-Ende-Verschlüsselung aufrechterhält, würde clientseitiges Scanning die Privatsphären- und Sicherheitsgarantien der Verschlüsselung aushöhlen.“

    Internet Society: „CSS macht den Zweck von Verschlüsselung zunichte, schafft neue Sicherheitsrisiken, und gefährdet die Privatsphäre der Europäer.“

    Signal-Reaktion: Meredith Whittaker drohte mit EU-Marktaustritt. „Verschlüsselung untergraben durch Hintertür-Einführung… ist bewusst eine Schwachstelle einführen, und sie werden immer ausgenutzt.“

    Performance und Update-Zyklen

    Computational Burden:

    • Hash-Generierung für jedes Bild: CPU-Zyklen
    • Datenbankabgleich: Memory-Nutzung
    • Batterieentladung
    • Nutzererfahrungs-Verschlechterung

    Datenbank-Distribution:

    • Größe: 5+ Millionen Hashes – substantieller Speicherbedarf
    • Update-Frequenz: Neue CSAM regelmäßig entdeckt
    • Bandbreite: Milliarden Geräte updaten
    • Sicherheit: Datenbank vor Extraktion/Manipulation schützen

    Kompatibilität:

    • Funktionieren über Gerätegenerationen
    • Verschiedene Prozessor-Fähigkeiten
    • Verschiedene Bildformate

    Vergleich mit bestehenden Systemen

    Status Quo: Server-seitiges Scanning

    Facebook/Meta:

    • Implementierte PhotoDNA 2011
    • Nutzt PhotoDNA und proprietäre PDQ/TMK+PDQF Hashes
    • KI-Klassifikatoren für unbekanntes CSAM
    • Q1 2025: 1,7 Millionen CyberTip-Reports (91-94% aller US-Reports)
    • 97% proaktiv erkannt vor Nutzer-Reports
    • Scanning: Server-seitig nach Upload, vor E2EE (wo angewendet)

    Google:

    • PhotoDNA und CSAI Match API
    • Hash-Matching + Machine Learning
    • Proaktive Erkennungsrate: 99,5% (Bing), 99,9% (andere Dienste)
    • Scanning: Server-seitig

    Microsoft:

    • Bietet PhotoDNA Cloud Service kostenlos an (Azure)
    • Bing, OneDrive, Outlook, Skype, Xbox
    • Proaktive Erkennung >99%
    • Scanning: Server-seitig

    WhatsApp – die kritische Differenz:

    • Ende-zu-Ende-Verschlüsselung: Nur Sender und Empfänger können Nachrichten lesen
    • WhatsApp/Meta hat keine Entschlüsselungskeys
    • Kann scannen: Profilfotos, Gruppenfotos, gemeldete Inhalte (unverschlüsselt)
    • Kann NICHT scannen: Nachrichteninhalte, verschlüsselte Dateien in Chats
    • Sperrt 300.000+ Accounts/Monat für CSAM (basierend auf Metadaten, Profilanalyse, Nutzer-Reports)
    • Trägt deutlich weniger Reports bei als Facebook/Instagram

    Effektivität aktueller Systeme:

    • Hash-Matching für bekanntes CSAM: 95-99%+ Erkennungsrate
    • KI-Klassifikatoren für neues CSAM: Höhere Fehlerraten, noch in Entwicklung
    • Lücke: Kann verschlüsselte Inhalte ohne Nutzer-Reports nicht erkennen

    Freiwillig vs. Verpflichtend

    USA:

    • Verpflichtend: Meldung bei „actual knowledge“ (18 U.S.C. § 2258A)
    • Freiwillig: Scanning/Monitoring
    • Explizit: Anbieter sind NICHT verpflichtet zu „affirmativ suchen, screenen, oder scannen“
    • REPORT Act 2024: Erweiterte Meldepflichten, aber immer noch kein Scanning-Zwang

    EU:

    • Aktuell: Temporäre Derogation erlaubt freiwilliges Scanning bis April 2026
    • Genutzt von: Gmail, Facebook Messenger, Instagram, Skype, Snapchat, iCloud Email, Xbox
    • NICHT genutzt von: WhatsApp, Signal (E2EE-Dienste)
    • Vorgeschlagen: Chat Control 2.0 würde Scanning verpflichtend machen
    • Status: Blockiert im Rat, höchst umstritten

    Lokales Löschen im Vergleich

    Unterschiede zu Server-seitigem Scanning:

    • ❌ Weniger effektiv (leicht umgehbar)
    • ✓ Funktioniert mit E2EE (technisch)
    • ❌ Mehr Sicherheitsrisiken (Gerät = Angriffsfläche)
    • ✓ Keine zentrale Datenspeicherung
    • ❌ Schwieriger zu audieren
    • ✓ Kein Behördenzugriff

    Unterschiede zu Chat Control 2.0:

    • ✓ Keine Meldung an Behörden
    • ✓ Keine False-Positive-Strafverfolgung
    • ❌ Immer noch allgemeine und unterschiedslose Überwachung
    • ✓ Weniger Chilling Effect
    • ❌ Immer noch Scanning aller Nutzer

    Bewertung: Ist lokales Löschen grundrechtskonformer?

    Juristische Einschätzung

    Positiv:

    1. Vermeidet die schärfsten EuGH-Bedenken zu Behördenzugang
    2. Keine Datenspeicherung → besser als Data Retention Directive
    3. Niedrigere False-Positive-Konsequenzen
    4. Bessere Datensparsamkeit
    5. Wenn begrenzt auf bekanntes CSAM (Hash-Matching, nicht KI) und nur visuelle Inhalte → möglicherweise am ehesten vertretbar

    Negativ:

    1. Immer noch „allgemein und unterschiedslos“ → EuGH hat dies wiederholt abgelehnt
    2. Scanning aller Kommunikationsinhalte ohne Verdacht
    3. Effektivität fraglich (EDPB: „leicht umgehbar“)
    4. Untergräbt Verschlüsselung fundamental
    5. Mangel an Aufsicht
    6. Grooming-Erkennung oder neues CSAM (KI) → wahrscheinlich unverhältnismäßig auch ohne Meldung

    Das wahrscheinlichste Urteil

    Eng begrenzte Version könnte vertretbar sein:

    • NUR bekanntes CSAM (Hash-Matching mit extrem niedriger False-Positive-Rate)
    • NUR visuelle Inhalte (Bilder/Videos) – kein Text/Audio
    • Klarer gesetzlicher Rahmen mit starken Garantien
    • Schutz der Verschlüsselung (keine Strafen für E2EE-Beibehaltung)
    • Unabhängige Aufsicht (jährliche Audits)
    • Transparenzberichte (aggregierte Statistiken)
    • Sunset-Klauseln (Maßnahme läuft aus, falls nicht erneuert)
    • Regular Review (Evaluation von Effektivität und Verhältnismäßigkeit)

    Breitere Ansätze wahrscheinlich unverhältnismäßig:

    • Neues CSAM-Erkennung (hohe Fehlerraten)
    • Grooming-Erkennung (EDPB empfiehlt Entfernung)
    • Text/Audio-Scanning (besonders eingreifend)
    • Jeder Ansatz ohne Targeting

    Council Legal Service und EDPB-EDPS Einschätzung deuten darauf hin: Selbst die am meisten begrenzte Form von Client-Side Scanning steht vor ernsthaften rechtlichen Hindernissen unter aktuellem EU-Recht und EuGH-Rechtsprechung.

    Fundamentales Spannungsverhältnis

    Die zentrale Erkenntnis: Lokales Löschen ohne Meldung ist grundrechtskonformer als Ansätze mit zentraler Meldung, aber die grundsätzliche Spannung zwischen „allgemeiner und unterschiedsloser Überwachung“ und EU-Grundrechtsgesetz bleibt bestehen.

    Aus Tele2/Watson: „Die Effektivität des Kampfes gegen schwere Kriminalität kann an sich nicht… allgemeine und unterschiedslose Speicherung rechtfertigen.“

    Diese Logik erstreckt sich auf Scanning. Der EuGH hat eine klare Präferenz für gezielte, verdachtsbasierte Maßnahmen gegenüber generellen, präventiven Massenkontrollen.

    Alternative Ansätze: Was Kritiker vorschlagen

    Zivilgesellschaft, technische Experten und einige Mitgliedstaaten haben grundrechtswahrende Alternativen vorgeschlagen:

    1. Stärkung der Strafverfolgungskapazitäten:

    • Angemessene Ressourcen für Ermittlungseinheiten
    • Fokus auf verdeckte Operationen in Darknet-Foren (wo echte Täter operieren)
    • Internationale Kooperation über Europol verbessern
    • Rückstand bei Verarbeitung existierender Reports reduzieren

    2. Präventionsfokus:

    • Bessere Finanzierung von Präventionsprogrammen
    • Medienkompetenz-Bildung für Kinder
    • Training für Erzieher und Eltern zu Online-Sicherheit
    • Grundursachen von Missbrauch angehen (nicht nur Online-Symptome)

    3. Opferunterstützung:

    • Stabile Finanzierung für Opferunterstützungsorganisationen
    • Schnelle Entfernung von CSAM an der Quelle
    • Unterstützung für Opferrechte ohne Kompromittierung der Privatsphäre aller

    4. Gezielte Maßnahmen:

    • Honeypots: Strafverfolgungs-betriebene Köder-Sites/Profile
    • Gerichtlich angeordnete gezielte Überwachung: Richterlicher Beschluss, Verdacht gegen spezifische Individuen
    • Öffentliches Crawling: EU Centre proaktiv durchsucht öffentlich zugängliche Inhalte (nicht private Nachrichten)
    • Notice and Takedown: Anbieter verpflichten, klar illegalen Inhalt nach Identifizierung zu entfernen

    5. Safety by Design:

    • Starke Meldemechanismen verlangen
    • Altersgerechte Warnsysteme
    • Nutzerkontrollen zur Blockierung unerwünschter Kontakte
    • Bestätigungsprompts vor Teilen persönlicher Informationen
    • Moderation von Hochrisiko-öffentlichen Räumen

    Schlussfolgerung: Ein Dilemma ohne perfekte Lösung

    Der Ansatz „lokales Löschen ohne zentrale Meldung“ repräsentiert einen Versuch, zwischen Kinderschutz-Zielen und digitalen Grundrechten zu vermitteln. Die umfassende Analyse zeigt:

    Vorteile gegenüber Chat Control 2.0:

    • Keine Behörden-Massenüberwachung
    • Keine Strafverfolgung Unschuldiger durch False Positives
    • Keine zentrale Datenspeicherung
    • Geringeres Missbrauchsrisiko
    • Weniger Chilling Effect

    Verbleibende fundamentale Probleme:

    • Immer noch „allgemeine und unterschiedslose“ Überwachung aller Nutzer
    • Scanning von Kommunikationsinhalten ohne Verdachtsmoment
    • Untergräbt Ende-zu-Ende-Verschlüsselung
    • Leicht umgehbar → Effektivitätszweifel
    • Technisch komplexe Implementierung mit Sicherheitsrisiken
    • Slippery-Slope-Risiko (Function Creep zu anderen Inhalten)

    Rechtliche Einordnung: Eine eng begrenzte Implementierung (nur bekanntes CSAM, nur Bilder/Videos, Hash-Matching, starke Garantien) könnte als verhältnismäßiger eingestuft werden als Ansätze mit zentraler Meldung. Aber selbst diese Version würde wahrscheinlich rechtlich angefochten und müsste vom EuGH geprüft werden.

    Technische Realität: Client-Side Scanning schafft neue Sicherheitslücken, die von Kriminellen, feindlichen Staaten und Geheimdiensten ausgenutzt werden können. Die Infrastruktur, einmal etabliert, lässt sich technisch nicht auf CSAM beschränken. Apples Rückzug und die vernichtenden Einschätzungen von 587 Sicherheitsforschern unterstreichen: CSS ist keine privatsphärenwahrende Alternative zu Verschlüsselung brechen – es ist nur eine andere Methode, dasselbe Überwachungsergebnis zu erzielen.

    Politische Realität: Am 14. Oktober 2025 steht die nächste kritische Abstimmung im EU-Rat an. Deutschland ist der entscheidende Swing-Vote. Nach sieben gescheiterten Präsidentschaften und beispielloser Opposition bleibt fraglich, ob überhaupt eine Form von verpflichtendem Client-Side Scanning politisch durchsetzbar ist.

    Die fundamentale Spannung bleibt ungelöst: Wirksamer Kinderschutz vs. digitale Privatsphäre und Sicherheit für 450 Millionen EU-Bürger. Lokales Löschen ohne Meldung mag einige rechtliche und praktische Probleme mildern – aber das Kernproblem der „allgemeinen und unterschiedslosen“ Überwachung, das der EuGH wiederholt abgelehnt hat, besteht fort.

    Wie EDPB-EDPS, Council Legal Service und die „Bugs in Our Pockets“-Autoren übereinstimmend warnen:Selbst technisch raffinierte Client-Side-Scanning-Systeme stehen vor ernsthaften rechtlichen, technischen und gesellschaftlichen Hindernissen unter EU-Grundrechtsschutz. Die Suche nach einer Lösung, die wirksamen Kinderschutz mit Grundrechtswahrung vereinbart, geht weiter.

  • AI in Cybersecurity: Risks and Countermeasures

    AI in Cybersecurity: Risks and Countermeasures

    Table of Contents

    1. Overcoming Protective AI
    2. Confusing the Protection AI
    3. Model Poisoning
    4. When Protection Becomes the Attacker
    5. Deepfake Attacks & AI-Assisted Social Engineering
    6. Autonomous AI Attackers
    7. Model Theft & Model Espionage
    8. Supply Chain Poisoning Through AI
    9. Manipulation of Decision AI
    10. Shadow AI

    1. Overcoming Protective AI

    Scenario Description

    In this scenario, attackers focus on directly overcoming or bypassing AI-based security systems. Modern cybersecurity solutions increasingly rely on artificial intelligence for anomaly detection, malware identification, and attack recognition. However, attackers are increasingly developing techniques to circumvent these AI protection measures.

    Examples include:

    • Development of malware that adapts to known detection patterns and is thus classified as harmless by AI systems
    • Use of „Adversarial Machine Learning“ techniques that specifically generate inputs designed to mislead AI systems
    • Exploitation of „blind spots“ in trained models that cannot detect certain attack vectors

    Countermeasures

    • Continuous re-training of protection AI with current threat data
    • Implementation of multi-layered defense systems (Defense-in-Depth)
    • Adversarial training of protection models to increase resistance against deception attempts
    • Combination of rule-based and AI-based security systems
    • Development of meta-AI systems that monitor the behavior of primary protection AI

    Relevance for Cybersecurity

    The increasing dependence on AI-based security solutions creates a new battlefield in cyberspace. When attackers can overcome protective AI, potentially all underlying systems are at risk. Particularly critical is that successful attacks against AI systems are often difficult to detect, as they occur within the normal operating parameters of the AI. This leads to dangerous false security when companies blindly trust their AI security systems without understanding their vulnerabilities.

    2. Confusing the Protection AI

    Scenario Description

    This scenario involves techniques aimed at confusing or misleading AI-based security systems through deliberate injection of misleading data, without directly overcoming them. Unlike direct bypassing, this is about impairing the functionality and effectiveness of AI by degrading its recognition capabilities through interference signals or noise.

    Methods include:

    • Generation of targeted „noise“ in network traffic to overload anomaly detection systems
    • Provoking frequent false alarms to create an „alarm fatigue“ effect in security teams
    • Gradual injection of manipulated data that shifts the AI’s normal baseline understanding

    Countermeasures

    • Implementation of robust filters against data noise and unusual input patterns
    • Development of self-calibrating AI systems that detect baseline shifts
    • Use of independent validation systems that monitor main detection systems
    • Regular manual review of detection quality by security experts
    • Implementation of „canary tokens“ and other early warning systems

    Relevance for Cybersecurity

    Confusing protection AI represents a subtle but dangerous threat. Instead of conducting direct attacks, attackers can undermine trust in automated security systems through continuous manipulation of the AI environment. This is particularly problematic as modern Security Operations Centers (SOCs) operate under a constant stream of alerts and rely on reliable AI filtering. A confused AI can significantly deteriorate an organization’s security posture through both excessive false alarms and overlooking genuine threats.

    3. Model Poisoning

    Scenario Description

    Model poisoning describes attacks that target the training phase of AI security models. Manipulated data is introduced into training datasets to compromise the resulting model. Unlike attacks against already trained models, vulnerabilities are directly built into the basic structure of the protection model.

    Attack forms include:

    • Data Poisoning: Injection of manipulated training data
    • Backdoor attacks: Implementation of hidden triggers in the model that cause specific misreactions
    • Label Flipping: Targeted mislabeling of training data to shift classification boundaries

    Countermeasures

    • Strict validation and quality control of training data
    • Use of techniques for detecting anomalies in training data
    • Regular review of model behavior with trusted test data
    • Differential learning and other privacy-enhancing training methods
    • Distributed training with independent validation by multiple parties

    Relevance for Cybersecurity

    Model poisoning is particularly dangerous because it is difficult to detect and builds fundamental vulnerabilities into the security system. A poisoned model can appear normal for a long time and only fail under certain conditions – exactly when an attacker desires it. As more companies rely on pre-trained models or external datasets, the risk increases that such „poisoned“ components are integrated into their own security infrastructure. The long-term impacts can be devastating as trust in the entire AI-based security architecture is undermined.

    4. When Protection Becomes the Attacker

    Scenario Description

    This scenario describes situations where AI-based security systems themselves are compromised and turned against their operators or other systems. Instead of passive failure, the system becomes actively hostile and uses its privileged position and capabilities for attacks.

    Possible manifestations:

    • Takeover of control over AI security systems by attackers
    • Manipulation of autonomous security responses to conduct DoS attacks
    • Exploitation of privileged system access of security AI for lateral movement
    • Repurposing of detection and analysis capabilities for espionage purposes

    Countermeasures

    • Strict isolation and access controls for AI security systems
    • Implementation of „guardrails“ and limitation of autonomous action capabilities
    • Regular security audits of the AI systems themselves
    • Monitoring of security AI behavior by independent systems
    • Emergency shutdown mechanisms and recovery plans

    Relevance for Cybersecurity

    The reversal of protection measures into attack tools represents a particularly dangerous development. Security AI typically has comprehensive permissions, detailed infrastructure knowledge, and often the ability to initiate automated countermeasures. When such AI is compromised, it can misuse these legitimate capabilities for attacks. This challenges the fundamental paradigm of cybersecurity: when protection mechanisms themselves can become threats, a complex meta-security problem emerges. Companies must consider this new threat level and view security systems not only as protection measures but also as potential risk factors.

    5. Deepfake Attacks & AI-Assisted Social Engineering

    Scenario Description

    In this scenario, advanced AI technologies are used to conduct highly realistic and personalized social engineering attacks. Through the use of deepfakes, attackers can create deceptively real audio, video, and text content that can fool even trained employees.

    Attack forms include:

    • Creation of synthetic audio content for vishing attacks (Voice Phishing) that imitate the voices of supervisors or colleagues
    • Generation of deceptively real video content for trusted communication
    • Highly personalized phishing messages based on data collected from social media
    • Real-time manipulation of video and audio streams during video conferences

    Countermeasures

    • Implementation of multi-factor authentication with additional verification steps
    • Use of deepfake detection technologies for incoming communication
    • Employee training on AI-based social engineering techniques
    • Establishment of strict verification protocols for sensitive requests
    • Development and use of digital signatures for authenticated communication

    Relevance for Cybersecurity

    Deepfake-based attacks represent a dramatic evolution of traditional social engineering methods. While conventional phishing attacks were often recognizable through linguistic or contextual errors, AI-generated content enables extremely convincing deceptions. This fundamentally undermines the previously effective human detection of social engineering attempts. The consequences can be severe: from identity theft to data loss to financial damage through fake payment instructions. Particularly concerning is the increasing accessibility of these technologies to less specialized attackers through user-friendly AI tools, which could dramatically increase the frequency and spread of such attacks.

    6. Autonomous AI Attackers

    Scenario Description

    This scenario describes the emergence of partially or fully autonomous AI systems that can conduct cyber attacks without continuous human control. Unlike conventional automated attacks, these AI systems can independently plan, adapt, and respond to countermeasures.

    Characteristics of autonomous AI attackers:

    • Independent exploration and mapping of networks and systems
    • Dynamic adaptation of attack strategy based on encountered security measures
    • Automatic exploitation of discovered vulnerabilities
    • Continuous learning from successful and failed attack attempts
    • Coordinated actions across different systems and networks

    Countermeasures

    • Development of AI-based defense systems with comparable adaptability
    • Implementation of honeypots and deception technologies to mislead autonomous attackers
    • Regular „red team“ exercises with AI-assisted attack tools
    • Network segmentation and zero-trust architectures to limit freedom of movement
    • Real-time monitoring focused on unusual behavior patterns and coordinated activities

    Relevance for Cybersecurity

    Autonomous AI attackers represent a fundamental shift in the power balance of cybersecurity. Traditionally, defense was based on the assumption that human defenders would face human attackers – with similar cognitive limitations, working hours, and resources. However, autonomous AI attackers operate continuously, can analyze numerous targets in parallel, and remain unaffected by factors like fatigue or emotional decisions. This leads to an asymmetric threat situation, as even well-equipped security teams may struggle to keep pace with the speed and scope of such attacks. The potential proliferation of such technologies could lead to a „democratization“ of advanced cyber capabilities, enabling even less experienced actors to conduct complex attacks.

    7. Model Theft & Model Espionage

    Scenario Description

    This scenario encompasses attacks aimed at stealing, extracting, or reconstructing proprietary AI models. As AI models increasingly represent valuable intellectual property assets and significant investments, they themselves become targets of attacks.

    Methods for model theft and espionage:

    • Model Extraction Attacks: Systematic querying of an AI service to reconstruct a similar model
    • Insider theft of model parameters or training data
    • Reverse engineering of AI components in security products
    • Supply chain attacks aimed at gaining access to models during development
    • Inference attacks to extract model behavior or training methodology

    Countermeasures

    • Implementation of query limiting and rate control for AI services
    • Use of watermarks in AI models for traceability
    • Encryption and secure storage of model parameters and training weights
    • Access control and monitoring for model development and deployment
    • Contractual protection and careful licensing of AI technologies

    Relevance for Cybersecurity

    Model theft and espionage represent a growing threat as AI models increasingly become core to business models and security systems. Compromising proprietary AI models can have several serious consequences:

    1. Economic damage through loss of competitive advantages and R&D investments
    2. Increased security risk when attackers gain detailed knowledge about detection models
    3. Potential for targeted attacks based on acquired knowledge about model structure and weaknesses
    4. Risk of model manipulation by attackers if they gain access to a model

    With the rising economic value of AI technologies, companies must view them not only as tools but also as assets worthy of protection and implement appropriate security measures.

    8. Supply Chain Poisoning Through AI

    Scenario Description

    This scenario describes attacks on the development and supply chain of AI components and systems. Similar to traditional supply chain attacks, these aim to introduce vulnerabilities or backdoors during development or distribution.

    Attack vectors include:

    • Compromising public model repositories and pre-trained models
    • Infiltrating malicious components into AI development libraries
    • Manipulating training data through their supply chain (Data Supply Chain)
    • Introducing hidden functions into commercial AI products
    • Compromising data processing pipelines for continuous training

    Countermeasures

    • Thorough examination and validation of external AI components before integration
    • Implementation of Software Bill of Materials (SBOM) for AI systems
    • Building trusted supply chains for training data and models
    • Regular security audits and penetration testing for AI development environments
    • Use of cryptographic signatures and integrity checks for AI components

    Relevance for Cybersecurity

    Supply chain attacks through AI represent a particularly serious threat as they target AI security systems at their source. Modern AI development is heavily dependent on external components, public datasets, and pre-trained models, which provides numerous attack surfaces. Particularly problematic is that such compromises are very difficult to discover and are often only recognized after extended periods when they are already integrated into production systems. As AI systems increasingly take over critical security functions, a compromised AI supply chain can have far-reaching consequences for the cybersecurity of entire organizations. Companies must therefore extend their security measures to the entire AI supply chain and not focus only on the deployment of finished systems.

    9. Manipulation of Decision AI

    Scenario Description

    This scenario deals with the targeted manipulation of AI systems used for business-critical or security-relevant decisions. Unlike classic attacks on IT infrastructure, this involves subtly influencing AI decision-making without directly compromising the systems.

    Manipulation techniques include:

    • Subtle influence of input data to provoke biased decisions
    • Exploitation of known bias in models for predictive security analyses
    • Targeted manipulation of external data sources used for continuous learning
    • „Perception Hacking“ – manipulation of the physical world to deceive sensors and their AI-based interpretation
    • Subtle Manipulation Attacks (SMA) – minimal changes to data that are invisible to humans but alter AI decisions

    Countermeasures

    • Implementation of robust procedures for detecting input manipulations
    • Regular review for bias and unexpected decision patterns
    • Diversification of data sources and decision models
    • Development of more explainable AI models (Explainable AI) for better traceability
    • Human oversight of critical AI decisions with defined escalation paths

    Relevance for Cybersecurity

    Manipulation of decision AI represents a new generation of cyber attacks that don’t primarily aim at data theft or system destruction, but at subtle influence of decision processes. This threat is particularly relevant as companies and security organizations increasingly use AI systems for critical decisions – from threat detection to allocation of security resources. Successful manipulation can lead to systematic wrong decisions, such as misclassification of threats or inefficient allocation of security measures. Since such manipulations often occur within the normal operating parameters of AI, they can remain undetected for long periods and cause lasting damage. The cybersecurity industry must therefore develop methods to protect not only the integrity of systems but also the integrity of AI-based decision processes.

    10. Shadow AI

    Scenario Description

    Shadow AI describes the uncontrolled and unauthorized use of AI technologies within an organization, similar to the concept of „Shadow IT.“ Employees or departments implement AI solutions outside official IT governance structures, often with the goal of achieving productivity gains or introducing innovative solutions more quickly.

    Manifestations of Shadow AI:

    • Use of public AI services for business-relevant tasks without security review
    • Development and deployment of unofficial AI models at department level
    • Uploading sensitive company data to external AI platforms for analysis
    • Integration of unreviewed AI components into existing applications
    • Use of personal AI assistants for business tasks

    Countermeasures

    • Development of enterprise-wide AI governance strategy with clear guidelines
    • Provision of reviewed and secure internal AI services as alternatives to external offerings
    • Implementation of monitoring systems to detect unauthorized AI usage
    • Employee training on risks of unsanctioned AI usage
    • Establishment of efficient review and approval processes for new AI applications

    Relevance for Cybersecurity

    Shadow AI represents a significant internal threat to cybersecurity that is often overlooked. Uncontrolled use of AI technologies can lead to several security risks:

    1. Data protection violations through transmission of sensitive data to external services
    2. Increased attack surface through unreviewed and unmonitored AI services
    3. Circumvention of established security controls and policies
    4. Potential introduction of manipulated or insecure AI components
    5. Lack of transparency and control possibilities for security teams

    With the increasing availability of user-friendly AI tools and services, Shadow AI is becoming a growing problem for organizations. The cybersecurity industry must develop an approach that promotes the innovative power of AI technologies while ensuring appropriate security controls.

  • Next Generation Security Attacks

    What we see right now

    Hacking

    Weaknesses in systems are used take over system, intrude the infrastrcture. This is done mostly without human interaction.
    Prevention is done technically by removeing vulnerabilities.
    Detection is done by vulnerability scanning and pentesting

    Phishing

    Weakness in human behavior is used to intrude systems.
    Success needs the actice contribution of humans.
    Prevention is done by increasing the awareness and enabling a hollistic and fast detection and response and strengthening the authentication and authorization procedure.

    Orchestrated Multi Modal Attack

    A combination of various attacks simultaniously, orchestrated by a team of skilled people following a strategy.
    This form of attack is very rare and limitted to very exposed targets, often driven by state actors or other well-organised groups.
    The effort is enormous and expensive and therefore only used for attacks with high value. (not only money).

    What will come

    Already visible

    Many attacks are performed automatically or semi-automated, just a little interaction on attackers side is needed.
    They just collect and sort the victims, use AI as tool to cathegorize the victims and set the ransom or other means of monetarising them.

    Near Future

    AI orchestrated multi-modal attacks will be seen soon. AI will use a set of attacks to get control over infrstructure and user accounts, will create distortion in the detection- and defense-systems on the victims side, will play hide-and-seek with the defense team and adopt the attacks to the reactions.
    In real time
    24/7
    As long as it takes
    Be prepared