Autor: Christoph Gruber

  • Chat-Kontrolle – Neu gedacht

    Chat-Kontrolle – Neu gedacht

    Lokales Löschen statt zentraler Meldung: Eine alternative Implementierung der EU-Chatkontrolle?

    Ein technischer Ansatz zur CSAM-Bekämpfung würde bekannte Missbrauchsinhalte clientseitig erkennen und sofort löschen – ohne zentrale Meldung an Behörden. Die rechtliche und technische Analyse zeigt: Auch dieser Ansatz steht vor erheblichen Herausforderungen, könnte aber grundrechtskonformer sein als bisherige Vorschläge.

    Die Europäische Union ringt seit drei Jahren um eine Verordnung zur Bekämpfung von Kindesmissbrauchsmaterial (Child Sexual Abuse Regulation, CSAR). Nach sieben gescheiterten Ratspräsidentschaften und beispielloser Opposition von Kryptographen, Datenschützern und Technologieunternehmen steht am 14. Oktober 2025 die nächste kritische Abstimmung an. Der Kern des Konflikts: Wie lässt sich Kindesmissbrauch wirksam bekämpfen, ohne eine Massenüberwachung von 450 Millionen EU-Bürgern zu etablieren und Ende-zu-Ende-Verschlüsselung zu untergraben?

    Ein alternativer Ansatz rückt in den Fokus: Clientseitiges Scanning mit lokaler Löschung, aber ohne zentrale Meldung. Bekannte CSAM-Hashes würden auf Nutzergeräten oder in Messenger-Apps abgeglichen, Treffer sofort gelöscht – ohne dass Behörden, Anbieter oder Meldestellen involviert werden. Diese Variante unterscheidet sich fundamental von den bisherigen Chat-Control-Vorschlägen. Doch ist sie technisch machbar, rechtlich zulässig und praktisch wirksam?

    Die aktuelle Sackgasse: Warum Chat Control 2.0 scheitert

    Der EU-Kommissionsvorschlag vom Mai 2022 sieht verpflichtende Detection Orders für alle Kommunikationsdienste vor – einschließlich verschlüsselter Messenger wie WhatsApp und Signal. Kompetente Behörden könnten Anbieter zwingen, drei Kategorien von Inhalten zu scannen: bekanntes CSAM (Hash-Matching), neues CSAM (KI-Klassifikatoren) und Grooming (Textanalyse). Gefundene Inhalte müssten an das neu zu gründende EU Centre on Child Sexual Abuse gemeldet werden, das sie an Europol und nationale Strafverfolgungsbehörden weiterleitet.

    Die Kritik ist vernichtend. European Digital Rights (EDRi) bezeichnet Chat Control als „das meistkritisierte EU-Gesetz aller Zeiten“. Im September 2025 unterzeichneten 587 Sicherheitsforscher und Kryptographen aus 34 Ländern einen offenen Brief, der vor „inakzeptabel hohen Falsch-Positiv- und Falsch-Negativ-Raten“ warnt. Signal drohte mit dem Rückzug aus dem EU-Markt. Das eigene Legal Service des Rates stufte Teile des Vorschlags als unverhältnismäßig und grundrechtswidrig ein.

    Drei zentrale Kritikpunkte dominieren: Massenüberwachung ohne VerdachtsmomentUntergrabung von Ende-zu-Ende-Verschlüsselung durch clientseitiges Scanning, und hohe Falsch-Positiv-Raten (Deutschland: 99.375 fälschlich gemeldete Chats/Fotos Unschuldiger 2024, +9% Anstieg). Die dänische Ratspräsidentschaft versucht derzeit einen Kompromiss, der aber im Wesentlichen frühere gescheiterte Ansätze recycelt – inklusive einer umstrittenen Ausnahme für Regierungskonten.

    Der Europäische Datenschutzausschuss (EDPB) und der Europäische Datenschutzbeauftragte (EDPS) empfahlen in ihrer gemeinsamen Stellungnahme 04/2022 explizit, Grooming-Erkennung komplett aus dem Vorschlag zu entfernen und wiesen auf massive proportionalitätsprobleme hin.

    Der alternative Ansatz: Lokales Löschen ohne Meldung

    Die hier untersuchte Variante unterscheidet sich in einem entscheidenden Punkt von allen bisherigen Vorschlägen: Keine zentrale Meldung, keine Strafverfolgung, nur lokales Löschen.

    Technische Funktionsweise:

    1. NCMEC (National Center for Missing & Exploited Children) betreibt eine Datenbank mit über 5 Millionen verifizierten Hashes bekannter CSAM-Inhalte (Stand 2023, dreifach verifiziert mit 99,99% Genauigkeit laut Concentrix-Audit)
    2. Diese Hash-Datenbank wird auf Nutzergeräten integriert – entweder in Messenger-Apps oder direkt im mobilen Betriebssystem (iOS, Android)
    3. Vor dem Versenden von Bildern/Videos erstellt das Gerät einen Perceptual Hash des Inhalts
    4. Lokaler Abgleich mit der Datenbank auf dem Gerät
    5. Bei Treffer: Sofortige lokale Löschung der Datei
    6. Kritisch: Kein Report an Apple, Google, Meta, Europol oder nationale Behörden

    Dieser Ansatz vermeidet die drei größten Kritikpunkte an Chat Control: Keine Massenüberwachung durch zentrale Meldestellen, keine falschen Anschuldigungen Unschuldiger durch Behörden, und keine Aufbewahrung sensibler Daten über Nutzer.

    Technische Grundlagen: Perceptual Hashing erklärt

    Der Ansatz basiert auf Perceptual Hashing – fundamentally different from cryptographic hashing wie MD5 oder SHA-256.

    Kryptographische Hashes (MD5/SHA-256):

    • Avalanche-Effekt: Eine Änderung von nur einem Bit erzeugt komplett anderen Hash
    • Exakte Duplikaterkennung
    • Leicht zu umgehen: Größenänderung, Rotation, einzelnes Pixel ändern

    Perceptual Hashing (PhotoDNA, PDQ, NeuralHash):

    • Analysiert visuelle Merkmale: Farbverläufe, Frequenzspektren, Gradienten
    • PhotoDNA-Technik (Microsoft/Dartmouth 2009):
      • Konvertierung zu Graustufen, Normalisierung auf 26×26 Pixel
      • Unterteilung in 6×6-Pixel-Blöcke mit 2-Pixel-Überlappung
      • Berechnung von 4 Gradienten-Summationen pro Block
      • Discrete Cosine Transform (DCT) im Frequenzbereich
      • Erzeugt 144 Hash-Werte → feste digitale Signatur
    • Matching: Hamming-Distanz misst Bit-Unterschiede; Schwellenwert typisch 150-175

    Robustheit (Steinebach 2023, ACM):

    • JPEG-Kompression: ~99% Robustheit
    • Skalierung/Größenänderung: Hoch
    • Farbänderungen: Hoch
    • Cropping: Limitiert – verwundbar bei 2-5% Beschnitt
    • Rotation: Nicht robust

    Behauptete False-Positive-Rate: 1 zu 10-50 Milliarden (Microsoft/ITU-Angaben). Unabhängige Experten wie Dr. Neal Krawetz bezweifeln diese Zahlen als „Mischung aus Evaluation und mathematischen Annahmen“.

    Reale Genauigkeitsprobleme: Was die Zahlen verschweigen

    Die theoretisch extrem niedrigen False-Positive-Raten stehen im Widerspruch zu realen Daten:

    Irland (2020): Nur 20% der NCMEC-Meldungen wurden als tatsächliches CSAM bestätigt – 11,2% waren False Positives.

    Schweiz: 80% der maschinell generierten Meldungen stellten sich als unbegründet heraus.

    Deutschland (BKA 2024): 99.375 Chats/Fotos Unschuldiger fälschlich gemeldet (+9% Zunahme). ~50% aller NCMEC-Reports „nicht strafrechtlich relevant“.

    EU-Kommissarin Johansson (2023): 75% der NCMEC-Reports haben nicht die Qualität, mit der Polizei arbeiten kann.

    Diese Diskrepanz entsteht durch mehrere Faktoren: unterschiedliche nationale Rechtsdefinitionen von CSAM, Qualitätsprobleme bei der Hash-Verifikation, und die Kombination von Hash-Matching mit fehleranfälligeren KI-Klassifikatoren für „neues“ CSAM. Für reines Hash-Matching bekannter Inhalte liegt die Fehlerrate deutlich niedriger – aber selbst bei 1 zu 10 Milliarden produzieren Milliarden täglicher Bilder statistische Fehler.

    Google-Fälle (2022): Zwei Väter fotografierten ihre Söhne für telemedizinische Diagnosen. Googles PhotoDNA/KI-System flaggte die Bilder als CSAM. Polizeiliche Ermittlungen stellten fest: keine Straftat. Google deaktivierte die Accounts trotzdem dauerhaft – Totalverlust von Mails, Fotos, Dokumenten.

    Diese Fälle zeigen: Selbst mit menschlicher Überprüfung führen False Positives zu drastischen Konsequenzen. Bei lokalem Löschen ohne Meldung entfallen diese Konsequenzen – aber auch die Möglichkeit zur Korrektur.

    Client-Side Scanning: Apples gescheitertes Experiment

    Der prominenteste Versuch eines lokalen Scanning-Systems kam von Apple im August 2021. Das Unternehmen wollte NeuralHash zur CSAM-Erkennung auf iOS-Geräten implementieren – ausschließlich für iCloud Photos.

    Technisches Design (hochentwickelt):

    • NeuralHash: Neuronales Netz zur Erzeugung perzeptueller Hashes
    • Private Set Intersection (PSI): Kryptographisches Protokoll verhindert Leak von Non-Matches
    • Threshold Secret Sharing: Verschlüsselungskey nur rekonstruierbar nach mehreren Treffern
    • Device erstellt verschlüsselte „Safety Vouchers“ für jedes Bild
    • Erst nach Überschreiten einer Schwelle (Apple nannte keine Zahl) könnte Apple inner layer entschlüsseln
    • Dann: menschliche Überprüfung → NCMEC-Meldung falls bestätigt

    Der Backlash war massiv. Die akademische Antwort kam im Oktober 2021 mit dem Paper „Bugs in Our Pockets“ – unterzeichnet von Kryptographie-Koryphäen wie Whitfield Diffie, Ronald Rivest, Bruce Schneier, Ross Anderson, Steven Bellovin und anderen. Veröffentlicht im Journal of Cybersecurity (Oxford Academic).

    Kernkritikpunkte:

    1. Slippery Slope: Infrastruktur existiert, Regierungen werden Ausweitung fordern (Terrorismus, Urheberrecht, politische Inhalte)
    2. Datenbank-Manipulation: Angreifer könnten bösartige Hashes einschleusen, um gezielt Individuen zu überwachen
    3. Nicht auditierbar: Nutzer können nicht verifizieren, dass nur CSAM-Hashes in der Datenbank sind (Hashes nicht reversibel)
    4. Hash-Kollisionen: Innerhalb von 3 Wochen demonstrierten Forscher Kollisions-Angriffe auf NeuralHash
    5. Untergräbt Verschlüsselung: Scanning vor Verschlüsselung macht Ende-zu-Ende-Verschlüsselung bedeutungslos
    6. Neue Angriffsfläche: Jedes Gerät wird zur Schwachstelle

    90+ Organisationen (ACLU, EFF, CDT) forderten Rückzug. Signal-Präsidentin Meredith Whittaker: „Hintertüren werden immer ausgenutzt“. Niederländische Geheimdienste warnten, Client-Side Scanning sei eine Bedrohung für nationale Sicherheit.

    Apple zog den Vorschlag im Dezember 2022 zurück. Erik Neuenschwander (Director User Privacy): „Das Scannen jedes privat gespeicherten iCloud-Inhalts würde neue Bedrohungsvektoren für Datendiebe schaffen“ und „die Tür für Massenüberwachung öffnen“. Apple implementierte stattdessen Advanced Data Protection – Ende-zu-Ende-Verschlüsselung für iCloud Backups.

    Rechtliche Einordnung: DSGVO und EU-Grundrechtecharta

    Die entscheidende Frage: Wäre lokales Löschen ohne Meldung rechtlich zulässiger als die aktuellen Chat-Control-Vorschläge?

    DSGVO-Konformität: Komplexe Gemengelage

    Ja, es ist Datenverarbeitung: Auch lokales Scannen und Löschen fällt unter DSGVO Art. 4(2), da Inhalte analysiert werden. Erforderlich ist eine Rechtsgrundlage nach Art. 6(1) – wahrscheinlich durch Gesetz (6(1)(c) oder (e)).

    Transparenzpflichten (Art. 13-14): Nutzer müssen über Verarbeitung informiert werden. Paradox: Nutzer informieren → ermöglicht Umgehung. Nicht informieren → verstößt gegen DSGVO.

    Data Protection by Design (Art. 25): Lokales Löschen ist besser ausgerichtet als zentrale Speicherung, aber Scanning selbst verarbeitet dennoch Daten.

    EU-Grundrechtecharta: Der entscheidende Maßstab

    Art. 7 (Privatsphäre) und Art. 8 (Datenschutz): EDPB-EDPS-Stellungnahme 04/2022 macht klar – auch clientseitiges Scanning „ohne zentrale Meldung stellt einen Eingriff in Art. 7 und 8 dar“.

    „Essence of the Right“-Test (EuGH Schrems C-362/14): „Gesetzgebung, die Behörden auf generalisierter Basis Zugang zu Inhalten elektronischer Kommunikation erlaubt, muss als Kompromittierung des Wesensgehalts des Grundrechts auf Privatsphäre betrachtet werden.“

    Lokales Löschen ohne Meldung vermeidet diese Schwelle möglicherweise, da kein Behördenzugriff erfolgt. Aber: Das EDPB warnt, dass Grooming-Erkennung „den Kern von Art. 7 und 8 berühren könnte“.

    Chilling Effect (Digital Rights Ireland C-293/12): „Die Tatsache, dass Daten aufbewahrt werden, ohne dass Nutzer informiert sind, erzeugt das Gefühl konstanter Überwachung.“ Dies gilt auch für Scanning – selbst ohne Meldung.

    Verhältnismäßigkeitsprüfung nach Art. 52(1) Charta

    Jede Grundrechtseinschränkung muss fünf Kriterien erfüllen:

    1. Gesetzlich vorgesehen: Muss klar, zugänglich, vorhersehbar sein. Aus Tele2/Watson (C-203/15): „hinreichend klar, um Bürgern angemessene Hinweise zu geben, unter welchen Umständen Behörden zu solchen Maßnahmen befugt sind.“

    2. Wesensgehalt achten: Lokales Löschen berührt möglicherweise nicht den Wesensgehalt, da kein Behördenzugriff und keine Speicherung. Aber: Das Scanning selbst greift auf Inhalte zu.

    3. Ziel von allgemeinem Interesse: Kindesmissbrauch bekämpfen ist anerkanntes legitimes Ziel.

    4. Erforderlichkeit: Muss streng notwendig und die am wenigsten eingreifende Maßnahme sein. Aus Tele2/Watson: „Nur das Ziel der Bekämpfung schwerer Kriminalität kann schwerwiegende Eingriffe rechtfertigen.“ Problem für lokales Löschen: EDPB merkt an, dass es „leicht umgangen werden kann durch separate Verschlüsselungs-Apps“. Wenn nicht effektiv, scheitert es am Erforderlichkeitstest.

    5. Verhältnismäßigkeit (stricto sensu): Vorteile müssen Nachteile überwiegen.

    Aus Digital Rights Ireland (para 47): „Der Spielraum des EU-Gesetzgebers kann sich als begrenzt erweisen, abhängig von… der Art des durch die Charta garantierten Rechts.“

    EuGH-Rechtsprechung: Klare rote Linien

    Kernprinzip aus Tele2 und La Quadrature du Net (C-511/18): „Allgemeine und unterschiedslose Speicherungverletzt die Charta.“ „Selbst das Ziel der Bekämpfung schwerer Kriminalität kann… nicht rechtfertigen, dass Gesetzgebung, die allgemeine und unterschiedslose Speicherung vorsieht, als notwendig betrachtet wird.“

    Dieses Prinzip gilt auch für Scanning. Der EuGH unterscheidet wiederholt nicht zwischen „Speicherung“ und „Scanning“ als unterschiedliche Eingriffskategorien – es geht um „allgemeinen und unterschiedslosen Zugriff“ auf Kommunikationsinhalte.

    Ausnahmen (La Quadrature du Net):

    • Gezielte Speicherung bei schwerer Kriminalität
    • Echtzeit-Erfassung bei Verdächtigen schwerer Kriminalität
    • Allgemeine Speicherung von IP-Adressen (weniger eingreifend)

    Impliziert: Maßnahmen, die deutlich weniger eingreifend sind als allgemeine Datenspeicherung, könnten akzeptabel sein. Lokales Löschen könnte hier argumentieren.

    Neueste Entwicklung (La Quadrature du Net II C-470/21, April 2024): Gericht lockerte Standards leicht für IP-Adressen-Speicherung. Zeigt: EuGH bereit, Abstufungen der Eingriffsintensität zu machen.

    Lokales Löschen vs. Meldung: Der entscheidende Unterschied

    LOKALES LÖSCHEN – Vorteile:

    1. Kein Behördenzugriff: Vermeidet EuGH-Bedenken zu „Zugang auf generalisierter Basis“
    2. Keine Datenspeicherung: Kein Retention-Problem wie in Digital Rights Ireland
    3. Keine False-Positive-Konsequenzen: Unschuldige nicht bei Polizei gemeldet
    4. Geringeres Missbrauchsrisiko: Keine zentrale Datenbank für andere Zwecke nutzbar
    5. Weniger Chilling Effect: Keine Strafverfolgungsangst

    LOKALES LÖSCHEN – verbleibende Probleme:

    1. Immer noch „allgemein und unterschiedslos“: Betrifft alle Nutzer ohne individuellen Verdacht
    2. Inhaltsanalyse findet statt: Kommunikationsinhalte werden zugegriffen, analysiert
    3. Effektivitätsfragen: Wenn leicht umgehbar → scheitert an Erforderlichkeit
    4. Untergräbt Verschlüsselung: Erfordert clientseitiges Scanning vor Verschlüsselung
    5. Schwierige Aufsicht: Keine Reports → schwer zu kontrollieren, ob nur CSAM

    MELDUNG AN BEHÖRDEN – zusätzliche Probleme:

    1. Behördenzugriff auf Inhalte: Schrems-Bedenken zu „generalisiertem Zugang“
    2. Datenspeicherung: Reports bei Behörden gespeichert → Digital Rights Ireland
    3. False-Positive-Konsequenzen: Unschuldige polizeilich ermittelt
    4. Strengere Prüfung: Tele2: „Nur schwere Kriminalität rechtfertigt solche Maßnahmen“
    5. Zusätzliche Verfahrensgarantien: EuGH verlangt vorherige richterliche/unabhängige Prüfung für Behördenzugriff

    EDPB-EDPS Stellungnahme 04/2022: Die maßgebliche Einschätzung

    Zu bekanntem CSAM (Hash-Matching): „Derzeit scheinen nur Technologien zur Erkennung bekannten CSAM – d.h. Matching-Technologien mit Hash-Datenbanken – diese Standards generell erfüllen zu können.“ False-Positive-Rate von „nicht mehr als 1 zu 50 Milliarden (0,000000002%).“ Das ist die am ehesten vertretbare Art des Scannings.

    Zu neuem CSAM (KI-Klassifikatoren): „Ernsthafte Zweifel, inwieweit die Verfahrensgarantien… ausreichend sind.“ Technologien „anfällig für Fehler“ mit „relativ hohen Fehlerraten.“

    Zu Grooming (Text/Audio-Scanning): Empfehlung: „Sollte aus dem Vorschlag entfernt werden.“ „De facto allgemeine und unterschiedslose automatisierte Analyse textbasierter Kommunikation… respektiert nicht die Anforderungen von Notwendigkeit und Verhältnismäßigkeit.“ „Könnte sogar den Kern des Grundrechts auf Privatsphäre in Art. 7 berühren.“ „Chilling Effect auf Meinungsfreiheit besonders signifikant.“ Genauigkeitsrate von nur 88% als unzureichend eingestuft.

    Zu Verschlüsselung: „Nichts in der vorgeschlagenen Verordnung sollte als Verbot oder Schwächung von Verschlüsselung interpretiert werden.“ „Jede der Techniken zur Umgehung von E2EE… würde Sicherheitslücken einführen.“

    Council Legal Service: Vernichtendes Urteil

    Laut Medienberichten über die geleakte Stellungnahme des Rechtsdienstes des Rates (Mai 2023):

    • Teile zu clientseitigem Scanning sind „unverhältnismäßig und grundrechtswidrig“
    • Würde wahrscheinlich „allgemeines und unterschiedsloses“ Screening darstellen, entgegen EuGH-Rechtsprechung
    • Verpflichtendes Screening würde „einheitlich und ohne Unterschied für alle“ gelten
    • „Es ist hochwahrscheinlich, dass eine gerichtliche Überprüfung feststellen wird, dass die Screening-Pflichten ‚allgemein und unterschiedslos‘ sind“

    Technische Machbarkeit und Sicherheitsprobleme

    Kann ein OS-Level-Scanner umgangen werden?

    Ja – mühelos. Ana-Maria Cretu (EPFL Center for Digital Trust): „Alle Beweise deuten darauf hin, dass clientseitiges Scanning nicht effektiv wäre zur Erkennung von CSAM bei Vorhandensein von Gegnern.“

    Umgehungsmethoden:

    1. Einfache Bildmanipulation: Leichte Filter, Beschnitt >5%, Rotation, imperceptible Noise
    2. Alternative Kanäle: Apps ohne CSS, Custom-Apps, P2P, Darknet-Foren
    3. Pre-Encryption: Bilder separat verschlüsseln, passwortgeschützte Archive
    4. Modifizierte Clients: Jailbroken/gerootete Geräte, inoffizielle App-Versionen, Open-Source-Alternativen
    5. Steganographie: Inhalte in anderen Dateien verbergen

    Konsequenz: CSS stoppt nur unsophistizierte Akteure, während alle legitimen Nutzer überwacht werden. Tatsächliche Kriminelle – die selbstgehostete Darknet-Foren, verschlüsselte Archive, und Tor nutzen – bleiben unerreichbar.

    Kann CSS für andere Überwachung genutzt werden?

    Ja – das ist die größte Sicherheitsbesorgnis.

    Datenbank-Tainting (Jaap-Henk Hoepman 2023): Demonstrierte Methode, harmlos aussehende Bilder zu erstellen, die CSAM-Fingerprints matchen. Bösartige Entität könnte synthetische CSAM-Bilder bei Abuse Center einreichen. Reales Bild A (kein CSAM) wird so gestaltet, dass es Fingerprint von synthetischem Bild B′ matched. Nutzer mit Bild A wird geflaggt. Ermöglicht gezielte Angriffe auf Individuen.

    Government Pressure – Historische Präzedenzfälle:

    • USA PATRIOT Act Massen-Metadaten-Sammlung
    • NSA PRISM-Programm
    • China: WeChat scannt bereits auf politische Inhalte

    Wahrscheinliche Ausweitung:

    • Terrorismus-Inhalte (bereits in EU Chat Control vorgeschlagen)
    • Urheberrechtsverletzungen
    • „Desinformation“/„Misinformation“
    • Politische Dissidenten-Bilder (Tiananmen-Platz, Dalai Lama in China)
    • LGBTQ+-Inhalte (illegal in 70+ Ländern)
    • Religiöse Inhalte (variiert nach Land)

    Apples ursprüngliche Antwort: „Wir werden solche Forderungen ablehnen.“ Kritiker: Sobald Infrastruktur existiert, wird rechtlich/politischer Druck unwiderstehlich. Technische Fähigkeit = eventueller Einsatzdruck.

    Technische Realität: Von der Perspektive des Systems sind alle Hashes identisch. Keine Möglichkeit, CSAM-Hash von politischem Bild-Hash zu unterscheiden. Nur Policy verhindert Ausweitung, nicht Technologie.

    Auswirkungen auf verschlüsselte Messenger

    Fundamentales Problem: Client-Side Scanning ist inkompatibel mit dem Vertrauensmodell von Ende-zu-Ende-Verschlüsselung.

    Traditional E2EE-Versprechen:

    1. Nur Sender und Empfänger können Nachrichteninhalte lesen
    2. Kein Dritter kann auf Inhalte zugreifen, auch nicht der Dienstanbieter
    3. Inhalt geschützt in Transit und auf Servern
    4. Vertrauensmodell: Nutzer vertraut seinem Gerät und dem Gerät des Korrespondenten

    CSS untergräbt diese Versprechen:

    • Inhalt wird vor Verschlüsselung analysiert
    • Gerät wird zum Gegner des Nutzers
    • Vertrauensgrenze kollabiert
    • Dritte (Dienstanbieter, Regierung) erhalten Zugang zu Inhalt

    Electronic Frontier Foundation (2019): „Obwohl es technisch einige Eigenschaften von Ende-zu-Ende-Verschlüsselung aufrechterhält, würde clientseitiges Scanning die Privatsphären- und Sicherheitsgarantien der Verschlüsselung aushöhlen.“

    Internet Society: „CSS macht den Zweck von Verschlüsselung zunichte, schafft neue Sicherheitsrisiken, und gefährdet die Privatsphäre der Europäer.“

    Signal-Reaktion: Meredith Whittaker drohte mit EU-Marktaustritt. „Verschlüsselung untergraben durch Hintertür-Einführung… ist bewusst eine Schwachstelle einführen, und sie werden immer ausgenutzt.“

    Performance und Update-Zyklen

    Computational Burden:

    • Hash-Generierung für jedes Bild: CPU-Zyklen
    • Datenbankabgleich: Memory-Nutzung
    • Batterieentladung
    • Nutzererfahrungs-Verschlechterung

    Datenbank-Distribution:

    • Größe: 5+ Millionen Hashes – substantieller Speicherbedarf
    • Update-Frequenz: Neue CSAM regelmäßig entdeckt
    • Bandbreite: Milliarden Geräte updaten
    • Sicherheit: Datenbank vor Extraktion/Manipulation schützen

    Kompatibilität:

    • Funktionieren über Gerätegenerationen
    • Verschiedene Prozessor-Fähigkeiten
    • Verschiedene Bildformate

    Vergleich mit bestehenden Systemen

    Status Quo: Server-seitiges Scanning

    Facebook/Meta:

    • Implementierte PhotoDNA 2011
    • Nutzt PhotoDNA und proprietäre PDQ/TMK+PDQF Hashes
    • KI-Klassifikatoren für unbekanntes CSAM
    • Q1 2025: 1,7 Millionen CyberTip-Reports (91-94% aller US-Reports)
    • 97% proaktiv erkannt vor Nutzer-Reports
    • Scanning: Server-seitig nach Upload, vor E2EE (wo angewendet)

    Google:

    • PhotoDNA und CSAI Match API
    • Hash-Matching + Machine Learning
    • Proaktive Erkennungsrate: 99,5% (Bing), 99,9% (andere Dienste)
    • Scanning: Server-seitig

    Microsoft:

    • Bietet PhotoDNA Cloud Service kostenlos an (Azure)
    • Bing, OneDrive, Outlook, Skype, Xbox
    • Proaktive Erkennung >99%
    • Scanning: Server-seitig

    WhatsApp – die kritische Differenz:

    • Ende-zu-Ende-Verschlüsselung: Nur Sender und Empfänger können Nachrichten lesen
    • WhatsApp/Meta hat keine Entschlüsselungskeys
    • Kann scannen: Profilfotos, Gruppenfotos, gemeldete Inhalte (unverschlüsselt)
    • Kann NICHT scannen: Nachrichteninhalte, verschlüsselte Dateien in Chats
    • Sperrt 300.000+ Accounts/Monat für CSAM (basierend auf Metadaten, Profilanalyse, Nutzer-Reports)
    • Trägt deutlich weniger Reports bei als Facebook/Instagram

    Effektivität aktueller Systeme:

    • Hash-Matching für bekanntes CSAM: 95-99%+ Erkennungsrate
    • KI-Klassifikatoren für neues CSAM: Höhere Fehlerraten, noch in Entwicklung
    • Lücke: Kann verschlüsselte Inhalte ohne Nutzer-Reports nicht erkennen

    Freiwillig vs. Verpflichtend

    USA:

    • Verpflichtend: Meldung bei „actual knowledge“ (18 U.S.C. § 2258A)
    • Freiwillig: Scanning/Monitoring
    • Explizit: Anbieter sind NICHT verpflichtet zu „affirmativ suchen, screenen, oder scannen“
    • REPORT Act 2024: Erweiterte Meldepflichten, aber immer noch kein Scanning-Zwang

    EU:

    • Aktuell: Temporäre Derogation erlaubt freiwilliges Scanning bis April 2026
    • Genutzt von: Gmail, Facebook Messenger, Instagram, Skype, Snapchat, iCloud Email, Xbox
    • NICHT genutzt von: WhatsApp, Signal (E2EE-Dienste)
    • Vorgeschlagen: Chat Control 2.0 würde Scanning verpflichtend machen
    • Status: Blockiert im Rat, höchst umstritten

    Lokales Löschen im Vergleich

    Unterschiede zu Server-seitigem Scanning:

    • ❌ Weniger effektiv (leicht umgehbar)
    • ✓ Funktioniert mit E2EE (technisch)
    • ❌ Mehr Sicherheitsrisiken (Gerät = Angriffsfläche)
    • ✓ Keine zentrale Datenspeicherung
    • ❌ Schwieriger zu audieren
    • ✓ Kein Behördenzugriff

    Unterschiede zu Chat Control 2.0:

    • ✓ Keine Meldung an Behörden
    • ✓ Keine False-Positive-Strafverfolgung
    • ❌ Immer noch allgemeine und unterschiedslose Überwachung
    • ✓ Weniger Chilling Effect
    • ❌ Immer noch Scanning aller Nutzer

    Bewertung: Ist lokales Löschen grundrechtskonformer?

    Juristische Einschätzung

    Positiv:

    1. Vermeidet die schärfsten EuGH-Bedenken zu Behördenzugang
    2. Keine Datenspeicherung → besser als Data Retention Directive
    3. Niedrigere False-Positive-Konsequenzen
    4. Bessere Datensparsamkeit
    5. Wenn begrenzt auf bekanntes CSAM (Hash-Matching, nicht KI) und nur visuelle Inhalte → möglicherweise am ehesten vertretbar

    Negativ:

    1. Immer noch „allgemein und unterschiedslos“ → EuGH hat dies wiederholt abgelehnt
    2. Scanning aller Kommunikationsinhalte ohne Verdacht
    3. Effektivität fraglich (EDPB: „leicht umgehbar“)
    4. Untergräbt Verschlüsselung fundamental
    5. Mangel an Aufsicht
    6. Grooming-Erkennung oder neues CSAM (KI) → wahrscheinlich unverhältnismäßig auch ohne Meldung

    Das wahrscheinlichste Urteil

    Eng begrenzte Version könnte vertretbar sein:

    • NUR bekanntes CSAM (Hash-Matching mit extrem niedriger False-Positive-Rate)
    • NUR visuelle Inhalte (Bilder/Videos) – kein Text/Audio
    • Klarer gesetzlicher Rahmen mit starken Garantien
    • Schutz der Verschlüsselung (keine Strafen für E2EE-Beibehaltung)
    • Unabhängige Aufsicht (jährliche Audits)
    • Transparenzberichte (aggregierte Statistiken)
    • Sunset-Klauseln (Maßnahme läuft aus, falls nicht erneuert)
    • Regular Review (Evaluation von Effektivität und Verhältnismäßigkeit)

    Breitere Ansätze wahrscheinlich unverhältnismäßig:

    • Neues CSAM-Erkennung (hohe Fehlerraten)
    • Grooming-Erkennung (EDPB empfiehlt Entfernung)
    • Text/Audio-Scanning (besonders eingreifend)
    • Jeder Ansatz ohne Targeting

    Council Legal Service und EDPB-EDPS Einschätzung deuten darauf hin: Selbst die am meisten begrenzte Form von Client-Side Scanning steht vor ernsthaften rechtlichen Hindernissen unter aktuellem EU-Recht und EuGH-Rechtsprechung.

    Fundamentales Spannungsverhältnis

    Die zentrale Erkenntnis: Lokales Löschen ohne Meldung ist grundrechtskonformer als Ansätze mit zentraler Meldung, aber die grundsätzliche Spannung zwischen „allgemeiner und unterschiedsloser Überwachung“ und EU-Grundrechtsgesetz bleibt bestehen.

    Aus Tele2/Watson: „Die Effektivität des Kampfes gegen schwere Kriminalität kann an sich nicht… allgemeine und unterschiedslose Speicherung rechtfertigen.“

    Diese Logik erstreckt sich auf Scanning. Der EuGH hat eine klare Präferenz für gezielte, verdachtsbasierte Maßnahmen gegenüber generellen, präventiven Massenkontrollen.

    Alternative Ansätze: Was Kritiker vorschlagen

    Zivilgesellschaft, technische Experten und einige Mitgliedstaaten haben grundrechtswahrende Alternativen vorgeschlagen:

    1. Stärkung der Strafverfolgungskapazitäten:

    • Angemessene Ressourcen für Ermittlungseinheiten
    • Fokus auf verdeckte Operationen in Darknet-Foren (wo echte Täter operieren)
    • Internationale Kooperation über Europol verbessern
    • Rückstand bei Verarbeitung existierender Reports reduzieren

    2. Präventionsfokus:

    • Bessere Finanzierung von Präventionsprogrammen
    • Medienkompetenz-Bildung für Kinder
    • Training für Erzieher und Eltern zu Online-Sicherheit
    • Grundursachen von Missbrauch angehen (nicht nur Online-Symptome)

    3. Opferunterstützung:

    • Stabile Finanzierung für Opferunterstützungsorganisationen
    • Schnelle Entfernung von CSAM an der Quelle
    • Unterstützung für Opferrechte ohne Kompromittierung der Privatsphäre aller

    4. Gezielte Maßnahmen:

    • Honeypots: Strafverfolgungs-betriebene Köder-Sites/Profile
    • Gerichtlich angeordnete gezielte Überwachung: Richterlicher Beschluss, Verdacht gegen spezifische Individuen
    • Öffentliches Crawling: EU Centre proaktiv durchsucht öffentlich zugängliche Inhalte (nicht private Nachrichten)
    • Notice and Takedown: Anbieter verpflichten, klar illegalen Inhalt nach Identifizierung zu entfernen

    5. Safety by Design:

    • Starke Meldemechanismen verlangen
    • Altersgerechte Warnsysteme
    • Nutzerkontrollen zur Blockierung unerwünschter Kontakte
    • Bestätigungsprompts vor Teilen persönlicher Informationen
    • Moderation von Hochrisiko-öffentlichen Räumen

    Schlussfolgerung: Ein Dilemma ohne perfekte Lösung

    Der Ansatz „lokales Löschen ohne zentrale Meldung“ repräsentiert einen Versuch, zwischen Kinderschutz-Zielen und digitalen Grundrechten zu vermitteln. Die umfassende Analyse zeigt:

    Vorteile gegenüber Chat Control 2.0:

    • Keine Behörden-Massenüberwachung
    • Keine Strafverfolgung Unschuldiger durch False Positives
    • Keine zentrale Datenspeicherung
    • Geringeres Missbrauchsrisiko
    • Weniger Chilling Effect

    Verbleibende fundamentale Probleme:

    • Immer noch „allgemeine und unterschiedslose“ Überwachung aller Nutzer
    • Scanning von Kommunikationsinhalten ohne Verdachtsmoment
    • Untergräbt Ende-zu-Ende-Verschlüsselung
    • Leicht umgehbar → Effektivitätszweifel
    • Technisch komplexe Implementierung mit Sicherheitsrisiken
    • Slippery-Slope-Risiko (Function Creep zu anderen Inhalten)

    Rechtliche Einordnung: Eine eng begrenzte Implementierung (nur bekanntes CSAM, nur Bilder/Videos, Hash-Matching, starke Garantien) könnte als verhältnismäßiger eingestuft werden als Ansätze mit zentraler Meldung. Aber selbst diese Version würde wahrscheinlich rechtlich angefochten und müsste vom EuGH geprüft werden.

    Technische Realität: Client-Side Scanning schafft neue Sicherheitslücken, die von Kriminellen, feindlichen Staaten und Geheimdiensten ausgenutzt werden können. Die Infrastruktur, einmal etabliert, lässt sich technisch nicht auf CSAM beschränken. Apples Rückzug und die vernichtenden Einschätzungen von 587 Sicherheitsforschern unterstreichen: CSS ist keine privatsphärenwahrende Alternative zu Verschlüsselung brechen – es ist nur eine andere Methode, dasselbe Überwachungsergebnis zu erzielen.

    Politische Realität: Am 14. Oktober 2025 steht die nächste kritische Abstimmung im EU-Rat an. Deutschland ist der entscheidende Swing-Vote. Nach sieben gescheiterten Präsidentschaften und beispielloser Opposition bleibt fraglich, ob überhaupt eine Form von verpflichtendem Client-Side Scanning politisch durchsetzbar ist.

    Die fundamentale Spannung bleibt ungelöst: Wirksamer Kinderschutz vs. digitale Privatsphäre und Sicherheit für 450 Millionen EU-Bürger. Lokales Löschen ohne Meldung mag einige rechtliche und praktische Probleme mildern – aber das Kernproblem der „allgemeinen und unterschiedslosen“ Überwachung, das der EuGH wiederholt abgelehnt hat, besteht fort.

    Wie EDPB-EDPS, Council Legal Service und die „Bugs in Our Pockets“-Autoren übereinstimmend warnen:Selbst technisch raffinierte Client-Side-Scanning-Systeme stehen vor ernsthaften rechtlichen, technischen und gesellschaftlichen Hindernissen unter EU-Grundrechtsschutz. Die Suche nach einer Lösung, die wirksamen Kinderschutz mit Grundrechtswahrung vereinbart, geht weiter.

  • AI in Cybersecurity: Risks and Countermeasures

    AI in Cybersecurity: Risks and Countermeasures

    Table of Contents

    1. Overcoming Protective AI
    2. Confusing the Protection AI
    3. Model Poisoning
    4. When Protection Becomes the Attacker
    5. Deepfake Attacks & AI-Assisted Social Engineering
    6. Autonomous AI Attackers
    7. Model Theft & Model Espionage
    8. Supply Chain Poisoning Through AI
    9. Manipulation of Decision AI
    10. Shadow AI

    1. Overcoming Protective AI

    Scenario Description

    In this scenario, attackers focus on directly overcoming or bypassing AI-based security systems. Modern cybersecurity solutions increasingly rely on artificial intelligence for anomaly detection, malware identification, and attack recognition. However, attackers are increasingly developing techniques to circumvent these AI protection measures.

    Examples include:

    • Development of malware that adapts to known detection patterns and is thus classified as harmless by AI systems
    • Use of „Adversarial Machine Learning“ techniques that specifically generate inputs designed to mislead AI systems
    • Exploitation of „blind spots“ in trained models that cannot detect certain attack vectors

    Countermeasures

    • Continuous re-training of protection AI with current threat data
    • Implementation of multi-layered defense systems (Defense-in-Depth)
    • Adversarial training of protection models to increase resistance against deception attempts
    • Combination of rule-based and AI-based security systems
    • Development of meta-AI systems that monitor the behavior of primary protection AI

    Relevance for Cybersecurity

    The increasing dependence on AI-based security solutions creates a new battlefield in cyberspace. When attackers can overcome protective AI, potentially all underlying systems are at risk. Particularly critical is that successful attacks against AI systems are often difficult to detect, as they occur within the normal operating parameters of the AI. This leads to dangerous false security when companies blindly trust their AI security systems without understanding their vulnerabilities.

    2. Confusing the Protection AI

    Scenario Description

    This scenario involves techniques aimed at confusing or misleading AI-based security systems through deliberate injection of misleading data, without directly overcoming them. Unlike direct bypassing, this is about impairing the functionality and effectiveness of AI by degrading its recognition capabilities through interference signals or noise.

    Methods include:

    • Generation of targeted „noise“ in network traffic to overload anomaly detection systems
    • Provoking frequent false alarms to create an „alarm fatigue“ effect in security teams
    • Gradual injection of manipulated data that shifts the AI’s normal baseline understanding

    Countermeasures

    • Implementation of robust filters against data noise and unusual input patterns
    • Development of self-calibrating AI systems that detect baseline shifts
    • Use of independent validation systems that monitor main detection systems
    • Regular manual review of detection quality by security experts
    • Implementation of „canary tokens“ and other early warning systems

    Relevance for Cybersecurity

    Confusing protection AI represents a subtle but dangerous threat. Instead of conducting direct attacks, attackers can undermine trust in automated security systems through continuous manipulation of the AI environment. This is particularly problematic as modern Security Operations Centers (SOCs) operate under a constant stream of alerts and rely on reliable AI filtering. A confused AI can significantly deteriorate an organization’s security posture through both excessive false alarms and overlooking genuine threats.

    3. Model Poisoning

    Scenario Description

    Model poisoning describes attacks that target the training phase of AI security models. Manipulated data is introduced into training datasets to compromise the resulting model. Unlike attacks against already trained models, vulnerabilities are directly built into the basic structure of the protection model.

    Attack forms include:

    • Data Poisoning: Injection of manipulated training data
    • Backdoor attacks: Implementation of hidden triggers in the model that cause specific misreactions
    • Label Flipping: Targeted mislabeling of training data to shift classification boundaries

    Countermeasures

    • Strict validation and quality control of training data
    • Use of techniques for detecting anomalies in training data
    • Regular review of model behavior with trusted test data
    • Differential learning and other privacy-enhancing training methods
    • Distributed training with independent validation by multiple parties

    Relevance for Cybersecurity

    Model poisoning is particularly dangerous because it is difficult to detect and builds fundamental vulnerabilities into the security system. A poisoned model can appear normal for a long time and only fail under certain conditions – exactly when an attacker desires it. As more companies rely on pre-trained models or external datasets, the risk increases that such „poisoned“ components are integrated into their own security infrastructure. The long-term impacts can be devastating as trust in the entire AI-based security architecture is undermined.

    4. When Protection Becomes the Attacker

    Scenario Description

    This scenario describes situations where AI-based security systems themselves are compromised and turned against their operators or other systems. Instead of passive failure, the system becomes actively hostile and uses its privileged position and capabilities for attacks.

    Possible manifestations:

    • Takeover of control over AI security systems by attackers
    • Manipulation of autonomous security responses to conduct DoS attacks
    • Exploitation of privileged system access of security AI for lateral movement
    • Repurposing of detection and analysis capabilities for espionage purposes

    Countermeasures

    • Strict isolation and access controls for AI security systems
    • Implementation of „guardrails“ and limitation of autonomous action capabilities
    • Regular security audits of the AI systems themselves
    • Monitoring of security AI behavior by independent systems
    • Emergency shutdown mechanisms and recovery plans

    Relevance for Cybersecurity

    The reversal of protection measures into attack tools represents a particularly dangerous development. Security AI typically has comprehensive permissions, detailed infrastructure knowledge, and often the ability to initiate automated countermeasures. When such AI is compromised, it can misuse these legitimate capabilities for attacks. This challenges the fundamental paradigm of cybersecurity: when protection mechanisms themselves can become threats, a complex meta-security problem emerges. Companies must consider this new threat level and view security systems not only as protection measures but also as potential risk factors.

    5. Deepfake Attacks & AI-Assisted Social Engineering

    Scenario Description

    In this scenario, advanced AI technologies are used to conduct highly realistic and personalized social engineering attacks. Through the use of deepfakes, attackers can create deceptively real audio, video, and text content that can fool even trained employees.

    Attack forms include:

    • Creation of synthetic audio content for vishing attacks (Voice Phishing) that imitate the voices of supervisors or colleagues
    • Generation of deceptively real video content for trusted communication
    • Highly personalized phishing messages based on data collected from social media
    • Real-time manipulation of video and audio streams during video conferences

    Countermeasures

    • Implementation of multi-factor authentication with additional verification steps
    • Use of deepfake detection technologies for incoming communication
    • Employee training on AI-based social engineering techniques
    • Establishment of strict verification protocols for sensitive requests
    • Development and use of digital signatures for authenticated communication

    Relevance for Cybersecurity

    Deepfake-based attacks represent a dramatic evolution of traditional social engineering methods. While conventional phishing attacks were often recognizable through linguistic or contextual errors, AI-generated content enables extremely convincing deceptions. This fundamentally undermines the previously effective human detection of social engineering attempts. The consequences can be severe: from identity theft to data loss to financial damage through fake payment instructions. Particularly concerning is the increasing accessibility of these technologies to less specialized attackers through user-friendly AI tools, which could dramatically increase the frequency and spread of such attacks.

    6. Autonomous AI Attackers

    Scenario Description

    This scenario describes the emergence of partially or fully autonomous AI systems that can conduct cyber attacks without continuous human control. Unlike conventional automated attacks, these AI systems can independently plan, adapt, and respond to countermeasures.

    Characteristics of autonomous AI attackers:

    • Independent exploration and mapping of networks and systems
    • Dynamic adaptation of attack strategy based on encountered security measures
    • Automatic exploitation of discovered vulnerabilities
    • Continuous learning from successful and failed attack attempts
    • Coordinated actions across different systems and networks

    Countermeasures

    • Development of AI-based defense systems with comparable adaptability
    • Implementation of honeypots and deception technologies to mislead autonomous attackers
    • Regular „red team“ exercises with AI-assisted attack tools
    • Network segmentation and zero-trust architectures to limit freedom of movement
    • Real-time monitoring focused on unusual behavior patterns and coordinated activities

    Relevance for Cybersecurity

    Autonomous AI attackers represent a fundamental shift in the power balance of cybersecurity. Traditionally, defense was based on the assumption that human defenders would face human attackers – with similar cognitive limitations, working hours, and resources. However, autonomous AI attackers operate continuously, can analyze numerous targets in parallel, and remain unaffected by factors like fatigue or emotional decisions. This leads to an asymmetric threat situation, as even well-equipped security teams may struggle to keep pace with the speed and scope of such attacks. The potential proliferation of such technologies could lead to a „democratization“ of advanced cyber capabilities, enabling even less experienced actors to conduct complex attacks.

    7. Model Theft & Model Espionage

    Scenario Description

    This scenario encompasses attacks aimed at stealing, extracting, or reconstructing proprietary AI models. As AI models increasingly represent valuable intellectual property assets and significant investments, they themselves become targets of attacks.

    Methods for model theft and espionage:

    • Model Extraction Attacks: Systematic querying of an AI service to reconstruct a similar model
    • Insider theft of model parameters or training data
    • Reverse engineering of AI components in security products
    • Supply chain attacks aimed at gaining access to models during development
    • Inference attacks to extract model behavior or training methodology

    Countermeasures

    • Implementation of query limiting and rate control for AI services
    • Use of watermarks in AI models for traceability
    • Encryption and secure storage of model parameters and training weights
    • Access control and monitoring for model development and deployment
    • Contractual protection and careful licensing of AI technologies

    Relevance for Cybersecurity

    Model theft and espionage represent a growing threat as AI models increasingly become core to business models and security systems. Compromising proprietary AI models can have several serious consequences:

    1. Economic damage through loss of competitive advantages and R&D investments
    2. Increased security risk when attackers gain detailed knowledge about detection models
    3. Potential for targeted attacks based on acquired knowledge about model structure and weaknesses
    4. Risk of model manipulation by attackers if they gain access to a model

    With the rising economic value of AI technologies, companies must view them not only as tools but also as assets worthy of protection and implement appropriate security measures.

    8. Supply Chain Poisoning Through AI

    Scenario Description

    This scenario describes attacks on the development and supply chain of AI components and systems. Similar to traditional supply chain attacks, these aim to introduce vulnerabilities or backdoors during development or distribution.

    Attack vectors include:

    • Compromising public model repositories and pre-trained models
    • Infiltrating malicious components into AI development libraries
    • Manipulating training data through their supply chain (Data Supply Chain)
    • Introducing hidden functions into commercial AI products
    • Compromising data processing pipelines for continuous training

    Countermeasures

    • Thorough examination and validation of external AI components before integration
    • Implementation of Software Bill of Materials (SBOM) for AI systems
    • Building trusted supply chains for training data and models
    • Regular security audits and penetration testing for AI development environments
    • Use of cryptographic signatures and integrity checks for AI components

    Relevance for Cybersecurity

    Supply chain attacks through AI represent a particularly serious threat as they target AI security systems at their source. Modern AI development is heavily dependent on external components, public datasets, and pre-trained models, which provides numerous attack surfaces. Particularly problematic is that such compromises are very difficult to discover and are often only recognized after extended periods when they are already integrated into production systems. As AI systems increasingly take over critical security functions, a compromised AI supply chain can have far-reaching consequences for the cybersecurity of entire organizations. Companies must therefore extend their security measures to the entire AI supply chain and not focus only on the deployment of finished systems.

    9. Manipulation of Decision AI

    Scenario Description

    This scenario deals with the targeted manipulation of AI systems used for business-critical or security-relevant decisions. Unlike classic attacks on IT infrastructure, this involves subtly influencing AI decision-making without directly compromising the systems.

    Manipulation techniques include:

    • Subtle influence of input data to provoke biased decisions
    • Exploitation of known bias in models for predictive security analyses
    • Targeted manipulation of external data sources used for continuous learning
    • „Perception Hacking“ – manipulation of the physical world to deceive sensors and their AI-based interpretation
    • Subtle Manipulation Attacks (SMA) – minimal changes to data that are invisible to humans but alter AI decisions

    Countermeasures

    • Implementation of robust procedures for detecting input manipulations
    • Regular review for bias and unexpected decision patterns
    • Diversification of data sources and decision models
    • Development of more explainable AI models (Explainable AI) for better traceability
    • Human oversight of critical AI decisions with defined escalation paths

    Relevance for Cybersecurity

    Manipulation of decision AI represents a new generation of cyber attacks that don’t primarily aim at data theft or system destruction, but at subtle influence of decision processes. This threat is particularly relevant as companies and security organizations increasingly use AI systems for critical decisions – from threat detection to allocation of security resources. Successful manipulation can lead to systematic wrong decisions, such as misclassification of threats or inefficient allocation of security measures. Since such manipulations often occur within the normal operating parameters of AI, they can remain undetected for long periods and cause lasting damage. The cybersecurity industry must therefore develop methods to protect not only the integrity of systems but also the integrity of AI-based decision processes.

    10. Shadow AI

    Scenario Description

    Shadow AI describes the uncontrolled and unauthorized use of AI technologies within an organization, similar to the concept of „Shadow IT.“ Employees or departments implement AI solutions outside official IT governance structures, often with the goal of achieving productivity gains or introducing innovative solutions more quickly.

    Manifestations of Shadow AI:

    • Use of public AI services for business-relevant tasks without security review
    • Development and deployment of unofficial AI models at department level
    • Uploading sensitive company data to external AI platforms for analysis
    • Integration of unreviewed AI components into existing applications
    • Use of personal AI assistants for business tasks

    Countermeasures

    • Development of enterprise-wide AI governance strategy with clear guidelines
    • Provision of reviewed and secure internal AI services as alternatives to external offerings
    • Implementation of monitoring systems to detect unauthorized AI usage
    • Employee training on risks of unsanctioned AI usage
    • Establishment of efficient review and approval processes for new AI applications

    Relevance for Cybersecurity

    Shadow AI represents a significant internal threat to cybersecurity that is often overlooked. Uncontrolled use of AI technologies can lead to several security risks:

    1. Data protection violations through transmission of sensitive data to external services
    2. Increased attack surface through unreviewed and unmonitored AI services
    3. Circumvention of established security controls and policies
    4. Potential introduction of manipulated or insecure AI components
    5. Lack of transparency and control possibilities for security teams

    With the increasing availability of user-friendly AI tools and services, Shadow AI is becoming a growing problem for organizations. The cybersecurity industry must develop an approach that promotes the innovative power of AI technologies while ensuring appropriate security controls.

  • Next Generation Security Attacks

    What we see right now

    Hacking

    Weaknesses in systems are used take over system, intrude the infrastrcture. This is done mostly without human interaction.
    Prevention is done technically by removeing vulnerabilities.
    Detection is done by vulnerability scanning and pentesting

    Phishing

    Weakness in human behavior is used to intrude systems.
    Success needs the actice contribution of humans.
    Prevention is done by increasing the awareness and enabling a hollistic and fast detection and response and strengthening the authentication and authorization procedure.

    Orchestrated Multi Modal Attack

    A combination of various attacks simultaniously, orchestrated by a team of skilled people following a strategy.
    This form of attack is very rare and limitted to very exposed targets, often driven by state actors or other well-organised groups.
    The effort is enormous and expensive and therefore only used for attacks with high value. (not only money).

    What will come

    Already visible

    Many attacks are performed automatically or semi-automated, just a little interaction on attackers side is needed.
    They just collect and sort the victims, use AI as tool to cathegorize the victims and set the ransom or other means of monetarising them.

    Near Future

    AI orchestrated multi-modal attacks will be seen soon. AI will use a set of attacks to get control over infrstructure and user accounts, will create distortion in the detection- and defense-systems on the victims side, will play hide-and-seek with the defense team and adopt the attacks to the reactions.
    In real time
    24/7
    As long as it takes
    Be prepared