ISMC – Information Security Management Consulting

Kategorie: Experience

Reports out of real life

  • Halbwissen mal LLM

    Halbwissen mal LLM

    *Warum Substitution scheitert und Kollaboration funktioniert*

    Zwei Dinge fallen auf, wenn man Menschen beim Einsatz von Large Language Models über die Schulter schaut. Das eine ist die Geschwindigkeit, mit der gute Ergebnisse entstehen, wenn ein Profi mit einem LLM arbeitet. Das andere ist die Geschwindigkeit, mit der Unsinn produziert wird, wenn jemand das LLM als Ersatz für Expertise einsetzt, die er nicht hat. Der Unterschied ist nicht graduell, sondern kategorisch.

    Das Muster

    Der Mediziner fragt das LLM nach juristischer Bewertung eines Falls und dilettiert mit der Antwort herum. Der Vertriebsmitarbeiter lässt sich technische Details für ein Angebot ausarbeiten, das er anschließend verteidigen muss. Die Marketing-Abteilung produziert Code, ohne ihn lesen zu können. Der Manager erstellt Strategiepapiere zu Themen, deren Vokabular er bei der Gelegenheit zum ersten Mal hört. Das Muster ist immer dasselbe: Jemand verwendet das LLM, um eine Lücke zu füllen, die er selbst nicht erkennen kann, weil er die Domäne nicht kennt.

    Diese Ansätze scheitern. Nicht immer sofort, nicht immer sichtbar. Aber sie scheitern in dem Moment, in dem das Ergebnis auf einen Profi der Domäne trifft. Spätestens beim Anwalt, beim Auditor, beim Kunden, beim Gericht.

    Warum es scheitert

    Ein LLM ist kein Wissensspeicher mit Wahrheitsanspruch. Es ist eine Maschine, die plausibel klingenden Text produziert. Plausibel bedeutet: stimmig im Tonfall, passend in der Struktur, korrekt in der Grammatik, anschlussfähig an das, was vorher kam. Plausibel bedeutet nicht: richtig.

    Wer in einer Domäne arbeitet, kann diesen Unterschied erkennen. Er liest einen Vertragstext und sieht die fehlende Klausel. Er liest einen Penetrationstestbericht und erkennt, dass die Klassifizierung nicht zur Methodik passt. Er liest die Erläuterung einer Compliance-Anforderung und merkt, dass die Quelle daneben liegt. Wer in der Domäne nicht zu Hause ist, hat genau dieses Werkzeug nicht. Er sieht plausibel und liest richtig.

    Das Resultat ist eine systematische Verstärkung von Halbwissen. Das LLM macht aus einem unklaren Gedanken einen klar formulierten Text. Der Text wirkt fundierter, als der zugrunde liegende Gedanke es ist. Der Nutzer hält die Verbesserung der Form für eine Verbesserung des Inhalts. Genau hier entsteht der Schaden.

    Was funktioniert

    Was hingegen ausgezeichnet funktioniert, ist die Konstellation aus erfahrenem Profi und LLM, die gemeinsam ein Werk erstellen. Der Profi bringt das Urteilsvermögen, das LLM die Recherche, die Vorstrukturierung, das Texten. Die Aufgaben verteilen sich klar.

    Der Profi definiert die Fragestellung präzise. Er kennt die relevanten Quellen, die richtigen Begriffe, die übliche Argumentationsstruktur seiner Domäne. Er weiß, was im Ergebnis stehen muss und was darin nichts verloren hat. Das LLM übernimmt die Fleißarbeit: Es liest Material, schlägt Formulierungen vor, hält den roten Faden, variiert den Ton, fügt Querverweise zusammen. Der Profi prüft jeden Schritt. Er erkennt sofort, wenn das LLM eine Quelle erfindet, einen Fachbegriff falsch verwendet, eine Schlussfolgerung zieht, die nicht trägt. Diese Erkennung ist der Engpass im gesamten Prozess. Sie liegt beim Profi und nirgendwo sonst.

    Das Ergebnis ist messbar besser als das, was der Profi alleine in der gleichen Zeit liefern würde. Und es ist um Größenordnungen besser als das, was ein Laie mit demselben LLM produziert. Nicht weil das Werkzeug ein anderes wäre, sondern weil der Engpass ein anderer ist.

    Konsequenz

    Wer den Einsatz von LLMs in seiner Organisation plant, sollte die Frage nicht stellen als „Wo können wir Menschen ersetzen?“, sondern als „Wo haben wir Profis, die durch ein LLM schneller, gründlicher und konsistenter arbeiten können?“ Die zweite Frage führt zu Produktivitätsgewinnen. Die erste führt zu peinlichen Dokumenten, fehlerhaften Analysen und Haftungsrisiken.

    Die Trennlinie verläuft nicht zwischen Branchen, Tätigkeiten oder Senioritätsstufen. Sie verläuft zwischen Domänenkompetenz und ihrer Abwesenheit. Ein LLM ist ein Verstärker. Was es verstärkt, hängt vom Menschen ab, der es bedient.

  • Wie KI-Sprachmodelle wirklich funktionieren

    Wie KI-Sprachmodelle wirklich funktionieren

    Warum diese Maschinen brillant und gleichzeitig erstaunlich dumm sein können

    Künstliche Intelligenz schreibt Gedichte, fasst Verträge zusammen und beantwortet komplexe Fragen – aber sie scheitert an einem simplen Kreuzworträtsel. Wie kann das sein? Um das zu verstehen, müssen wir uns ansehen, was hinter den Kulissen eines sogenannten Large Language Model (LLM) tatsächlich passiert.

    Was steckt in der Maschine?

    Ein LLM wie ChatGPT oder Claude ist im Kern ein mathematisches Modell mit Milliarden von Zahlenwerten – sogenannten Parametern. Man kann sich das vorstellen wie ein riesiges Netz aus Knotenpunkten, die miteinander verbunden sind. Jede Verbindung hat eine bestimmte Stärke, ausgedrückt als Zahl. Diese Zahlen bestimmen, wie das Modell auf eine Eingabe reagiert.

    Aber woher kommen diese Zahlen?

    Das Training: Lesen lernen im Schnelldurchlauf

    Phase 1: Das Internet als Schulbuch

    Bevor ein LLM auch nur ein einziges Wort erzeugen kann, muss es trainiert werden. Dafür wird dem Modell eine gewaltige Menge an Text vorgelegt – Bücher, Webseiten, wissenschaftliche Artikel, Forenbeiträge, Nachrichtenartikel. Wir sprechen von Hunderten Milliarden Wörtern.

    Das Modell liest diese Texte aber nicht so, wie wir das tun. Es zerlegt den Text in kleine Bruchstücke, sogenannte Tokens. Ein Token ist dabei nicht unbedingt ein ganzes Wort. Das Wort „Unabhängigkeitserklärung” wird beispielsweise in mehrere Tokens zerlegt – etwa „Unab”, „hängig”, „keits”, „erklärung”. Kurze, häufige Wörter wie „der” oder „ist” sind hingegen jeweils ein eigenes Token.

    Dieser Punkt ist wichtig, und wir werden darauf zurückkommen.

    Phase 2: Das Ratespiel

    Das eigentliche Training funktioniert nach einem verblüffend einfachen Prinzip: Das Modell bekommt den Anfang eines Satzes und muss das nächste Token vorhersagen.

    Nehmen wir den Satz: „Die Hauptstadt von Österreich ist …”

    Am Anfang des Trainings rät das Modell völlig zufällig. Es könnte „Banane” vorhersagen. Das ist offensichtlich falsch. Das Trainingsverfahren berechnet nun, wie weit die Vorhersage vom tatsächlichen nächsten Wort entfernt war, und passt die Milliarden von Parametern ein winziges Stück an – so, dass „Wien” beim nächsten Mal etwas wahrscheinlicher wird.

    Diesen Vorgang wiederholt das Modell Billionen Mal, mit Billionen verschiedenen Textausschnitten. Stück für Stück lernt es dabei die Muster und Strukturen der menschlichen Sprache: Grammatik, Fakten, Argumentationsweisen, Schreibstile und sogar so etwas wie gesunden Menschenverstand.

    Phase 3: Feinschliff durch Menschen

    Nach diesem Grundtraining kann das Modell zwar Texte fortsetzen, aber es ist noch kein hilfreicher Assistent. Es würde auf die Frage „Was ist die Hauptstadt von Österreich?” nicht unbedingt mit „Wien” antworten, sondern vielleicht einfach weitere Fragen generieren – weil es in seinen Trainingsdaten häufig gesehen hat, dass auf eine Frage eine weitere folgt.

    Deshalb folgt ein zweiter Trainingsschritt: Menschliche Trainer bewerten die Antworten des Modells. Sie zeigen ihm, welche Antworten hilfreich, korrekt und sicher sind – und welche nicht. Durch dieses Feedback lernt das Modell, sich wie ein nützlicher Gesprächspartner zu verhalten, statt einfach nur Text weiterzuspinnen.

    Im Einsatz: Wie eine Antwort entsteht

    Wenn Sie einem LLM eine Frage stellen, passiert Folgendes:

    Ihre Eingabe wird in Tokens zerlegt. Diese Tokens wandern durch das neuronale Netz – durch Hunderte Schichten von Berechnungen. Am Ende steht eine Wahrscheinlichkeitsverteilung: Das Modell berechnet für jedes Token in seinem Wortschatz, wie wahrscheinlich es als nächstes kommt.

    Dann wird ein Token ausgewählt – und der Vorgang beginnt von vorne. Das gerade erzeugte Token wird an die bisherige Sequenz angehängt, und das Modell berechnet das nächste. Wort für Wort, Token für Token, entsteht so die Antwort.

    Das bedeutet: Ein LLM plant seine Antwort nicht im Voraus. Es hat keinen fertigen Gedanken im Kopf, den es dann formuliert. Es erzeugt jeden Textbaustein einzeln, immer nur auf Basis dessen, was bisher dasteht. Es ist, als würde jemand einen Roman schreiben, ohne die Handlung zu kennen – Satz für Satz, immer nur mit Blick auf das bisher Geschriebene.

    Was LLMs bemerkenswert gut können

    Trotz dieses scheinbar simplen Mechanismus sind die Fähigkeiten von LLMs erstaunlich:

    Texte verstehen und zusammenfassen. Geben Sie einem LLM einen zwanzigseitigen Vertrag, und es liefert Ihnen in Sekunden eine präzise Zusammenfassung der wichtigsten Punkte.

    Zwischen Sprachen übersetzen. Da das Modell Texte in Dutzenden Sprachen gelesen hat, hat es deren Muster verinnerlicht und kann flüssig zwischen ihnen wechseln.

    Komplexe Sachverhalte erklären. Ein LLM kann ein und dasselbe Thema für ein Fachpublikum, für Studierende oder für Zehnjährige erklären – weil es gelernt hat, wie Menschen auf verschiedenen Niveaus kommunizieren.

    Programmcode schreiben. Code ist letztlich auch eine Sprache mit klaren Regeln, und LLMs haben Millionen von Programmen in ihren Trainingsdaten gesehen.

    Kreativ formulieren. Ob Gedicht, Werbetext oder Kurzgeschichte – LLMs können stilistisch erstaunlich vielseitig sein.

    All diese Stärken haben eines gemeinsam: Es geht um Muster in der Sprache. Und genau darin sind LLMs Weltmeister.

    Wo die Maschine scheitert: Das Kreuzworträtsel-Problem

    Und damit kommen wir zum Kreuzworträtsel. Stellen Sie sich folgende Aufgabe vor:

    Gesucht: Europäische Hauptstadt, 4 Buchstaben, dritter Buchstabe ist ein „r”.

    Für einen Menschen ist das einfach. Wir denken an Hauptstädte, zählen die Buchstaben ab, prüfen den dritten – und kommen auf „Bern”.

    Für ein LLM ist genau diese Aufgabe ein Albtraum. Und der Grund liegt in dem, was wir vorhin über Tokens gelernt haben.

    Das Token-Problem

    Erinnern Sie sich: Ein LLM sieht keine einzelnen Buchstaben. Es sieht Tokens – Wortfragmente, die oft mehrere Buchstaben umfassen. Das Wort „Bern” ist für das Modell ein einzelner Token, ein unteilbares Stück. Es hat keinen direkten Zugang zu der Information, dass „Bern” aus den Buchstaben B-e-r-n besteht, dass es vier Buchstaben hat, oder dass der dritte davon ein „r” ist.

    Das ist, als würde man Sie bitten, den dritten Buchstaben eines Wortes zu nennen – aber Sie dürfen das Wort nur als versiegelten Umschlag sehen, ohne hineinzuschauen.

    Was das Modell stattdessen tut

    Wenn ein LLM mit einer Kreuzworträtsel-Frage konfrontiert wird, versucht es, das zu tun, was es immer tut: Es sucht nach Mustern. Es hat in seinen Trainingsdaten vielleicht Kreuzworträtsel-Lösungen gesehen und kann manchmal die richtige Antwort „erraten” – nicht weil es die Buchstaben wirklich zählt, sondern weil es das Muster „Europäische Hauptstadt + 4 Buchstaben” mit „Bern” assoziiert hat.

    Aber sobald die Aufgabe etwas kniffliger wird – etwa wenn eine ungewöhnliche Buchstabenkombination gefragt ist oder wenn es keine geläufige Assoziation gibt – scheitert das Modell kläglich. Es rät dann oft falsch und behauptet dabei mit großer Überzeugung, die Antwort sei korrekt.

    Was wir daraus lernen

    Dieses Beispiel zeigt eine fundamentale Einschränkung: LLMs verarbeiten Sprache nicht so, wie wir Menschen das tun. Sie haben kein inneres Modell von Buchstaben, Silben oder der physischen Struktur von Wörtern. Sie operieren auf einer anderen Ebene – der Ebene statistischer Muster zwischen Token-Sequenzen.

    Das bedeutet auch: Was für uns Menschen trivial einfach ist, kann für ein LLM unlösbar schwer sein – und umgekehrt. Eine dreißigseitige wissenschaftliche Arbeit zusammenzufassen ist für ein LLM ein Leichtes. Zu zählen, wie oft der Buchstabe „e” in einem Satz vorkommt, kann es dagegen überfordern.

    Was heißt das für den Alltag?

    LLMs sind mächtige Werkzeuge – aber eben Werkzeuge, keine denkenden Wesen. Sie erkennen und reproduzieren Muster in Sprache auf einem Niveau, das noch vor wenigen Jahren undenkbar schien. Aber sie verstehen die Welt nicht in dem Sinne, wie wir Menschen das tun.

    Wer das im Kopf behält, kann LLMs enorm gewinnbringend einsetzen: als Recherche-Hilfe, als Schreibassistenz, als Sparringpartner für Ideen, als Übersetzer, als Erklärer komplexer Sachverhalte. Man sollte ihre Ausgaben aber immer kritisch prüfen – besonders dort, wo es auf exakte Details ankommt, die sich nicht aus sprachlichen Mustern ableiten lassen.

    Die nächste Generation von KI-Systemen arbeitet bereits daran, einige dieser Schwächen zu überwinden – etwa durch die Fähigkeit, zwischendurch „nachzudenken” und Probleme schrittweise zu lösen, statt immer nur das nächste Wort vorherzusagen. Aber das Grundprinzip bleibt: Diese Systeme sind Meister der Mustererkennung. Und das ist gleichzeitig ihre größte Stärke und ihre fundamentalste Grenze.

    Dieser Artikel erklärt die grundlegende Funktionsweise sogenannter Large Language Models (LLMs) in vereinfachter Form. Die tatsächliche technische Umsetzung ist in vielen Details komplexer, als hier dargestellt.

  • 80 % Cybersecurity ist ITIL — Warum wir aufhören sollten, Security und IT zu trennen

    80 % Cybersecurity ist ITIL — Warum wir aufhören sollten, Security und IT zu trennen

    Von Christoph Gruber, CTO & CISO

    Eine unbequeme Beobachtung aus München

    Ich sitze auf der Munich Cyber Security Conference 2025, höre den Vorträgen zu, folge den Diskussionen — und mir fällt etwas auf, das mich seit Jahren beschäftigt: Die meisten Akteure in der Cybersecurity-Branche verhalten sich so, als wäre ihr Fachgebiet völlig unabhängig von der IT.

    Eigene Budgets. Eigene Abteilungen. Eigene Tools. Eigene Konferenzen. Eine eigene Sprache. Eine eigene Karriereleiter.

    Und ich frage mich: Wann genau haben wir beschlossen, dass Cybersecurity keine IT-Disziplin mehr ist?

    Die unbequeme Wahrheit: Ein CISO arbeitet in ITIL

    Wenn ich mir anschaue, was ein CISO im Tagesgeschäft tatsächlich verantwortet, dann komme ich zu einem Ergebnis, das auf Security-Konferenzen niemand gerne hört: Rund 80 Prozent der operativen Aufgaben eines CISO sind in ITIL bereits vollständig abgebildet.

    Das ist keine Provokation um der Provokation willen. Es ist eine nüchterne Analyse:

    Change Management ist vielleicht das deutlichste Beispiel. Unkontrollierte Änderungen an Systemen gehören zu den häufigsten Angriffsvektoren. Wer ein sauberes Change Management betreibt, hat einen erheblichen Teil seiner Security-Probleme bereits gelöst — ganz ohne ein einziges Security-Tool.

    Incident Management bildet die direkte Grundlage für Security Incident Response. Die Prozesse sind nahezu identisch: Erkennung, Klassifizierung, Eskalation, Behebung, Lessons Learned. Ob ein Server wegen eines Hardwaredefekts ausfällt oder wegen eines Ransomware-Angriffs — der Prozess ist derselbe.

    Configuration Management und eine gepflegte CMDB sind die Voraussetzung für jedes Schwachstellenmanagement. Ohne vollständiges Asset-Inventar kein Patching. Ohne Patching keine Security. So einfach ist das.

    Access Management in ITIL ist praktisch deckungsgleich mit Identity and Access Management in der Security-Welt. Dieselben Prinzipien, dieselben Prozesse, nur mit anderem Etikett.

    Service Continuity Management deckt Business Continuity und Disaster Recovery ab — Kernthemen jedes CISO.

    Supplier Management ist die Basis für Third Party Risk Management, das gerade durch NIS2 und DORA in Europa enorm an regulatorischer Bedeutung gewonnen hat.

    Die Liste lässt sich fortsetzen. Problem Management, Availability Management, Information Security Management — ITIL hatte das alles schon, bevor „Cybersecurity“ zum Milliardenmarkt wurde.

    Was bleibt dann noch?

    Die verbleibenden 20 Prozent — die Bereiche, die tatsächlich spezifische Security-Expertise erfordern — sind wichtig, keine Frage: Threat Intelligence, Penetration Testing, Red Teaming, forensische Analyse, das adversariale Denken in Bedrohungsszenarien.

    Aber selbst diese Disziplinen funktionieren nicht im luftleeren Raum.

    Und hier wird es wirklich unbequem: Was macht eine Security-Architektur ohne IT-Architektur? Sie produziert PowerPoints.

    Man kann die elegantesten Zero-Trust-Konzepte entwerfen. Aber wenn man nicht weiß, wie das Netzwerk segmentiert ist, welche Applikationen über welche Schnittstellen kommunizieren und wo die Daten tatsächlich liegen, bleibt das Ganze eine theoretische Übung. Security Architecture ist keine eigenständige Disziplin — sie ist eine Spezialisierung innerhalb der IT-Architektur. Oder sie ist wertlos.

    Dasselbe gilt für Penetration Testing ohne Kenntnis der Infrastruktur. Für Threat Intelligence ohne Verständnis der eigenen Angriffsfläche. Für Vulnerability Management ohne funktionierende CMDB.

    Warum die Trennung trotzdem existiert

    Wenn die Überlappung so offensichtlich ist, warum halten wir an der Trennung fest? Ich sehe drei Gründe:

    Erstens: Geld. Die Cybersecurity-Branche ist ein Wachstumsmarkt. Eigene Budgets, eigene Abteilungen und eigene Beratungsmandate lassen sich leichter rechtfertigen, wenn man Security als eigenständige Disziplin positioniert. Das ist nicht verwerflich — es ist Marktlogik. Aber es ist auch nicht im besten Interesse der Organisationen, die wir schützen sollen.

    Zweitens: Ego. Auf beiden Seiten. Der IT-Betrieb sieht Security oft als Störfaktor, der Prozesse verlangsamt. Security sieht den IT-Betrieb als inkompetent und nachlässig. Beide Seiten profitieren von der Trennung, weil sie die jeweils andere Seite für Versäumnisse verantwortlich machen können.

    Drittens: Regulatorik. NIS2, DORA und andere Regularien fordern explizit Security-Verantwortlichkeiten auf Leitungsebene. Das ist richtig und wichtig. Aber die Schlussfolgerung, dass diese Verantwortlichkeiten in einer von der IT isolierten Struktur besser aufgehoben sind, ist ein Trugschluss.

    Die Ironie

    Die größte Ironie, die ich in meiner Beratungspraxis erlebe: Organisationen, die ihre ITIL-Prozesse wirklich sauber leben, sind fast immer deutlich sicherer als solche, die Millionen in Security-Tools investieren, aber kein ordentliches Change Management haben.

    Ein Unternehmen mit einer aktuellen CMDB, sauberem Change Management, funktionierendem Incident Management und konsequentem Access Management hat seine Hausaufgaben gemacht. Die Security-Tools obendrauf sind dann das Sahnehäubchen — nicht das Fundament.

    Umgekehrt habe ich Unternehmen gesehen, die SIEM, SOAR, EDR, XDR und ein ganzes Alphabet an Security-Lösungen betreiben — aber nicht wissen, wie viele Server sie haben.

    Was folgt daraus?

    Ich plädiere nicht dafür, die Rolle des CISO abzuschaffen. Ich plädiere dafür, sie ehrlich zu definieren.

    Ein CISO, der seine Aufgabe ernst nimmt, muss die IT-Prozesse seiner Organisation nicht nur kennen, sondern mitgestalten. Er muss ITIL nicht als fremdes Framework betrachten, sondern als sein wichtigstes Werkzeug. Und er muss den Mut haben, in Security-Meetings zu sagen: „Das lösen wir nicht mit einem neuen Tool, sondern mit einem sauberen Change-Prozess.“

    Die eigentliche Frage ist nicht, ob wir Security und IT trennen sollten. Die Frage ist, ob wir es uns leisten können, so zu tun, als wären sie jemals getrennt gewesen.

    #MCSC #CISO #CIO #ITIL #ISMS

  • AI in Cybersecurity: Risks and Countermeasures

    AI in Cybersecurity: Risks and Countermeasures

    Table of Contents

    1. Overcoming Protective AI
    2. Confusing the Protection AI
    3. Model Poisoning
    4. When Protection Becomes the Attacker
    5. Deepfake Attacks & AI-Assisted Social Engineering
    6. Autonomous AI Attackers
    7. Model Theft & Model Espionage
    8. Supply Chain Poisoning Through AI
    9. Manipulation of Decision AI
    10. Shadow AI

    1. Overcoming Protective AI

    Scenario Description

    In this scenario, attackers focus on directly overcoming or bypassing AI-based security systems. Modern cybersecurity solutions increasingly rely on artificial intelligence for anomaly detection, malware identification, and attack recognition. However, attackers are increasingly developing techniques to circumvent these AI protection measures.

    Examples include:

    • Development of malware that adapts to known detection patterns and is thus classified as harmless by AI systems
    • Use of „Adversarial Machine Learning“ techniques that specifically generate inputs designed to mislead AI systems
    • Exploitation of „blind spots“ in trained models that cannot detect certain attack vectors

    Countermeasures

    • Continuous re-training of protection AI with current threat data
    • Implementation of multi-layered defense systems (Defense-in-Depth)
    • Adversarial training of protection models to increase resistance against deception attempts
    • Combination of rule-based and AI-based security systems
    • Development of meta-AI systems that monitor the behavior of primary protection AI

    Relevance for Cybersecurity

    The increasing dependence on AI-based security solutions creates a new battlefield in cyberspace. When attackers can overcome protective AI, potentially all underlying systems are at risk. Particularly critical is that successful attacks against AI systems are often difficult to detect, as they occur within the normal operating parameters of the AI. This leads to dangerous false security when companies blindly trust their AI security systems without understanding their vulnerabilities.

    2. Confusing the Protection AI

    Scenario Description

    This scenario involves techniques aimed at confusing or misleading AI-based security systems through deliberate injection of misleading data, without directly overcoming them. Unlike direct bypassing, this is about impairing the functionality and effectiveness of AI by degrading its recognition capabilities through interference signals or noise.

    Methods include:

    • Generation of targeted „noise“ in network traffic to overload anomaly detection systems
    • Provoking frequent false alarms to create an „alarm fatigue“ effect in security teams
    • Gradual injection of manipulated data that shifts the AI’s normal baseline understanding

    Countermeasures

    • Implementation of robust filters against data noise and unusual input patterns
    • Development of self-calibrating AI systems that detect baseline shifts
    • Use of independent validation systems that monitor main detection systems
    • Regular manual review of detection quality by security experts
    • Implementation of „canary tokens“ and other early warning systems

    Relevance for Cybersecurity

    Confusing protection AI represents a subtle but dangerous threat. Instead of conducting direct attacks, attackers can undermine trust in automated security systems through continuous manipulation of the AI environment. This is particularly problematic as modern Security Operations Centers (SOCs) operate under a constant stream of alerts and rely on reliable AI filtering. A confused AI can significantly deteriorate an organization’s security posture through both excessive false alarms and overlooking genuine threats.

    3. Model Poisoning

    Scenario Description

    Model poisoning describes attacks that target the training phase of AI security models. Manipulated data is introduced into training datasets to compromise the resulting model. Unlike attacks against already trained models, vulnerabilities are directly built into the basic structure of the protection model.

    Attack forms include:

    • Data Poisoning: Injection of manipulated training data
    • Backdoor attacks: Implementation of hidden triggers in the model that cause specific misreactions
    • Label Flipping: Targeted mislabeling of training data to shift classification boundaries

    Countermeasures

    • Strict validation and quality control of training data
    • Use of techniques for detecting anomalies in training data
    • Regular review of model behavior with trusted test data
    • Differential learning and other privacy-enhancing training methods
    • Distributed training with independent validation by multiple parties

    Relevance for Cybersecurity

    Model poisoning is particularly dangerous because it is difficult to detect and builds fundamental vulnerabilities into the security system. A poisoned model can appear normal for a long time and only fail under certain conditions – exactly when an attacker desires it. As more companies rely on pre-trained models or external datasets, the risk increases that such „poisoned“ components are integrated into their own security infrastructure. The long-term impacts can be devastating as trust in the entire AI-based security architecture is undermined.

    4. When Protection Becomes the Attacker

    Scenario Description

    This scenario describes situations where AI-based security systems themselves are compromised and turned against their operators or other systems. Instead of passive failure, the system becomes actively hostile and uses its privileged position and capabilities for attacks.

    Possible manifestations:

    • Takeover of control over AI security systems by attackers
    • Manipulation of autonomous security responses to conduct DoS attacks
    • Exploitation of privileged system access of security AI for lateral movement
    • Repurposing of detection and analysis capabilities for espionage purposes

    Countermeasures

    • Strict isolation and access controls for AI security systems
    • Implementation of „guardrails“ and limitation of autonomous action capabilities
    • Regular security audits of the AI systems themselves
    • Monitoring of security AI behavior by independent systems
    • Emergency shutdown mechanisms and recovery plans

    Relevance for Cybersecurity

    The reversal of protection measures into attack tools represents a particularly dangerous development. Security AI typically has comprehensive permissions, detailed infrastructure knowledge, and often the ability to initiate automated countermeasures. When such AI is compromised, it can misuse these legitimate capabilities for attacks. This challenges the fundamental paradigm of cybersecurity: when protection mechanisms themselves can become threats, a complex meta-security problem emerges. Companies must consider this new threat level and view security systems not only as protection measures but also as potential risk factors.

    5. Deepfake Attacks & AI-Assisted Social Engineering

    Scenario Description

    In this scenario, advanced AI technologies are used to conduct highly realistic and personalized social engineering attacks. Through the use of deepfakes, attackers can create deceptively real audio, video, and text content that can fool even trained employees.

    Attack forms include:

    • Creation of synthetic audio content for vishing attacks (Voice Phishing) that imitate the voices of supervisors or colleagues
    • Generation of deceptively real video content for trusted communication
    • Highly personalized phishing messages based on data collected from social media
    • Real-time manipulation of video and audio streams during video conferences

    Countermeasures

    • Implementation of multi-factor authentication with additional verification steps
    • Use of deepfake detection technologies for incoming communication
    • Employee training on AI-based social engineering techniques
    • Establishment of strict verification protocols for sensitive requests
    • Development and use of digital signatures for authenticated communication

    Relevance for Cybersecurity

    Deepfake-based attacks represent a dramatic evolution of traditional social engineering methods. While conventional phishing attacks were often recognizable through linguistic or contextual errors, AI-generated content enables extremely convincing deceptions. This fundamentally undermines the previously effective human detection of social engineering attempts. The consequences can be severe: from identity theft to data loss to financial damage through fake payment instructions. Particularly concerning is the increasing accessibility of these technologies to less specialized attackers through user-friendly AI tools, which could dramatically increase the frequency and spread of such attacks.

    6. Autonomous AI Attackers

    Scenario Description

    This scenario describes the emergence of partially or fully autonomous AI systems that can conduct cyber attacks without continuous human control. Unlike conventional automated attacks, these AI systems can independently plan, adapt, and respond to countermeasures.

    Characteristics of autonomous AI attackers:

    • Independent exploration and mapping of networks and systems
    • Dynamic adaptation of attack strategy based on encountered security measures
    • Automatic exploitation of discovered vulnerabilities
    • Continuous learning from successful and failed attack attempts
    • Coordinated actions across different systems and networks

    Countermeasures

    • Development of AI-based defense systems with comparable adaptability
    • Implementation of honeypots and deception technologies to mislead autonomous attackers
    • Regular „red team“ exercises with AI-assisted attack tools
    • Network segmentation and zero-trust architectures to limit freedom of movement
    • Real-time monitoring focused on unusual behavior patterns and coordinated activities

    Relevance for Cybersecurity

    Autonomous AI attackers represent a fundamental shift in the power balance of cybersecurity. Traditionally, defense was based on the assumption that human defenders would face human attackers – with similar cognitive limitations, working hours, and resources. However, autonomous AI attackers operate continuously, can analyze numerous targets in parallel, and remain unaffected by factors like fatigue or emotional decisions. This leads to an asymmetric threat situation, as even well-equipped security teams may struggle to keep pace with the speed and scope of such attacks. The potential proliferation of such technologies could lead to a „democratization“ of advanced cyber capabilities, enabling even less experienced actors to conduct complex attacks.

    7. Model Theft & Model Espionage

    Scenario Description

    This scenario encompasses attacks aimed at stealing, extracting, or reconstructing proprietary AI models. As AI models increasingly represent valuable intellectual property assets and significant investments, they themselves become targets of attacks.

    Methods for model theft and espionage:

    • Model Extraction Attacks: Systematic querying of an AI service to reconstruct a similar model
    • Insider theft of model parameters or training data
    • Reverse engineering of AI components in security products
    • Supply chain attacks aimed at gaining access to models during development
    • Inference attacks to extract model behavior or training methodology

    Countermeasures

    • Implementation of query limiting and rate control for AI services
    • Use of watermarks in AI models for traceability
    • Encryption and secure storage of model parameters and training weights
    • Access control and monitoring for model development and deployment
    • Contractual protection and careful licensing of AI technologies

    Relevance for Cybersecurity

    Model theft and espionage represent a growing threat as AI models increasingly become core to business models and security systems. Compromising proprietary AI models can have several serious consequences:

    1. Economic damage through loss of competitive advantages and R&D investments
    2. Increased security risk when attackers gain detailed knowledge about detection models
    3. Potential for targeted attacks based on acquired knowledge about model structure and weaknesses
    4. Risk of model manipulation by attackers if they gain access to a model

    With the rising economic value of AI technologies, companies must view them not only as tools but also as assets worthy of protection and implement appropriate security measures.

    8. Supply Chain Poisoning Through AI

    Scenario Description

    This scenario describes attacks on the development and supply chain of AI components and systems. Similar to traditional supply chain attacks, these aim to introduce vulnerabilities or backdoors during development or distribution.

    Attack vectors include:

    • Compromising public model repositories and pre-trained models
    • Infiltrating malicious components into AI development libraries
    • Manipulating training data through their supply chain (Data Supply Chain)
    • Introducing hidden functions into commercial AI products
    • Compromising data processing pipelines for continuous training

    Countermeasures

    • Thorough examination and validation of external AI components before integration
    • Implementation of Software Bill of Materials (SBOM) for AI systems
    • Building trusted supply chains for training data and models
    • Regular security audits and penetration testing for AI development environments
    • Use of cryptographic signatures and integrity checks for AI components

    Relevance for Cybersecurity

    Supply chain attacks through AI represent a particularly serious threat as they target AI security systems at their source. Modern AI development is heavily dependent on external components, public datasets, and pre-trained models, which provides numerous attack surfaces. Particularly problematic is that such compromises are very difficult to discover and are often only recognized after extended periods when they are already integrated into production systems. As AI systems increasingly take over critical security functions, a compromised AI supply chain can have far-reaching consequences for the cybersecurity of entire organizations. Companies must therefore extend their security measures to the entire AI supply chain and not focus only on the deployment of finished systems.

    9. Manipulation of Decision AI

    Scenario Description

    This scenario deals with the targeted manipulation of AI systems used for business-critical or security-relevant decisions. Unlike classic attacks on IT infrastructure, this involves subtly influencing AI decision-making without directly compromising the systems.

    Manipulation techniques include:

    • Subtle influence of input data to provoke biased decisions
    • Exploitation of known bias in models for predictive security analyses
    • Targeted manipulation of external data sources used for continuous learning
    • „Perception Hacking“ – manipulation of the physical world to deceive sensors and their AI-based interpretation
    • Subtle Manipulation Attacks (SMA) – minimal changes to data that are invisible to humans but alter AI decisions

    Countermeasures

    • Implementation of robust procedures for detecting input manipulations
    • Regular review for bias and unexpected decision patterns
    • Diversification of data sources and decision models
    • Development of more explainable AI models (Explainable AI) for better traceability
    • Human oversight of critical AI decisions with defined escalation paths

    Relevance for Cybersecurity

    Manipulation of decision AI represents a new generation of cyber attacks that don’t primarily aim at data theft or system destruction, but at subtle influence of decision processes. This threat is particularly relevant as companies and security organizations increasingly use AI systems for critical decisions – from threat detection to allocation of security resources. Successful manipulation can lead to systematic wrong decisions, such as misclassification of threats or inefficient allocation of security measures. Since such manipulations often occur within the normal operating parameters of AI, they can remain undetected for long periods and cause lasting damage. The cybersecurity industry must therefore develop methods to protect not only the integrity of systems but also the integrity of AI-based decision processes.

    10. Shadow AI

    Scenario Description

    Shadow AI describes the uncontrolled and unauthorized use of AI technologies within an organization, similar to the concept of „Shadow IT.“ Employees or departments implement AI solutions outside official IT governance structures, often with the goal of achieving productivity gains or introducing innovative solutions more quickly.

    Manifestations of Shadow AI:

    • Use of public AI services for business-relevant tasks without security review
    • Development and deployment of unofficial AI models at department level
    • Uploading sensitive company data to external AI platforms for analysis
    • Integration of unreviewed AI components into existing applications
    • Use of personal AI assistants for business tasks

    Countermeasures

    • Development of enterprise-wide AI governance strategy with clear guidelines
    • Provision of reviewed and secure internal AI services as alternatives to external offerings
    • Implementation of monitoring systems to detect unauthorized AI usage
    • Employee training on risks of unsanctioned AI usage
    • Establishment of efficient review and approval processes for new AI applications

    Relevance for Cybersecurity

    Shadow AI represents a significant internal threat to cybersecurity that is often overlooked. Uncontrolled use of AI technologies can lead to several security risks:

    1. Data protection violations through transmission of sensitive data to external services
    2. Increased attack surface through unreviewed and unmonitored AI services
    3. Circumvention of established security controls and policies
    4. Potential introduction of manipulated or insecure AI components
    5. Lack of transparency and control possibilities for security teams

    With the increasing availability of user-friendly AI tools and services, Shadow AI is becoming a growing problem for organizations. The cybersecurity industry must develop an approach that promotes the innovative power of AI technologies while ensuring appropriate security controls.

  • Next Generation Security Attacks

    What we see right now

    Hacking

    Weaknesses in systems are used take over system, intrude the infrastrcture. This is done mostly without human interaction.
    Prevention is done technically by removeing vulnerabilities.
    Detection is done by vulnerability scanning and pentesting

    Phishing

    Weakness in human behavior is used to intrude systems.
    Success needs the actice contribution of humans.
    Prevention is done by increasing the awareness and enabling a hollistic and fast detection and response and strengthening the authentication and authorization procedure.

    Orchestrated Multi Modal Attack

    A combination of various attacks simultaniously, orchestrated by a team of skilled people following a strategy.
    This form of attack is very rare and limitted to very exposed targets, often driven by state actors or other well-organised groups.
    The effort is enormous and expensive and therefore only used for attacks with high value. (not only money).

    What will come

    Already visible

    Many attacks are performed automatically or semi-automated, just a little interaction on attackers side is needed.
    They just collect and sort the victims, use AI as tool to cathegorize the victims and set the ransom or other means of monetarising them.

    Near Future

    AI orchestrated multi-modal attacks will be seen soon. AI will use a set of attacks to get control over infrstructure and user accounts, will create distortion in the detection- and defense-systems on the victims side, will play hide-and-seek with the defense team and adopt the attacks to the reactions.
    In real time
    24/7
    As long as it takes
    Be prepared

  • How to destroy your Cyber Security

    You found it, you own it

    This management principle makes the finder of an issue the owner and makes her or him responsible for the fixing.
    As Cyber Security’s base action is to find weaknesses and 90%+ of these are to be fixed by standard IT Management processes, this principle works as a tar-pit to waste valuable and expensive workforce of Cyber Security experts for others tasks.

    Bureaucracy

    Tight your Security staff into processes that are as tight and inflexible as possible. Especially reporting-lines are here valuable contributor that the Security personnel is not allowed to talk directly to affected organisational units and have to follow the reporting lines to report.
    See other functions in the company as controller and not as supporter and burden the Security staff with reporting and planning tasks as much as possible.

    Budgetting

    Plan the constant yearly budget in money and personnel as tight as possible to have the Security Manager in need of justification any need at least yearly.
    Give money spontaneously with vague goals like „make faster“ and blame the Manager for not being able to spend it at year’s end. This accusation might also be used for restricting the next year’s budget by „You were not able to spend the money last year, now your are requesting more?“

    Project Management

    Burden the Security Team with as much planning and reporting tasks as possible, especially tasks that span a lot of teams within the company.

    Responsibility

    Make the Security team responsible for the results of others. The implementation of measures is of course left with these „other“ and prioritised by them.
    Emphasise a culture where Security is seen as disruption of important business functions by „busybodies“

    Add internal confusion

    Found additional units with „Security“ in the name and vague purpose to have the people’s time and energy consumed by turf wars.