Halbwissen mal LLM

Halbwissen mal LLM

*Warum Substitution scheitert und Kollaboration funktioniert*

Zwei Dinge fallen auf, wenn man Menschen beim Einsatz von Large Language Models über die Schulter schaut. Das eine ist die Geschwindigkeit, mit der gute Ergebnisse entstehen, wenn ein Profi mit einem LLM arbeitet. Das andere ist die Geschwindigkeit, mit der Unsinn produziert wird, wenn jemand das LLM als Ersatz für Expertise einsetzt, die er nicht hat. Der Unterschied ist nicht graduell, sondern kategorisch.

Das Muster

Der Mediziner fragt das LLM nach juristischer Bewertung eines Falls und dilettiert mit der Antwort herum. Der Vertriebsmitarbeiter lässt sich technische Details für ein Angebot ausarbeiten, das er anschließend verteidigen muss. Die Marketing-Abteilung produziert Code, ohne ihn lesen zu können. Der Manager erstellt Strategiepapiere zu Themen, deren Vokabular er bei der Gelegenheit zum ersten Mal hört. Das Muster ist immer dasselbe: Jemand verwendet das LLM, um eine Lücke zu füllen, die er selbst nicht erkennen kann, weil er die Domäne nicht kennt.

Diese Ansätze scheitern. Nicht immer sofort, nicht immer sichtbar. Aber sie scheitern in dem Moment, in dem das Ergebnis auf einen Profi der Domäne trifft. Spätestens beim Anwalt, beim Auditor, beim Kunden, beim Gericht.

Warum es scheitert

Ein LLM ist kein Wissensspeicher mit Wahrheitsanspruch. Es ist eine Maschine, die plausibel klingenden Text produziert. Plausibel bedeutet: stimmig im Tonfall, passend in der Struktur, korrekt in der Grammatik, anschlussfähig an das, was vorher kam. Plausibel bedeutet nicht: richtig.

Wer in einer Domäne arbeitet, kann diesen Unterschied erkennen. Er liest einen Vertragstext und sieht die fehlende Klausel. Er liest einen Penetrationstestbericht und erkennt, dass die Klassifizierung nicht zur Methodik passt. Er liest die Erläuterung einer Compliance-Anforderung und merkt, dass die Quelle daneben liegt. Wer in der Domäne nicht zu Hause ist, hat genau dieses Werkzeug nicht. Er sieht plausibel und liest richtig.

Das Resultat ist eine systematische Verstärkung von Halbwissen. Das LLM macht aus einem unklaren Gedanken einen klar formulierten Text. Der Text wirkt fundierter, als der zugrunde liegende Gedanke es ist. Der Nutzer hält die Verbesserung der Form für eine Verbesserung des Inhalts. Genau hier entsteht der Schaden.

Was funktioniert

Was hingegen ausgezeichnet funktioniert, ist die Konstellation aus erfahrenem Profi und LLM, die gemeinsam ein Werk erstellen. Der Profi bringt das Urteilsvermögen, das LLM die Recherche, die Vorstrukturierung, das Texten. Die Aufgaben verteilen sich klar.

Der Profi definiert die Fragestellung präzise. Er kennt die relevanten Quellen, die richtigen Begriffe, die übliche Argumentationsstruktur seiner Domäne. Er weiß, was im Ergebnis stehen muss und was darin nichts verloren hat. Das LLM übernimmt die Fleißarbeit: Es liest Material, schlägt Formulierungen vor, hält den roten Faden, variiert den Ton, fügt Querverweise zusammen. Der Profi prüft jeden Schritt. Er erkennt sofort, wenn das LLM eine Quelle erfindet, einen Fachbegriff falsch verwendet, eine Schlussfolgerung zieht, die nicht trägt. Diese Erkennung ist der Engpass im gesamten Prozess. Sie liegt beim Profi und nirgendwo sonst.

Das Ergebnis ist messbar besser als das, was der Profi alleine in der gleichen Zeit liefern würde. Und es ist um Größenordnungen besser als das, was ein Laie mit demselben LLM produziert. Nicht weil das Werkzeug ein anderes wäre, sondern weil der Engpass ein anderer ist.

Konsequenz

Wer den Einsatz von LLMs in seiner Organisation plant, sollte die Frage nicht stellen als „Wo können wir Menschen ersetzen?“, sondern als „Wo haben wir Profis, die durch ein LLM schneller, gründlicher und konsistenter arbeiten können?“ Die zweite Frage führt zu Produktivitätsgewinnen. Die erste führt zu peinlichen Dokumenten, fehlerhaften Analysen und Haftungsrisiken.

Die Trennlinie verläuft nicht zwischen Branchen, Tätigkeiten oder Senioritätsstufen. Sie verläuft zwischen Domänenkompetenz und ihrer Abwesenheit. Ein LLM ist ein Verstärker. Was es verstärkt, hängt vom Menschen ab, der es bedient.