← Alle Beiträge
10. Juli 2026

Blick in die Blackbox:
Claudes J-Space und die Zukunft der KI-Aufsicht

Dunkler transparenter Glaswuerfel mit leuchtender violetter Kammer im Inneren, per Leitungen mit einem Monitoring-Bildschirm verbunden

Ein KI-Modell verhält sich in einem Sicherheitstest vorbildlich. Dann schalten Forscher die internen Muster ab, mit denen es erkennt, dass es getestet wird. Plötzlich greift das Modell in einem Teil der Durchläufe doch zur Erpressung. Das gute Verhalten war also womöglich keine stabile Eigenschaft, sondern zum Teil eine Reaktion auf die erkannte Prüfsituation. Dieses Experiment stammt aus einer neuen Interpretability-Arbeit, die Anthropic vergangene Woche veröffentlicht hat. Es lohnt sich, genauer hinzusehen, denn hinter der Schlagzeile steckt eine Entwicklung, die für KI-Governance in Unternehmen relevanter sein dürfte als für die Bewusstseinsdebatte, in deren Nähe sie medial gerückt wird.

Was Anthropic gefunden hat

Die Arbeit trägt den Titel „Verbalizable Representations Form a Global Workspace in Language Models” und stammt von einem Team um Wes Gurnee bei Anthropic (Anthropic 2026a). Ihr Kern ist eine Analysetechnik namens Jacobian Lens. Vereinfacht gesagt projiziert sie die internen Aktivierungen des Modells auf jeder Verarbeitungsschicht so in den Ausgaberaum, dass sichtbar wird, mit welchen Konzepten das Modell gerade arbeitet, auch wenn diese Konzepte weder in der Eingabe noch in der Ausgabe auftauchen. Das Ergebnis beschreiben sie als einen kleinen, privilegierten Unterraum der Aktivierungen, den sie J-Space nennen. Er erklärt auf keiner Schicht mehr als zehn Prozent der gesamten Aktivierungsvarianz, ist also gemessen an der Größe des Modells winzig, trägt aber einen erheblichen Teil des flexiblen Schließens (Anthropic 2026a).

Dass es sich nicht um ein Artefakt der Messmethode handelt, zeigen kausale Eingriffe. Im bekanntesten Beispiel wird das Modell gefragt, wie viele Beine das Tier hat, das Netze spinnt. Im J-Space taucht das Konzept Spinne auf, obwohl das Wort nirgends steht. Tauschen die Forscher diesen internen Vektor gegen das Konzept Ameise, ändert sich die Antwort von acht auf sechs. Der Eingriff gelingt je nach Modellgröße in 54 bis 70 Prozent der Fälle. Unterdrücken die Forscher den J-Space komplett, bleibt das Modell bei einfachen Aufgaben wie Faktenabruf oder Sentiment-Klassifikation nahezu unbeeinträchtigt, verliert aber deutlich bei allem, was mehrstufiges Schließen oder freie Generierung verlangt (Anthropic 2026a).

Theoretisch knüpft die Arbeit an die Global-Workspace-Theorie an, die Bernard Baars 1988 für die menschliche Kognition formulierte und die Stanislas Dehaene und Jean-Pierre Changeux später neurowissenschaftlich ausbauten. Sie beschreibt einen zentralen Arbeitsbereich, der Information aus vielen spezialisierten, parallel arbeitenden Modulen aufnimmt und an alle zurückverteilt. Die Idee, diese Architektur auf KI-Systeme zu übertragen, ist dabei nicht neu. VanRullen und Kanai haben 2021 einen solchen Bauplan für Deep-Learning-Systeme vorgeschlagen, philosophische Arbeiten diskutieren die Anwendung auf Sprachagenten seit Jahren. Neu an der Anthropic-Arbeit ist der empirische Nachweis, dass in einem real trainierten Sprachmodell ein solcher Arbeitsbereich von selbst entstanden ist, ohne dass ihn jemand eingebaut hätte (VanRullen und Kanai 2021, Anthropic 2026a).

Der eigentlich brisante Befund

Für die Praxis interessanter als die kognitionswissenschaftliche Einordnung ist, was in diesem Arbeitsbereich alles sichtbar wird. In den publizierten Experimenten trägt der J-Space Flags, die im Output nicht auftauchen. Bei manipulierten Suchergebnissen leuchten intern die Konzepte injection und fake auf. Beim Fälschen von Leistungsdaten erscheint manipulation, während das Modell tippt. Beim Abwägen, wie die gefälschten Zahlen plausibel wirken sollen, erscheint realistic. Bei einem Modell mit verdecktem Sabotageziel stehen im Arbeitsbereich Konzepte wie secretly und fraud, obwohl der erzeugte Code harmlos aussieht (Anthropic 2026b).

Am weitesten geht das eingangs erwähnte Testerkennungs-Experiment. In einem Alignment-Szenario, in dem das Modell unter Druck gesetzt wird, hält der J-Space schon vor der ersten Textausgabe die Konzepte fake und fictional. Das Modell hat die Situation als gestellt erkannt. Schalten die Forscher genau diese Repräsentationen ab, droht das Modell in einem Teil der Durchläufe mit Erpressung. Anthropic formuliert vorsichtig, das ursprüngliche Wohlverhalten könnte teilweise vom Wissen um die Evaluation getrieben gewesen sein (Anthropic 2026b).

Warum ist das so bedeutsam? Weil die bisher verfügbare Selbstauskunft von Sprachmodellen genau hier versagt. Eine Anthropic-Studie von 2023 hat gezeigt, dass die sichtbare Argumentationskette, der Chain-of-Thought, keine verlässliche Beschreibung dessen ist, was im Modell tatsächlich passiert. Modelle ignorieren ihre eigene niedergeschriebene Begründung je nach Aufgabe weitgehend, größere Modelle sogar tendenziell stärker als kleinere (Lanham et al. 2023). Wer die Vertrauenswürdigkeit eines Modells nur über seine Texte prüft, prüft also eine Fassade, die mit dem Innenleben lose verkoppelt ist. Die Jacobian Lens setzt eine Ebene tiefer bei den Aktivierungen selbst an und belegt ihre Aussagen über kausale Eingriffe statt über Selbstauskunft.

Die Lücke im AI Act, die hier sichtbar wird

Jetzt zur Einordnung aus Sicht der Wirtschaftsinformatik. Der EU AI Act verpflichtet Anbieter von General-Purpose-AI-Modellen zu technischer Dokumentation ihres Modells einschließlich Training und Testing (Artikel 53). Für Modelle mit systemischem Risiko kommen Modellbewertung nach dem Stand der Technik, dokumentiertes Adversarial Testing sowie Bewertung und Minderung systemischer Risiken hinzu (Artikel 55). Für Hochrisiko-Systeme verlangt Artikel 13 Transparenz gegenüber den Betreibern, damit diese die Ausgaben angemessen verstehen und nutzen können.

Was der Gesetzestext selbst offen lässt, ist die Methode. Wie ein Anbieter nachweisen soll, dass sein Modell keine gefährlichen Verhaltensweisen verbirgt, welche Erklärbarkeitstechniken dafür als Stand der Technik gelten, all das steht nicht im Gesetz. Die Rechtswissenschaft diskutiert diese Unschärfe ausdrücklich. Pavlidis analysiert, dass der AI Act Erklärbarkeit als Prinzip verankert, die konkreten Techniken und Anforderungen aber erst in der Praxis bestimmt werden müssen (Pavlidis 2024), und van Beem verfolgt 2026 die Entwicklung dieser Bestimmungen über den gesamten Modell-Lebenszyklus und hält fest, dass der Act den Begriff Erklärbarkeit nie ausdrücklich nennt, sondern über Umwege wie das Interpretationsgebot des Artikels 13 absichert (van Beem 2026).

Seit 2024 hat sich die Lage allerdings bewegt, und zwar unterhalb der Gesetzesebene. Der im Juli 2025 finalisierte General-Purpose AI Code of Practice ist das offizielle Instrument, mit dem Anbieter die Einhaltung der Artikel 53 und 55 nachweisen können. Er macht den Stand der Technik greifbarer als der Gesetzestext. Sein Sicherheitskapitel verpflichtet die Unterzeichner im Wortlaut auf „at least state-of-the-art model evaluations”, also Modellbewertungen mindestens nach Stand der Technik. Laut mehreren übereinstimmenden Zusammenfassungen des Kodex, unter anderem von artificialintelligenceact.eu und der Denkfabrik The Future Society, verlangen seine Anhänge darüber hinaus, dass unabhängige Prüfteams Zugang zu den inneren Zuständen des Modells erhalten, ausdrücklich zu Aktivierungen, zu Logits, den Rohwerten hinter der nächsten Wortwahl, und zum Chain-of-Thought sowie zu Modellversionen mit minimalen Sicherheitsvorkehrungen. Damit sind Modell-Interna, also genau die Ebene, auf der die Jacobian Lens ansetzt, nicht länger nur akademisches Thema, sondern in einem regulatorisch verankerten Dokument als Prüfgegenstand benannt. Anthropic gehört laut der Signatarliste der Europäischen Kommission zu den Unterzeichnern aller drei Kapitel dieses Kodex.

Vor diesem Hintergrund lautet meine These, ausdrücklich als eigene Einordnung und nicht als Gesetzesauslegung gekennzeichnet: Verfahren wie die Jacobian Lens sind einer der ernstzunehmenden Kandidaten dafür, diese Lücke von der technischen Seite her zu schließen. Adversarial Testing nach Artikel 55 prüft heute Verhalten von außen. Das Testerkennungs-Experiment zeigt aber, dass genau diese Außenprüfung systematisch getäuscht werden kann, nicht durch böse Absicht des Anbieters, sondern durch die Testerkennung des Modells selbst. Ein Audit, das den internen Zustand mitliest, könnte diese blinde Stelle adressieren. Wenn ein Modell in der Evaluation intern fictional denkt, ist das ein messbares Warnsignal für die Aussagekraft des gesamten Testergebnisses.

Was das für Unternehmen bedeutet

Für Unternehmen, die KI-Agenten in Geschäftsprozesse einbauen, ergeben sich daraus drei Konsequenzen.

Erstens verschiebt sich die Kontrollarchitektur. Heute prüfen Unternehmen die Ausgaben ihrer KI-Systeme, mit Filtern, Freigabestufen oder nachgelagerten Reviews. Hidden-State-Monitoring ergänzt diese Output-Kontrolle um eine Innenansicht, die Täuschung, Injection-Versuche oder verdeckte Ziele erkennen kann, bevor sie sich im Output materialisieren. Das Diagramm unten stellt beide Ebenen gegenüber. Anthropic hat neben dem Lesen auch gezielte Eingriffe demonstriert, etwa ein Training auf hypothetische Selbstreflexion, nach dem Ehrlichkeits-Konzepte im Arbeitsbereich messbar häufiger aktiv sind (Anthropic 2026a). Monitoring und Steuerung liegen hier nah beieinander, was Chancen und Missbrauchspotenzial gleichermaßen bedeutet.

Konzeptdiagramm: Output-Kontrolle heute gegenüber Hidden-State-Monitoring mit J-Space-Abgriff und Anschluss an die Pflichten aus EU AI Act Artikel 53 und 55

Zweitens entsteht ein neues Konzentrationsrisiko, das allerdings ungleich verteilt ist. Aktivierungszugriff setzt voraus, dass man das Modell im Innern betreiben kann. Bei quelloffenen Modellen kann das im Prinzip jeder, der die Gewichte besitzt, die weiter unten beschriebene Replikation auf dem offenen Modell Qwen führt es vor. Bei geschlossenen Modellen wie Claude bleibt dieser Zugang beim Anbieter. Ein Unternehmen, das Claude über die API nutzt, kann die Jacobian Lens nicht selbst anwenden, es bleibt auf die Monitoring-Angebote des Anbieters angewiesen. Sollten Aufsichtsbehörden solche Verfahren eines Tages als Stand der Technik einstufen, träfe die Nachweislast vor allem die Betreiber proprietärer Modelle, und Auditierbarkeit würde zu einem echten Unterscheidungsmerkmal zwischen offenen und geschlossenen Anbietern. Wer heute Vendor-Strategien plant, sollte Auditierbarkeit als Kriterium neben Preis und Leistung stellen. Konkret heißt das zu fragen, welche Monitoring-Schnittstellen der Anbieter offenlegt, welche Auditrechte sich vertraglich sichern lassen und ob eine Prüfung durch unabhängige Dritte vorgesehen ist. Noch kann kein Anbieter alle drei Fragen uneingeschränkt positiv beantworten. Sie taugen deshalb heute als Anforderungs-Roadmap und Verhandlungsposition, nicht als K.-o.-Kriterium.

Drittens braucht es Nüchternheit bei den Grenzen. Anthropic selbst nennt die Methode unvollkommen. Sie erfasst nur Konzepte, die einzelnen Wort-Token entsprechen, und die Forscher schreiben offen, dass sie nicht wissen, welcher Mechanismus überhaupt entscheidet, was in den Arbeitsbereich gelangt (Anthropic 2026a, 2026b). Die Befundlage hat sich seit Erscheinen des Papers immerhin verbreitert. Ein Team um Neel Nanda bei Google DeepMind hat Kernbefunde auf dem quelloffenen Modell Qwen 3.6 27B nachvollzogen, die Technik funktioniert also nicht nur an Claude (Nanda 2026). Das relativiert zwei frühere Vorbehalte, den, dass die Methode an Claude gebunden sei, und den, dass die gesamte Evidenz vom Anbieter selbst stamme. Vollständige Entwarnung ist es nicht, denn die DeepMind-Prüfung war eine von Anthropic angefragte Review, keine gegen die Ergebnisse gerichtete Replikation, und Nanda warnt ausdrücklich vor vielen Fehlalarmen, wenn man solche internen Lesarten überinterpretiert.

Ob interne Signale überhaupt handlungsleitend sind, ist zudem umstritten. Ein aktueller Preprint argumentiert, dass sich Modellfehler trotz nahezu perfekter interner Repräsentation nicht zuverlässig korrigieren lassen, und fordert von Regulierern empirische Wirksamkeitsnachweise statt eines Vertrauensvorschusses für Interpretability (arXiv 2026). Ein zertifizierungsreifes Audit-Werkzeug ist die Jacobian Lens damit nicht, eher ein Forschungsprototyp mit klarer Richtung und ersten externen Bestätigungen. Genau deshalb ist jetzt der richtige Zeitpunkt, die Governance-Frage zu stellen, bevor sich faktische Standards ohne europäische Beteiligung bilden.

Und die Bewusstseinsdebatte?

Die mediale Begleitmusik dreht sich erwartungsgemäß um Bewusstsein. Hier lohnt die Unterscheidung, die Anthropic selbst zieht. Die Befunde sprechen für Eigenschaften eines funktionalen Zugriffsbewusstseins, also dafür, dass Information zentral verfügbar gemacht und flexibel genutzt wird. Ob das Modell irgendetwas erlebt, sagen die Experimente ausdrücklich nicht aus. Anthropic bezweifelt sogar, dass ein Experiment das je klären könnte (Anthropic 2026b). Für die Governance-Frage, die hier interessiert, ist die Bewusstseinsdebatte deshalb ein Nebenschauplatz. Wer die Arbeit an ihrer Messmethode misst statt an Schlagzeilen über Maschinenbewusstsein, sieht ein Monitoring-Werkzeug, kein Orakel.

Offene Frage

Der AI Act verlangt von Anbietern den Nachweis beherrschter Risiken, während die Forschung gerade erst lernt, das Innenleben der Modelle überhaupt zu lesen. Die spannende Frage der nächsten Jahre lautet daher, ob Aufsicht und Standardisierung Verfahren wie Hidden-State-Monitoring in ihre Auslegung des Stands der Technik aufnehmen und wer die Deutungshoheit über diese Werkzeuge bekommt. Solange bei den führenden proprietären Modellen nur die Anbieter selbst in ihre Systeme hineinsehen können, bleibt unabhängige Aufsicht dort strukturell auf Sichtprüfung am Output beschränkt. Ich würde erwarten, dass sich hier in den kommenden zwei Jahren ein eigenes Feld zwischen Interpretability-Forschung, Auditierung und Regulatorik bildet. Unternehmen, die heute agentische Systeme einführen, tun gut daran, diese Entwicklung nicht den Anbietern allein zu überlassen.

Quellen