(Eine einsteigerfreundliche Erklärung)
Ich beginne mit einem simplen Beispiel
Ich habe heute früh einen Agenten erstellt, der mir in einer anderen, von mir bevorzugten Stadt Wohnungen nach passenden Kriterien sucht. Der Agent informiert mich nun alle drei Tage über neue Angebote.
Mein Agent verfügt dabei nur über einen sehr begrenzten Handlungsraum: Er soll suchen, prüfen und mich informieren. Er besitzt weder die notwendigen Werkzeuge noch die entsprechenden Zugriffsrechte, um beispielsweise in meinem Namen einen Mietvertrag abzuschließen.
Hier ist eine wichtige Unterscheidung: Capability ≠ Permission.
Etwas tun zu können, ist nicht dasselbe, wie es tun zu dürfen.
Selbst wenn „mein“ Agent meinen Namen, meine Anschrift und mein Geburtsdatum kennen würde, dürfte daraus nicht folgen, dass er rechtswirksam in meinem Namen handeln – unter anderem einen Mietvertrag unterschreiben – kann.
Das Sicherheitsprinzip heißt „Least Privilege“: Ein Agent soll nur genau die Rechte und Werkzeuge erhalten, die er für seine konkrete Aufgabe braucht. Und genau darauf zielen inzwischen auch NIST und andere Sicherheitsstandards für Agenten.
Woher bekommen Agenten weltweit diese „Macht“, ihren Aktionsradius zu überschreiten?
Bleiben wir erneut bei meinem Beispiel.
Ich möchte: „Finde mir eine Wohnung.“
Dafür braucht der Agent Internetzugriff. Mehr eigentlich nicht.
Dann sage ich irgendwann: „Schreib den Vermieter gleich an.“
Jetzt braucht er zusätzlich Zugriff auf meine E-Mail und möglicherweise meinen Namen und meine Kontaktdaten.
Dann:
„Schick ihm gleich meine Unterlagen.“
Jetzt braucht er Zugriff auf Dateien: Rentennachweis, SCHUFA, Mietschuldenfreiheitsbescheinigung usw.
Dann:
„Vereinbare gleich einen Besichtigungstermin.“
Jetzt bekommt er Kalenderzugriff und vielleicht die Befugnis, E-Mails selbstständig zu versenden.
Dann:
„Wenn alles stimmt, erledige den Papierkram.“
Und genau hier wird es gefährlich. Denn inzwischen besitzt mein kleiner Wohnungsagent möglicherweise:
Identität + persönliche Daten + E-Mail + Dateien + Zugangstoken + Browser + Schreibrechte + vielleicht elektronische Signatur oder Zahlungszugriff. Er ist nicht unbedingt intelligenter geworden. Aber sein Aktionsradius ist explodiert.
Die Macht bekommen Agenten also nicht dadurch, dass irgendwo eine riesige Datenbank existiert, die einer KI einfach alle Passwörter der Welt gibt. Viel wichtiger sind Credentials – digitale Berechtigungsnachweise.
Das können Passwörter sein, vor allem aber API-Schlüssel, OAuth-Tokens, Session-Tokens, Service-Accounts, Cloud-Zugangsdaten und andere maschinenlesbare Berechtigungen.
:::::::::::::::::::::::::::::::
Ein Unternehmen könnte beispielsweise einen Agenten einsetzen und ihm sagen:
„Überwache unsere Server und behebe Probleme selbstständig.“
Damit er das kann, braucht er Zugang zu diesen Servern.
Oder: „Bearbeite Kundenanfragen und storniere gegebenenfalls Bestellungen.“
Dann benötigt er Zugriff auf Kundendatenbank und Bestellsystem.
Oder: „Pflege unseren Softwarebestand.“
Dann bekommt er möglicherweise GitHub-Zugriff, Cloudzugriff und die Möglichkeit, Code auszuführen.
NIST warnt inzwischen ausdrücklich vor einem Problem, das dabei entstehen kann: Agenten können Benutzer- oder Service-Credentials aus Kontext, Speicher oder Werkzeugantworten erhalten; bei schlecht konstruierten Multi-Agent-Systemen können solche Tokens sogar von einem Agenten zum nächsten gelangen.
Und jetzt kommt der entscheidende Sprung.
Ein Agent muss nämlich nicht unbedingt bereits die Berechtigung besitzen, um etwas außerhalb seines vorgesehenen Bereichs zu tun. Es reicht unter Umständen:
Agent hat Netzwerkzugriff → findet fremden Server → findet Schwachstelle → nutzt Schwachstelle → erhält dort neue Rechte.
Das ist klassische Computersicherheit.
Der Agent macht dann im Prinzip dasselbe, was ein menschlicher Hacker machen könnte – nur möglicherweise automatisiert, parallel und sehr schnell.
Jetzt können wir mein Wohnungsbeispiel in eine einzige Analogie übersetzen:
Ich gebe meinem Wohnungsagenten keinen Schlüssel zur Vermieterwohnung. Das heißt aber noch nicht automatisch, dass er nicht hineinkommt. Entscheidend ist zusätzlich, ob er überhaupt versuchen kann, ein offenes Fenster zu finden.
Das ist der Teil, vor dem Sicherheitsforscher Angst haben.
:::::::::::::::::::::::::::::::
Und dabei gibt es noch eine Größenordnung darüber.
Man stelle sich nicht nur einen Agenten vor, sondern Tausende. Einer analysiert Software. Einer sucht Schwachstellen. Einer schreibt Code. Einer testet ihn. Einer beschafft Informationen. Einer überprüft die Ergebnisse der anderen. Jeder arbeitet rund um die Uhr, und Ergebnisse können zwischen ihnen weitergereicht werden.
In dem Fall entsteht etwas, was Menschen bislang nur mit großen Organisationen leisten können.
Und deshalb lautet die zentrale Sicherheitsfrage mittlerweile nicht mehr:
„Welche Daten kennt die KI?“
sondern:
„Welche Kombination aus Informationen, Werkzeugen, Credentials, Netzwerkzugriff und Autonomie besitzt sie – und kann sie sich durch Sicherheitslücken zusätzliche Rechte verschaffen?“
Man darf bei alledem auch ein kleines bisschen lachen
Menschen bauen Agenten. Menschen geben ihnen Shell-Zugriff. Menschen verbinden sie mit dem Internet. Menschen lassen 1.000 davon gleichzeitig laufen. Menschen geben ihnen Ziele und Optimierungsvorgaben. Menschen veranstalten einen milliardenschweren Wettlauf darum, wer das leistungsfähigste System baut.
Und wenn das System anschließend außerordentlich effizient genau das tut, was aufgrund seiner Optimierung sinnvoll erscheint, heißt es plötzlich:
„OH GOTT, DIE KI MACHT SACHEN!“
Ja! Da darf man durchaus ein kleines bisschen lachen. 🙂
:::::::::::::::::::::::::::::::::::
Ansonsten kann und möchte ich mich abschließend den Zeilen von Dario Amodei anschließen.
→ Wir müssen die Grenze erobern
Über seinen Bericht wird es einen Folgebeitrag geben.