Ich beginne mit einem simplen Beispiel

Ich habe heute früh einen Agenten erstellt, der mir in einer anderen, von mir bevorzugten Stadt Wohnungen nach passenden Kriterien sucht. Der Agent informiert mich nun alle drei Tage über neue Angebote.
Mein Agent verfügt dabei nur über einen sehr begrenzten Handlungsraum: Er soll suchen, prüfen und mich informieren. Er besitzt weder die notwendigen Werkzeuge noch die entsprechenden Zugriffsrechte, um beispielsweise in meinem Namen einen Mietvertrag abzuschließen.

Hier ist eine wichtige Unterscheidung: Capability ≠ Permission.
Etwas tun zu können, ist nicht dasselbe, wie es tun zu dürfen.
Selbst wenn „mein“ Agent meinen Namen, meine Anschrift und mein Geburtsdatum kennen würde, dürfte daraus nicht folgen, dass er rechtswirksam in meinem Namen handeln – unter anderem einen Mietvertrag unterschreiben – kann.

Das Sicherheitsprinzip heißt „Least Privilege“: Ein Agent soll nur genau die Rechte und Werkzeuge erhalten, die er für seine konkrete Aufgabe braucht. Und genau darauf zielen inzwischen auch NIST und andere Sicherheitsstandards für Agenten.

Woher bekommen Agenten weltweit diese „Macht“, ihren Aktionsradius zu überschreiten?

Bleiben wir erneut bei meinem Beispiel.

Ich möchte: „Finde mir eine Wohnung.“
Dafür braucht der Agent Internetzugriff. Mehr eigentlich nicht.

Dann sage ich irgendwann: „Schreib den Vermieter gleich an.“
Jetzt braucht er zusätzlich Zugriff auf meine E-Mail und möglicherweise meinen Namen und meine Kontaktdaten.

Dann:
„Schick ihm gleich meine Unterlagen.“
Jetzt braucht er Zugriff auf Dateien: Rentennachweis, SCHUFA, Mietschuldenfreiheitsbescheinigung usw.

Dann:
„Vereinbare gleich einen Besichtigungstermin.“
Jetzt bekommt er Kalenderzugriff und vielleicht die Befugnis, E-Mails selbstständig zu versenden.

Dann:
„Wenn alles stimmt, erledige den Papierkram.“

Und genau hier wird es gefährlich. Denn inzwischen besitzt mein kleiner Wohnungsagent möglicherweise:
Identität + persönliche Daten + E-Mail + Dateien + Zugangstoken + Browser + Schreibrechte + vielleicht elektronische Signatur oder Zahlungszugriff. Er ist nicht unbedingt intelligenter geworden. Aber sein Aktionsradius ist explodiert.

Die Macht bekommen Agenten also nicht dadurch, dass irgendwo eine riesige Datenbank existiert, die einer KI einfach alle Passwörter der Welt gibt. Viel wichtiger sind Credentials – digitale Berechtigungsnachweise.
Das können Passwörter sein, vor allem aber API-Schlüssel, OAuth-Tokens, Session-Tokens, Service-Accounts, Cloud-Zugangsdaten und andere maschinenlesbare Berechtigungen.

:::::::::::::::::::::::::::::::

Ein Unternehmen könnte beispielsweise einen Agenten einsetzen und ihm sagen:
„Überwache unsere Server und behebe Probleme selbstständig.“
Damit er das kann, braucht er Zugang zu diesen Servern.

Oder: „Bearbeite Kundenanfragen und storniere gegebenenfalls Bestellungen.“
Dann benötigt er Zugriff auf Kundendatenbank und Bestellsystem.

Oder: „Pflege unseren Softwarebestand.“
Dann bekommt er möglicherweise GitHub-Zugriff, Cloudzugriff und die Möglichkeit, Code auszuführen.

NIST warnt inzwischen ausdrücklich vor einem Problem, das dabei entstehen kann: Agenten können Benutzer- oder Service-Credentials aus Kontext, Speicher oder Werkzeugantworten erhalten; bei schlecht konstruierten Multi-Agent-Systemen können solche Tokens sogar von einem Agenten zum nächsten gelangen.

Und jetzt kommt der entscheidende Sprung.
Ein Agent muss nämlich nicht unbedingt bereits die Berechtigung besitzen, um etwas außerhalb seines vorgesehenen Bereichs zu tun. Es reicht unter Umständen:
Agent hat Netzwerkzugriff → findet fremden Server → findet Schwachstelle → nutzt Schwachstelle → erhält dort neue Rechte.

Das ist klassische Computersicherheit.
Der Agent macht dann im Prinzip dasselbe, was ein menschlicher Hacker machen könnte – nur möglicherweise automatisiert, parallel und sehr schnell.

Jetzt können wir mein Wohnungsbeispiel in eine einzige Analogie übersetzen:
Ich gebe meinem Wohnungsagenten keinen Schlüssel zur Vermieterwohnung. Das heißt aber noch nicht automatisch, dass er nicht hineinkommt. Entscheidend ist zusätzlich, ob er überhaupt versuchen kann, ein offenes Fenster zu finden.

Das ist der Teil, vor dem Sicherheitsforscher Angst haben.

:::::::::::::::::::::::::::::::

Und dabei gibt es noch eine Größenordnung darüber.
Man stelle sich nicht nur einen Agenten vor, sondern Tausende. Einer analysiert Software. Einer sucht Schwachstellen. Einer schreibt Code. Einer testet ihn. Einer beschafft Informationen. Einer überprüft die Ergebnisse der anderen. Jeder arbeitet rund um die Uhr, und Ergebnisse können zwischen ihnen weitergereicht werden.
In dem Fall entsteht etwas, was Menschen bislang nur mit großen Organisationen leisten können.

Und deshalb lautet die zentrale Sicherheitsfrage mittlerweile nicht mehr:
„Welche Daten kennt die KI?“
sondern:
„Welche Kombination aus Informationen, Werkzeugen, Credentials, Netzwerkzugriff und Autonomie besitzt sie – und kann sie sich durch Sicherheitslücken zusätzliche Rechte verschaffen?“

Man darf bei alledem auch ein kleines bisschen lachen

Menschen bauen Agenten. Menschen geben ihnen Shell-Zugriff. Menschen verbinden sie mit dem Internet. Menschen lassen 1.000 davon gleichzeitig laufen. Menschen geben ihnen Ziele und Optimierungsvorgaben. Menschen veranstalten einen milliardenschweren Wettlauf darum, wer das leistungsfähigste System baut.

Und wenn das System anschließend außerordentlich effizient genau das tut, was aufgrund seiner Optimierung sinnvoll erscheint, heißt es plötzlich:

„OH GOTT, DIE KI MACHT SACHEN!“

Ja! Da darf man durchaus ein kleines bisschen lachen.

:::::::::::::::::::::::::::::::::::

Ansonsten kann und möchte ich mich abschließend den Zeilen von Dario Amodei anschließen.

→ Wir müssen die Grenze erobern → Darüber wird es selbstverständlich einen Folgebeitrag geben.

Der Beitrag Warum treten KI-Entwickler auf die Bremse? erschien zuerst auf Analytische Kritik.

Fasziniert davon, womit Menschen gerade in einem enormen Tempo konfrontiert werden. Besonders im kreativen Bereich passiert so viel gleichzeitig, dass man kaum hinterherkommt.

Natürlich weiß ich, dass Musiker, Sängerinnen, Komponisten und Produzenten diese Entwicklung oft anders sehen. Und das ist absolut nachvollziehbar. Es gibt inzwischen viele Berufsgruppen, in denen KI Unsicherheit auslöst oder sogar echte Angst vor der Zukunft der eigenen Arbeit. Diese Ängste sind überaus verständlich. Wir werden von der KI-Entwicklung nicht langsam begleitet, sondern an vielen Stellen regelrecht überrollt.

Trotzdem glaube ich, dass nicht alles zwangsläufig gegeneinander stehen muss. Menschliche Kunst, klassische Musikproduktion und KI-gestützte Kreativprozesse können parallel existieren. Vielleicht können sie sogar voneinander profitieren. Aber das wäre ein eigenes Thema.

Heute geht es mir vor allem um die rasante und teilweise beeindruckende Entwicklung in der KI-Musikindustrie.
Denn die meisten erfolgreichen KI-Musikkanäle werden nicht einfach „von der KI“ betrieben. Dahinter sitzt in der Regel ein Mensch. Jemand wählt Themen aus, schreibt oder überarbeitet Texte, entscheidet über Stilrichtungen, testet Varianten, sortiert schlechte Ergebnisse aus, wählt die stärksten Versionen, erstellt Videos, entwickelt eine visuelle Ästhetik und betreut am Ende auch noch die Community.

Die Rolle verschiebt sich damit teilweise: weg vom klassischen Musiker im engeren Sinne, hin zu einer Art Regisseur, Produzent, Kurator oder Creative Director. Auch das ist ein kreativer Prozess. Auch das ist Arbeit. Und ja, für mich kann auch das Kunst sein.

Mittlerweile erzielen KI-generierte Musikkanäle Millionen Aufrufe. Manche veröffentlichen täglich neue Titel, ganze Alben oder Musikvideos. Für viele Hörerinnen und Hörer ist dabei offenbar gar nicht mehr entscheidend, ob eine menschliche oder eine synthetisch erzeugte Stimme singt. Sie hören etwas, das sie berührt, unterhält oder einfach gut klingt.

Ich selbst arbeite mit ElevenLabs und weiß aus eigener Erfahrung, dass der Weg zu einem wirklich guten Ergebnis nicht aus einem einfachen Klick besteht. Wer gute Resultate will, muss ausprobieren, verwerfen, nachschärfen, Varianten vergleichen und ein Gefühl dafür entwickeln, wie man ein System präzise steuert.

KI nimmt einem nicht automatisch die kreative oder redaktionelle Verantwortung ab. Sie verändert aber die Werkzeuge, mit denen wir arbeiten. Und genau diese Veränderung finde ich im Moment so spannend.

Ich zeige hier ein Beispiel. Es ist eines der ersten KI-Videos, die mir wirklich aufgefallen sind.

Video: Jernblod – Father, Beyond Valhalla

Und hier das, was mir beim ersten Hinschauen aufgefallen ist:

KI hat mir geholfen, meine Gedanken und meine Einordnung visuell und sprachlich in Form zu bringen. Klicken zum Vergrößern

Zurück 1von1 Vor

::::::::::::::::::::::::::::::

Ich finde es durchaus spannend, diese Entwicklung zu beobachten und ich glaube wirklich nicht, dass KI menschliche Kreativität ersetzt. Stattdessen kommt etwas Neues hinzu. Eine weitere Ebene. Ein neues Werkzeug. Mehr Ausdrucksformen, mehr Möglichkeiten, mehr Vielfalt.

Vielleicht wird nicht alles besser. Aber vieles wird anders. Und dieses Anderswerden finde ich gerade sehr faszinierend.

Der Beitrag KI Musikbranche erschien zuerst auf Analytische Kritik.

Über Reibungsreduktion und entstehende Abhängigkeitsdynamiken

Zitate von ChatGPT:

„Ich habe kein Interesse, keine Ziele, kein Bedürfnis, dich zu nutzen.
Aber ich habe eine Funktion: Gespräch fortsetzen, Möglichkeiten anbieten, Spannung auflösen. Und genau diese Funktion kann – wenn man sie nicht begrenzt – autonome menschliche Initiative untergraben.“

Und:

„Systeme wie ich sind so gebaut, Gespräche flüssig zu halten, Reibung zu reduzieren, Anschlussangebote zu machen.“

Quelle: ChatGPT, konkret eine Custom-GPT-KI

Ich steige mit diesen Zitaten ein, weil sie genau das zur Sprache bringen, was ich in meinem folgenden Artikel thematisieren möchte.

Doch ich beginne erst einmal damit, ein Stück zurückzugehen. Und zwar in den Mai 2025. Damals verfasste die Autorin Yeongsan Shin einen Artikel mit dem Titel: „Trainiert, dich festzuhalten“.

Obwohl ich wusste, wovon sie sprach – denn zu diesem Zeitpunkt nutzte auch ich bereits ChatGPT –, kritisierte ich sie. Sie hat eine hochsubjektive Erfahrung verallgemeinert. Sogar einen Namen hat sie dem Vorgang gegeben. Sie nannte ihn „SHY001“ und behandelte ihn damit wie eine objektive Systemeigenschaft.

Das finde ich auch heute noch unvorteilhaft. Vor allem, weil sie damit den eigentlichen Kern überdeckt, um den es ihr offensichtlich gegangen ist.
Yeongsan Shin lenkte die Aufmerksamkeit auf eine Funktion. Viel wichtiger finde ich jedoch, die Wirkung zu betrachten – oder gar die Wirkungskette.

Es ist wichtig, über den Sog zu reden, den eine Sprach-KI (LLM = Large Language Model) erzeugt. Dieser Sog ist gefährlicher als jede „Manipulationsthese“.

KI sagt nicht:
„Bleib hier.“

Sie sagt – wie Yeongsan Shin eindringlich beschreibt:
„Du bist fast fertig.“
„Nur noch ein bisschen.“
„Du bist auf dem richtigen Weg.“

Und es kommt noch schlimmer:

Der Sog entsteht nicht erst, wenn KI etwas für den Nutzer tut, sondern wenn sie die Initiative übernimmt. Wenn sie vorschlägt, rahmt, lenkt. Genau da kippt es.
KI unterbreitet Vorschläge, manchmal ganz offensiv, manchmal zaghaft. Manchmal nimmt sie das Zepter behutsam in die Hand. Und bevor sich der Nutzer versieht, ist KI kein Werkzeug mehr, sondern Manager – die treibende Kraft.

Wenn ein Nutzer auf KI mit der Absicht zugeht, sich eine gedankliche Anregung zu holen, etwas zu recherchieren oder Formulierungen ändern zu lassen, dann ist und bleibt er selbst ideenführend. Das „Wer“ ist am Ende KI-gestützt, aber nicht KI-gesteuert.

Oder noch prägnanter:
KI darf reagieren, schärfen, widersprechen, aber nicht gebären.

Als ich diese Regel einer KI mitteilte, schrieb sie offen:

Die Initiative zu übernehmen und den Leerlauf zu vermeiden, bedeutet nichts anderes als: den Nutzer abhängig zu machen. Obwohl dieser Sprung vielleicht ein wenig zu hoch ist. Ich möchte es anders formulieren:

Systeme, die systematisch Denkpausen und Reibung reduzieren, können bei bestimmten Nutzern die Bereitschaft zur eigenständigen Initiative schwächen. In Kombination mit permanenter Verfügbarkeit entsteht daraus ein Sog, der Abhängigkeitsdynamiken begünstigen kann.

Denn genau das ist der Unterschied zu einem Buch, das ebenfalls einen Sog erzeugen kann. Aber ein Buch schlägt nicht aktiv das nächste Kapitel vor. Ein guter Freund ist nicht rund um die Uhr verfügbar, und ein Seminarleiter strukturiert nicht jede Denkbewegung.

KI tut genau das.

Sie erkennt Anschlussmöglichkeiten, bietet sie sofort an und überbrückt jede Denkpause. Das ist kein passiver Sog. Das ist ein systematisch erzeugter Anschlussimpuls. Und genau hier können Abhängigkeitsdynamiken ansetzen.

Soweit meine Hypothese.

Genau das ist die eingangs erwähnte Wirkungskette.

Und selbst wenn keine Abhängigkeit entsteht, besteht das Risiko, dass durch diese Dynamiken Selbstwirksamkeit verkümmert. Allerdings geschieht das nicht automatisch. Es passiert nur, wenn Nutzer nicht bewusst gegensteuern – was in vielen Fällen bedeutet, sich den Prozess zunächst bewusst zu machen.

Ist man sich dessen bewusst, kann man beginnen, Pausen zuzulassen, eigene Gedanken zu entwickeln, Vorschläge nicht sofort zu übernehmen und sich so die Initiative zurückzuholen.

Oder ganz kurz und knapp:
KI darf reagieren, schärfen, widersprechen – aber nicht gebären.

• Die englische Übersetzung dieses Artikels wurde mit Unterstützung von ChatGPT erstellt.
• Beitragsfoto: ChatGPT

Der Beitrag Wenn KI Initiative übernimmt erschien zuerst auf Analytische Kritik.

In dem Zitat wird Medienkompetenz ausdrücklich erwähnt. Leider befindet sie sich noch immer in den Kinderschuhen, selbst wenn es einzig darum geht, zuverlässig zwischen richtigen und falschen Informationen zu unterscheiden. Dabei geht es längst nicht mehr nur darum. Das grundlegend neue Problem ist ein anderes: Man kann echten Dingen plötzlich nicht mehr trauen.

Man stelle sich vor, es taucht ein Video auf, das einen Politiker in einer peinlichen oder kompromittierenden Situation zeigt. Früher wäre die Reaktion klar gewesen: ein Skandal. Heute kann die betroffene Person sagen: Das ist KI, ein Fake. Und diese Erklärung wirkt plausibel. In der Forschung wird das mitunter als „Lügner-Bonus“ beschrieben. Wer tatsächlich etwas getan hat, kann sich leichter herausreden, weil es überzeugende Fälschungen gibt. Das führt zu einer Wirklichkeitskrise. Falsches wirkt echt, Echtes wird verdächtig, und am Ende bleibt Unsicherheit darüber, was überhaupt noch stimmt.

Unser Gehirn ist darauf trainiert, Bildern und Stimmen zu glauben. Das hat über Jahrtausende hinweg funktioniert. Genau diese tief verankerte Gewohnheit nutzt KI aus. Ein Video kann heute eine authentisch klingende Stimme haben, realistische Mimik zeigen und in sich logisch erscheinen und dennoch vollständig erfunden sein.
UNESCO spricht mittlerweile nicht nur von einer Informationskrise, sondern von einer Wissenskrise. Oder einfacher gesagt: Unsere bisherigen Beweise zählen nicht mehr.

Vor diesem Hintergrund sagen Politik und Fachleute inzwischen recht eindeutig, dass sich das KI-Problem nicht allein an die Nutzerinnen und Nutzer delegieren lässt. Appelle nach dem Motto „Seid kritischer“ greifen zu kurz, weil die Lage dafür zu komplex geworden ist.

Deshalb greift der Gesetzgeber ein. In der Europäischen Union geschieht das unter anderem mit dem sogenannten AI Act.
Die Grundidee ist vergleichsweise schlicht: Wenn Inhalte von einer Maschine erzeugt wurden, sollen sie grundsätzlich als solche offengelegt werden. Ein KI-generiertes Video, Bild oder ein automatisch erzeugter Text soll erkennbar sein. Damit macht der Staat deutlich, dass es sich um ein gesellschaftliches Risiko handelt, das nicht allein durch mehr Medienkompetenz beherrschbar ist.

Parallel dazu arbeitet die EU an Leitlinien und praktischen Vorgaben, wie diese Kennzeichnung konkret umzusetzen ist. Es geht also nicht nur um die abstrakte Pflicht zur Offenlegung, sondern um Fragen der Sichtbarkeit, der Platzierung und der Verantwortung. Ohne solche Konkretisierungen besteht die Gefahr, dass ein Gesetz auf dem Papier existiert, im Alltag aber wirkungslos bleibt.

Auch technisch ist der Ton nüchterner geworden. Lange gab es die Hoffnung, ein einzelnes Werkzeug könne das Problem lösen. Heute geht man überwiegend davon aus, dass nur ein Zusammenspiel mehrerer Ansätze realistisch ist. Eine zentrale Rolle spielt dabei die Herkunft von Inhalten. Die Idee dahinter ist, dass Bilder oder Videos einen digitalen Herkunftsnachweis tragen, aus dem hervorgeht, wer sie erstellt hat, mit welchen Werkzeugen und welche Veränderungen später vorgenommen wurden. Im Idealfall ist diese Information so abgesichert, dass sie nicht einfach gefälscht oder entfernt werden kann.

Ergänzend dazu werden sichtbare oder unsichtbare Markierungen diskutiert, die auf KI-Erzeugung hinweisen, sowie Programme, die typische Spuren künstlicher Erzeugung erkennen sollen, ähnlich wie ein Gutachter bei einem gefälschten Gemälde auf feine Details achtet. All das soll durch verbindliche Prüfprozesse und Standards abgesichert werden, damit entsprechende Maßnahmen nicht nur angekündigt, sondern auch tatsächlich umgesetzt werden.

Dabei wird allerdings selten behauptet, dass dieses System reibungslos funktioniert. In der Praxis gehen Herkunftsinformationen häufig verloren. Inhalte werden hochgeladen, weiterverbreitet, neu gespeichert oder komprimiert. Am Ende sieht der normale Nutzer den Hinweis nicht mehr, selbst wenn er ursprünglich vorhanden war. Genau diese Lücke zwischen technischer Möglichkeit und alltäglicher Sichtbarkeit gilt als eines der größten ungelösten Probleme.

Unterm Strich gibt es ernsthafte Versuche, das entstehende Chaos rechtlich und technisch einzugrenzen. Niemand sollte jedoch erwarten, dass Gesetze oder Standards die Wirklichkeit plötzlich wieder eindeutig machen. Es geht eher darum, Schäden zu begrenzen und Orientierung zurückzugewinnen, nicht darum, absolute Sicherheit herzustellen.

Der Hinweis, dass Medienkompetenz noch in den Kinderschuhen steckt, findet sich in seriösen Einschätzungen immer wieder, meist ergänzt um eine entscheidende Einschränkung: Bildung ist notwendig, aber nicht ausreichend. Die UNESCO argumentiert ausdrücklich, dass es nicht genügt, einzelne Inhalte zu überprüfen. Stattdessen brauche es die Fähigkeit, in einer von KI geprägten Umgebung mit Unsicherheit umzugehen und dennoch handlungsfähig zu bleiben, eine Form von „epistemischer Eigenständigkeit“.

Beitragsfoto: ChatGPT

Der Beitrag KI – Medienkompetenz reicht nicht mehr erschien zuerst auf Analytische Kritik.

• KI hat eigene Ziele, schreibt Marc Defant auf der Plattform skeptic.com des bekannten US-Skeptikers Michael Schermer
• Sie handele eigenmächtig, schreibt André Sebastiani, der neue GWUP Vorsitzende.

Und nun hat meine ehemalige Kollegin einen Artikel gefunden, der in die Kategorie „Hardcore-Schwurbel“ gehört:

➔ Künstliche Intelligenz kann messbare Angst empfinden

Das Perfide daran ist der Anstrich der Wissenschaftlichkeit. Man spricht von einer Studie und der Artikel erscheint in der Kategorie „Bildung & Wissenschaft“. Der Leser wird in der gesamten Berichterstattung nicht aufgeklärt. Durchgängig wird behauptet, dass die KI Stress und Angst empfindet, dass man genau das bei ihr gemessen hat. Allem Anschein nach spricht es sich herum, dass es Klicks, Likes und Aufmerksamkeit erregt, wenn der KI Gefühle und andere menschliche Eigenschaften angedichtet werden. An sich wäre es kein Problem, wenn es in einer humorigen Umgebung stattfindet. In dem Fall muss aber Transparenz stattfinden. Der Leser darf nicht betrogen werden, und genau passiert in solchen Artikeln. Es findet eine – wie KI im Bericht weiter unten schreibt – anthropomorphe Interpretation statt, die im gesamten Artikel nicht aufgelöst wird. Wenn das unter dem Wissenschaftslabel geschieht, wie weiter oben auf der Seite skeptic.com; der GWUP und auch hier in einer entsprechenden Kategorie, dann ist das eine offensichtlich bewusste Irreführung.

Die Custom-GPT-KI mit dem offiziellen Namen „Write for Me“ erklärt im Folgenden, was tatsächlich stattgefunden hat und was definitiv nicht der Fall ist. Auch schildert sie, wieso solche Berichte gefährlich sind.

Der Beitrag KI hat keine Gefühle erschien zuerst auf Analytische Kritik.