ChatGPT eingefangen: Jetzt muss die EU den Chatbot zähmen

Heute (22. Mai 2023) haben der Binnenmarktausschuss (IMCO) und der Ausschuss für bürgerliche Freiheiten, Justiz und Inneres (LIBE) über die Position des Parlaments zum weltweit ersten umfangreichen KI-Gesetz („AI Act“) abgestimmt. Das EU-Parlament stellt damit sicher, dass KI zukünftig europäische, demokratische Werte respektieren muss. Schädliche KI-Anwendungen, wie wir sie beispielsweise aus China kennen, haben keinen Platz in der EU. 

 

Das Gesetz listet KI-Systeme mit einem „hohen Risiko“ für Gesundheit, Sicherheit oder Menschenrechte auf, wie zum Beispiel bestimmte Systeme, die im Bildungswesen bei Prüfungen/Tests, von der Polizei, während Arbeit zur Einstellung oder Bewertung von Personal, durch Richter zur Unterstützung der Entscheidungsfindung, im Zusammenhang mit Migration oder als Sicherheitskomponenten der Energieinfrastruktur eingesetzt werden. Diese „Hochrisiko“-Systeme müssen dann eine Reihe von Verpflichtungen und technischen Standards erfüllen, wie zum Beispiel, dass sie transparent sein müssen, dass eine menschliche Kontrolle möglich ist, dass sie vor einem Einsatz getestet werden, und so trainiert werden sollen, nicht diskriminierend zu sein und „Bias“ zu beseitigen.  

 

Im Juni gehen die Beschlüsse ins Plenum. Lest hier die Details zur Einführung einer obligatorischen Grundrechtsfolgeeinschätzung, eines Rechts auf Information für Menschen, die von KI-Entscheidungen betroffen sind, sowie die neuen Regeln für große KI-Systeme wie ChatGPT.  

 

Auf dem Tisch liegen außerdem Abstimmungen für Verbote von KI-Systemen (Verbot der Emotionserkennung, der Geschlechts- und Sexualitätserkennung, ein Verbot der Risikoprofilierung für Kriminalität und Betrugsvorhersage, und ein Verbot der Gesichtserkennung Anerkennung im öffentlichen Raum). 

​​ 

Verbotene KI 

 

Die Grünen/EFA haben vorgeschlagen, die Liste der verbotenen Praktiken zu erweitern. Besonders sind folgende Verbote für unsere Fraktion ein Erfolg: 

• „Biometrische Fernidentifizierung“ im öffentlichen Raum – es ist uns gelungen, alle Ausnahmen zu streichen
• Emotionserkennung in der Strafverfolgung, im Grenzmanagement, im Bildungswesen und am Arbeitsplatz
• Vorhersehende Polizeiarbeit („predictive policing“) und Risikoprofilierung für kriminelles Verhalten 
• Biometrische Kategorisierung (Artikel 5(ba)): Es gibt nun ein Verbot von Systemen, die Menschen nach sensiblen Merkmalen kategorisieren oder versuchen, daraus Rückschlüsse zu ziehen, wie etwa über ethnische Zugehörigkeit, Gesundheit, Sexualität oder Geschlecht. Siehe sogenannte „Geschlechts- oder Sexualitätserkennungssysteme“ erstellen von Gesichtserkennungsdatenbanken durch Scraping des Internets: KI-Systeme dürfen nicht mehr darauf trainiert werden, Datenbanken anhand von Profilen von Social-Media-Nutzern oder anderen Internetquellen zu entwickeln. Dies betrifft B. den Fall Clearview AI.
• Das Verbot von Social Scoring: aktuellen Social Scoring-Systeme in China, wurde im KOM-Vorschlag von nur öffentlichen Akteuren auf ein allgemeines Verbot auch für private Akteure ausgeweitet. 

 Allzweck-KI, Foundation-Modelle und generative Sprachmodelle (ChatGPT) 

 

Eines der umstrittensten Themen betrifft Foundation-Modelle, von denen einige in den letzten Monaten populär geworden sind (z. B. ChatGPT, Dall-E, Lensa).  

Laut Fraunhoferinstitut werden Foundation-Modelle auf riesigen Datensätzen vortrainiert und können anschließend auf neue Aufgaben adaptiert werden, indem sie mit einem kleineren, spezifischen Datensatz weitertrainiert werden. Foundation Models bilden die Basis für eine Vielzahl von fortschrittlichen Anwendungen im Bereich des Natural Language Processing (NLP), wie zum Beispiel Textklassifikation, Textgenerierung, Sprachübersetzungen, Sentiment-Analyse oder Frage-Antwort-Systeme. Bekannte Beispiele sind ChatGPT, GPT-4, oder BERT.¹ 

 

 

Anfangs sah es so aus, als würde die große Technologielobby (insbesondere Microsoft und Google) sich erfolgreich sein, diese Art von Systemen vom KI-Gesetz auszunehmen. Eine Sonderregelung hierfür hatte die Kommission zunächst nicht vorgesehen. Nach den Entwicklungen und negativer Berichterstattung rund um ChatGPT änderte sich aber die Positionierung der Mitte-Rechts Mehrheit im Parlament. Dass Allzweck-KI nun mitreguliert wird, ist ein großer Erfolg gegen die Big Tech-Lobby in Brüssel. 

 

Unsere Fraktion hatte hingegen von Anfang an Änderungsanträge gestellt, alle diese Arten von Systemen als Hochrisikosysteme einzustufen und den Anforderungen des KI-Gesetzes zu unterwerfen. Während der Verhandlungen zwangen rasante Entwicklungen wie das Aufkommen von ChatGPT alle Gruppen dazu, ihre Positionen zu überdenken. Dass wir nun ein eigenes Kapitel mit einer Reihe von Pflichten für Stiftungsmodelle haben, ist für uns ein großer Gewinn, auch wenn diese leider nicht alle Pflichten erfüllen müssen, denen Hochrisiko-KI unterliegen würde. 

 

Unser Erfolg: Das EP schlägt ein konkretes Paket (Artikel 28b neu) mit klaren Verpflichtungen für Foundation-Modelle vor, um mögliche Risiken und Schäden zu adressieren, aber auch mehr Rechtsklarheit für Unternehmen und Nutzer in der EU zu schaffen.  

 

Unternehmen, die die sogenannten Foundation-Modelle auf den Markt bringen möchten, müssen Risikobewertungen durchführen und diese Risiken mindern, Daten-Governance-Maßnahmen (einschließlich der Bewertung von Bias) und technische Designanforderungen erfüllen, um ein angemessenes Maß an Vorhersagbarkeit, Interpretierbarkeit, Korrigierbarkeit und Sicherheit sicherzustellen. Sie müssen sich zudem in der EU-Datenbank registrieren, und angeben, woher sie ihre Daten beziehen. 

 

Ein besonders großer grüner Gewinn ist die Aufnahme von Umweltstandards für Foundation-Modelle. Anbieter von Foundation-Modellen werden sicherstellen müssen, dass ihre Systeme im Hinblick auf ihren Energieverbrauch effizient ausgelegt sind und eine Messung ihres Energie-, Ressourcen- und Umwelteinflusses ermöglichen. Die Auswirkungen auf die Umwelt werden endlich messbar. Da Foundation-Modelle oft auf großen Trainings-Datensätzen basieren und daher einen hohen Energieverbrauch haben, werden die Folgenabschätzungen zukünftig ein besseres Verständnis dafür schaffen, wie sich KI-Systeme auf die Umwelt auswirken. Dies wird es sowohl den Herstellern solcher Modelle als auch den Forschern ermöglichen, zukünftige Systeme und Innovation im Einklang mit den Klimazielen zu schaffen. Werden diese Modelle in einem Hochrisikogebiet eingesetzt, gelten Hochrisikopflichten. 

 

Auch Anbieter von Modellen, die in KI-Systemen zur Textgenerierung eingesetzt werden, wie etwa ChatGPT, müssen ihre Praktiken transparenter gestalten. 

 

Während unsere ursprüngliche Forderung, dass grundlegende Modell-/Allzweck-KI-Anbieter alle hohen Risikoanforderungen erfüllen müssen, nicht berücksichtigt wurde, gibt es nun eine Reihe konkreter Designverpflichtungen und Transparenzverpflichtungen für diese großen Modelle. Außerdem werden die Verpflichtungen solche Anbieter dazu anregen, Hochrisiko-Verpflichtungen einzuhalten, wenn sie vorhaben, ihr Modell/System in einem Hochrisikogebiet in der EU einzusetzen. Dadurch wird ein Anreiz zur Einhaltung geschaffen, den wir unterstützen. 

 

Grundrechtsfolgeabschätzung 

 

Eine unserer Prioritäten war die Einführung einer verpflichtenden Grundrechtsfolgenabschätzung für alle Anbieter von Hochrisiko-KI und vor jedem Einsatz von Hochrisiko-KI. Selbst wenn ein Algorithmus genau das tut, was er tun soll und alle technischen Standards erfüllt, gibt es dennoch ein Risiko dass er von öffentlichen und privaten Akteuren unter Verletzung von Grundrechten eingesetzt werden. Wir haben eine obligatorische Grundrechtsfolgenabschätzung für Hochrisiko-KI durchgesetzt. 

 

KI mit hohem Risiko 

 

Bei den Anwendungsbereichen ist es uns gelungen, viele unserer Ansprüche zu berücksichtigen:

• Empfehlungssysteme sozialer Medien (zusätzlich zu den Pflichten im DSA)
• KI-Systeme, die im Bildungsbereich eingesetzt werden, um den Zugang zu Schulen und das Bildungsniveau zu bestimmen, oder Systeme, die zur Überwachung und Erkennung verbotenen Verhaltens von Schüler*innen bei Prüfungen eingesetzt werden (E-Proctoring)
• KI-Systeme im Personalwesen, etwa zur Filterung von Bewerbungen oder zur Bewertung von Kandidat*innen
• KI-Systeme, die von Behörden verwendet werden, um automatisch den Zugang zu Gesundheitsdiensten oder Wohnraum zu entscheiden
• KI-Systeme zur Bewertung der Berechtigung für Kranken- und Lebensversicherungen
• KI-Systeme, die im Migrations-, Asyl- und Grenzkontrollmanagement eingesetzt werden, KI-Systeme, die in der Justiz eingesetzt werden

 Negativ: Die Mitte-Rechts-Mehrheit hat eine Änderung vorgenommen, sodass nur Systeme als Hochrisiko gelten, die sowohl unter einen Bereich und eine Verwendung in Anhang III fallen als auch ein „erhebliches Schadensrisiko“ darstellen. Das reduziert den Anwendungsbereich des Gesetzes, schafft Unklarheiten und wurde von uns stark angefochten. Nun gibt es eine Verpflichtung für Anbieter, eine Selbstbewertung auf der Grundlage der Leitlinien der Kommission vorzunehmen. Dies bedeutet einen Nachteil für „KI made in Europe“, denn es bevorteilt die üblichen Verdächtigen: Konzerne mit hochspezialisierten Rechtsabteilungen und zahlreichen Anwält*innen werden vermutlich die einzigen sein, die künstliche Intelligenz schnell und ohne ständige Klagegefahr einzusetzen können werden. 

 

Nach langen Verhandlungen haben wir uns darauf geeinigt, dass jeder Anbieter, der in die Hochrisikoliste des Anhangs III fällt und nicht davon ausgeht, dass er ein erhebliches Risiko darstellt, also ausgenommen werden möchte, einen Antrag mit Begründung an die Behörde richten muss. Die Behörde muss dann innerhalb von drei Monaten antworten – damit eine Reaktion und eine Prüfung auch wirklich passiert. 

 

Nachhaltigkeit und Umweltstandards für KI 

 

Im Umweltbereich haben wir vier große Erfolge erzielt:

– Berücksichtigung der Umweltrisiken in der Risiko-Definierung (Artikel 1 zum Geltungsbereich und Artikel 6, Absatz 2).

– Es werden verbindliche Design-Verpflichtungen und Umwelt-standards für Allzweck-KI geschaffen (Artikel 28b)

– Sowohl Hochrisiko-KI als auch Foundation-Modelle müssen so gestaltet sein, dass eine Protokollierung der Umweltauswirkungen möglich ist (Artikel 12 in Kapitel 2, Pflichten für Hochrisiko-KI und Artikel 28b zu Grundlagenmodellen)

– Verpflichtende Messung und Berichte von Unternehmen über den „CO2-Fußabdruck und die Energieeffizienz des KI-Systems, insbesondere im Hinblick auf Rechenressourcen, Algorithmendesign und Trainingsprozesse sowie den erwarteten Energieverbrauch während der Nutzung“ in der technischen Dokumentation (in Anhang VI), da die Messung des Energieverbrauchs durchaus möglich ist. Es wird Leitlinien der Kommission geben, in denen die Methodik für diese Berichterstattung festgelegt wird (Artikel 82b Absatz 1 Ziffer viii).

 

EU-Datenbank 

 

Der Kommissionsvorschlag sah lediglich die Registrierung von Anbietern in einer EU-Datenbank vor. Inspiriert durch das Algorithmenregister von Amsterdam haben wir diese EU-Datenbank erweitert, sowohl im Hinblick darauf, wer sich registrieren muss, als auch im Hinblick darauf, welche Informationen sie bereitstellen müssen. Wir haben zusätzlich zu den Anbietern auch die Registrierung von Behörden und Gatekeepern durchsetzen können, die KI nutzen. 

 

Wer muss sich jetzt registrieren? (Artikel 51 und 60) 

– Anbieter von Hochrisiko-KI-Systemen und Basismodellen

– Betreiber von Hochrisiko-KI-Systemen, wenn es sich um öffentliche Behörden oder Gatekeeper innerhalb der EU handelt Bedeutung des Digital Markets Act (große Technologieunternehmen)

– Andere Privatnutzer/-anbieter können sich freiwillig registrieren