Menschenrechte first: EU-Außengrenzen, Migration und der AI-Act

KI-Anwendungen zur Sicherung der Außengrenzen und in den EU-Großdatenbanken

Ein breites Bündnis von Organisationen der Zivilgesellschaft, darunter auch D64 – Zentrum für Digitalen Fortschritt e.V., fordert die EU-Institutionen auf, die Menschen und ihre Grundrechte im geplanten AI-Act an die erste Stelle zu setzen und gefährliche Lücken für Hersteller zu schließen. Diese wegweisenden Verhandlungen werden über die endgültige Gesetzgebung entscheiden und darüber, wie grundlegend die Menschenrechte wirklich sind. Der AI-Act ist eine der digitalpolitisch umfassendsten Gesetzgebungen seit der DSGVO und noch haben wir als Zivilgesellschaft die Möglichkeit, diese mitzugestalten. Während im AI-Act für generative Foundation-Modelle große Erfolge – besonders im Monitoring der Umweltstandards, in der Risikofolgenabschätzung sowie bei der Grundrechtsabschätzung erzielt wurden – wollen wir in diesem Beitrag auf einen weniger thematisierten Aspekt eingehen, nämlich den Einsatz von KI-Anwendungen zur Sicherung der EU-Außengrenzen und in den Asyldatenbanken.

Zur Situation an den Außengrenzen erschien am 10. Juli 2023 ein umfassender Bericht von Statewatch, der deutlich aufzeigt, in welchem Maß die EU plant, ihre Ausgaben beim Grenzschutz zu erhöhen. Für den Zeitraum von 2021 bis 2027 ist ein Budget von 43,9 Milliarden Euro geplant, verglichen mit 19,7 Milliarden Euro von 2014 bis 2020, d.h. eine Steigerung der Ausgaben für den Grenzschutz an den EU-Außengrenzen um 123 %. Natürlich wird nicht alles davon für technologische Anwendungen verwendet werden, aber ein beträchtlicher Teil, wie der Bericht detailliert ausführt.

Von der Grenze in den öffentlichen Raum

Datenschützer:innen warnen bereits seit Jahren vor der Verwendung von biometrischen Technologien zur Identifizierung im öffentlichen Raum, ob in Echtzeit oder nicht. Die Verknüpfung mit den Profilen der EU-Großdatenbanken, wie in den Asylverfahren, ist dabei besonders bedenklich. So können Schutzsuchende im öffentlichen Raum identifiziert werden und diese Daten auch umgehend mit den polizeilichen Datenbanken der Mitgliedstaaten abgeglichen werden. Die Allianz der Grundrechtsaktivist:innen fordert außerdem, dass die Nutzung biometrischer Anwendungen in den anstehenden Trilog-Verhandlungen eingeschränkt wird.

Im Fokus der Verhandlungen des Vorschlags der Europäischen Kommission zum AI-Act stehen folgenden Technologien für Migration und Grenzen: Großdatenbanken, biometrische Erkennung und prädiktive Analysesysteme. Das Ziel der EU-Institutionen ist hier, wie auch in anderen Bereichen, die Risiken zu analysieren und einen Rahmen für ihren grundrechtsgemäßen Einsatz zu schaffen. Also damit für Produktion, Verkauf und Export Rechtssicherheit für grundrechtsgefährdende KI-Technologien zu bieten.

Blinde Flecken

Die vom Rat vorgeschlagenen Ausnahmen von KI-Systemen zur nationalen Sicherheit würden bedeuten, dass Systeme im Zusammenhang mit Strafverfolgung, Sicherheit und Migrationskontrolle gänzlich vom Anwendungsbereich des AI-Acts ausgenommen wären. Obwohl sie jedoch viel größere Schäden und Verletzungen der Grundrechte verursachen können, vor denen der AI-Act eigentlich schützen soll. Migrant:innen und Flüchtende als besonders vulnerable Gruppen würden noch höherem Risiko und Willkür ausgesetzt und die Gefahr besteht, dass die Verletzung der Grundrechte dieser Gruppe stillschweigend akzeptiert werden wird.

Im AI-Act werden drei verschiedene Risiko-Stufen vorgeschlagen: inakzeptabel (verboten); hohes Risiko (die Nutzung muss bestimmte Anforderungen erfüllen); und geringes Risiko oder „Anwendungen mit besonderen Transparenzverpflichtungen“. Diesen dreistufigen „risikobasierten Ansatz“ stellte D64 schon in seiner Stellungnahme zum Weißbuch 2021 als zu undifferenziert dar und empfahl eine „tastende“ Kategorisierung. Hier sind die Auswirkungen der Anwendungen vorab kaum einzuschätzen und daher besonders gefährlich.

Das Mindeste

Die wichtigsten Forderungen sind hier:

  1. Ablehnung der Aussparung von KI-Systemen zur nationalen Sicherheit aus dem AI-Act, sowie die Verpflichtung für die Betreiber:innen von KI-Systemen, vor dem Einsatz von risikoreichen KI-Systemen eine grundrechtliche Folgenabschätzung durchzuführen.
  2. Die Verpflichtung der in der EU produzierenden Unternehmen zum AI-Act, auch wenn ihre Systeme außerhalb der EU angewendet werden.
  3. Ein Verbot des experimentellen Einsatzes von KI-Systemen an Schutzsuchenden. Nur so kann KI sicher und verantwortungsvoll eingesetzt und entwickelt werden. Insbesondere ein Verbot von automatisierten Risikobewertungen und Profiling-Systemen, prädiktiver Analytik zur Vorhersage von Migrationsbewegungen, Emotionserkennung und biometrischer Kategorisierungssysteme.
  4. Keine Ausnahmen: Systeme zur biometrischen Fernidentifizierung und Massenüberwachung müssen ohne Ausnahmen im öffentlichen Raum verboten werden.
  5. Die Großdatenbanken der EU dürfen auf keinen Fall von den Regelungen des AI-Acts ausgenommen werden. Auch nicht für die geplante automatisierte Profilerstellung. Der Vorschlag der Kommission zielt auch darauf ab, die großen IT-Systeme der EU (z.B. EURODAC) von den Bestimmungen des KI-Aktes auszunehmen, obwohl – oder vielleicht gerade weil – sie bald Technologien zur automatischen Profilerstellung enthalten, die ansonsten in die Hochrisiko-Kategorie eingestuft würden.

Zum Ende einige Beispiele

Statewatch weist auf das von der EU geförderte Projekt „iBorderCtrl“ hin, das nach der aktuellen Regulierung erlaubt wäre, allerdings in der Kategorie hohes Risiko. Ebenso können sich prädiktive Analysesysteme auf verschiedene Arten von KI-Technologie stützen. In Kombination mit Grenzüberwachungssystemen können sie zur Unterstützung der Organisation von illegalen Pushbacks eingesetzt werden. Nach dem AI-Act würden sie als geringes Risiko eingestuft.

Andere Projekte sind:

FOLDOUT

ITFLOWS


D64 unterstützt seit Juni auch die Initiative ProtectNotSurveil. Zur Vorstellung der Initiative und der Hauptproblematiken des Themas laden wir alle Interessierten am Mittwoch, 6. September 2023, ab 19:30 Uhr ein. An der Veranstaltung kann online teilgenommen werden: https://meet.ffmuc.net/D64D64protectnotsurveil060923