Mit einem Update in diesem Jahr plant Apple auf iOS-Geräten wie iPhones und iPads eine Technik zu installieren, die es ermöglichen soll, Fotos auf den Endgeräten noch vor dem Upload in die Cloud auf Darstellungen von Kindesmissbrauch zu überprüfen. Damit geht Apple einen gefährlichen Schritt, denn dieser Eingriff in die Privatsphäre der Nutzer:innen ist weitreichend und lädt zur missbräuchlichen Nutzung ein. Um diesen Dammbruch zu verhindern, fordert D64 – Zentrum für Digitalen Fortschritt gemeinsam mit Tausenden anderen Apple auf, von der Einführung der Technik Abstand zu nehmen.
Apples Ankündigung
Anfang August hat Apple verkündet, dass mit einem Update noch dieses Jahr neue Funktionen mit dem Ziel eines besseren Schutzes von Kindern installiert werden sollen. Dies umfasst vor allem zwei Aspekte: zum einen sollen Kinder gewarnt werden, wenn sie Nachrichten mit sexualisiertem Bildmaterial erhalten (Child Sexual Abuse Material (CSAM)) und auch ihre Eltern darüber informiert werden, wenn sie diese öffnen oder selber kritische Inhalte verschicken. Zum anderen möchte Apple Bilder vor einem Upload in die iCloud auf CSAM Inhalte prüfen. Diese Prüfung soll folgendermaßen ablaufen: Wenn ein Foto in der Cloud gespeichert werden soll, wird noch vor dem Upload ein Algorithmus das Bild auf dem Gerät (on-device) gegen einen Hashwert (Fingerprints) von bekannten Fotos mit Darstellungen von Kindesmissbrauch aus einer CSAM Datenbank abgleichen. Ab einem bestimmten Grenzwert an Übereinstimmungen zwischen den Inhalten gibt es eine Meldung und Mitarbeitende prüfen manuell die einzelnen Zuordnungen. Sollte sich der Verdachtsfall bestätigen, deaktiviert Apple den Account und informiert die entsprechenden behördlichen Stellen.
Der Dammbruch: Das eigene Gerät wird zur Wanze
Auch wenn sich Apples Vorgehen zunächst auf Inhalte beschränkt, die in die iCloud hochgeladen werden und dem Konzern damit grundsätzlich unverschlüsselt zur Verfügung stehen, gibt es doch einen fundamentalen Unterschied zu den Cloud-Monitoring-Maßnahmen anderer Anbieter wie Google oder Microsoft. Indem Apple eine Technologie einsetzt, die die Bilder bereits auf dem Gerät scannt, gibt es in technischer Hinsicht keine Einschränkung, welche Inhalte überprüft werden. Es ist also nicht erforderlich, dass das Material hochgeladen wurde – das man damit bewusst „aus den Händen“ gibt -, sondern potentiell jeder Inhalt, der sich auf dem eigenen Handy befindet, kann überprüft werden. Apple hat bereits angekündigt, dass es grundsätzlich bereit ist, die Technologie den Anbieter:innen anderer Apps zur Verfügung zustellen. Ende-zu-Ende-Verschlüsselung und andere Maßnahmen, die gewährleisten, dass private Kommunikation grundsätzlich privat bleibt, werden aber wertlos, wenn „das Ende“ (das Gerät, auf dem der Inhalt ankommt) selbst die Überwachungsmaßnahme vornimmt. Doch gerade diese Verschlüsselung erlaubt eine vertrauensvolle Kommunikation, die Berufsgeheimnisträger:innen wie Anwält:innen oder (Informant:innen von) Journalist:innen schützt.
Es ist davon auszugehen, dass es nicht bei der Überprüfung von CSAM Inhalten bei Bildern in der Cloud bleiben wird. Hat Apple die Technologie erst einmal eingeführt, wird es nur ein kleiner Schritt sein, die Anwendungsbereiche zu erweitern. Naheliegend wäre dabei zunächst die Aufhebung der Beschränkung auf Bilder, die in die Cloud hochgeladen werden. Ein nächster Schritt wäre die Ausweitung auf terroristische Inhalte. In autoritären Regimen, die man auch innerhalb der Grenzen der EU findet, kann dies schnell zum Missbrauch führen, wenn die Regierung die Kennzeichen oppositioneller Organisationen oder verfolgter Gruppen (man denke nur an den Druck, den LGBTIQ-Communities in vielen Ländern ausgesetzt sind) in die Abgleichdatenbanken einfügt.
D64 Co-Vorsitzender Henning Tillmann macht deshalb deutlich:
„Wenn on-device jeder Content gecheckt wird, ist das mehr Dystopie als ein Fortschritt bei der Kriminalitätsbekämpfung.“
Technische Unsicherheiten
Dazu kommt: Die eingesetzte Technologie ist keineswegs fehlerfrei. Die Entscheidungen des eingesetzten Machine Learning-Algorithmus sind nicht nachvollziehbar, potentiell aber manipulierbar. Die Fingerprints von Bildern sind nicht unbedingt eindeutig, mehrere Fotos können den gleichen – oder einen sehr ähnlichen – Fingerprint ausgeben. So wäre es möglich, einer anderen Person gezielt Bilder zu schicken, die unproblematisch sind, aber von dem Algorithmus trotzdem als gefährlich erkannt werden. So ließen sich gezielt Strafverfolgungsmaßnahmen gegen Dritte herbeiführen. Je nach Qualität der menschlichen Kontrolle kann dies zu Fehlanschuldigungen mit weitreichenden Konsequenzen führen.
Offener Brief gegen Apples Vorgehen
Die Büchse der Pandora, die die Einführung von Apples Abgleichungstechnologien mit sich zieht, wird nicht wieder zu schließen sein. Die Möglichkeiten zum Missbrauch sind groß. Aus diesen Gründen haben wir uns einer internationalen Gemeinschaft aus Organisationen und Privatpersonen angeschlossen und einen offenen Brief an Apple unterschrieben.
Die zwei zentralen Forderungen sind:
1. Apple soll die Einführung seiner Monitoring Technologie sofort stoppen.
2. Apple soll in einer Mitteilung seine Verpflichtung zu Ende-zu-Ende Verschlüsselung und der Privatsphäre der Nutzer:innen bekräftigen.
