Digital selbstbestimmt

Wie wir lernen, Algorithmen in der öffentlichen Verwaltung zu vertrauen

Der Status Quo

Öffentliche Verwaltungen setzen auf Systeme zur automatisierten Entscheidungsfindung (ADM-Systeme), wenn massenhaft ähnliche Vorgänge ausgeführt, komplexe Zusammenhänge analysiert oder Systeme optimiert werden. Verwaltungen verwenden sie bei der Vergabe von Sozialleistungen, in der Finanzverwaltung, bei der Verkehrsplanung, in der Strafverfolgung und in vielen weiteren Bereichen.

Allerdings kriminalisieren, benachteiligen oder übersehen Algorithmen immer wieder bereits marginalisierte Personengruppen. Viele Menschen stehen computergestützten Entscheidungen daher skeptisch gegenüber. Um Vertrauen zu schaffen, fehlt ein regulierender Rahmen für den Einsatz von ADM-Systemen in der öffentlichen Verwaltung – einer Institution, mit der wir alle unausweichlich in Kontakt kommen.

Unsere Vision für 2030

Politische Weichenstellungen haben dazu geführt, dass Menschen der öffentlichen Verwaltung selbstbestimmt gegenübertreten können. Über ein Verwaltungs-Dashboard verschaffen sie sich einen Überblick über ihre personenbezogenen Daten, die für Prozesse in der öffentlichen Verwaltung eingesetzt werden. Sie entscheiden, wann sie welche Daten zur Verfügung stellen und für welche Prozesse sie den Einsatz von Systemen automatisierter Entscheidungsfindung erlauben. Die meisten Menschen begrüßen den Einsatz von ADM-Systemen in der öffentlichen Verwaltung.

Erstens zeigen sich positive Effekte: Kita- und Schulplätze werden fair und effizient vergeben. Der öffentliche Nahverkehr ist umweltfreundlicher, die Fahrpläne passen besser zu den Bedürfnissen der Fahrgäste. Steuerbescheide kommen schneller und sind nur selten falsch, zugleich wird mehr Steuerbetrug aufgedeckt. Sachbearbeiter*innen können ihre Arbeitszeit in der Verwaltung effizienter nutzen.

Zweitens haben Kontroll- und Transparenzmechanismen in den letzten zehn Jahren dazu geführt, dass Menschen darauf vertrauen können, dass ADM-Systeme Entscheidungen im Sinne des Gemeinwohls treffen. Es ist vorgeschrieben, dass die Folgen von ADM-Systemen geprüft werden, bevor die öffentliche Verwaltung sie einführt (Impact Assessment), nicht zuletzt darauf, ob die Entscheidungen mit ethischen Prinzipien übereinstimmen. Betroffene – beispielsweise Anwohner*innen, Familien, Sozialleistungsempfänger*innen – planen die Systeme mit. Gemeinsam erarbeiten sie mit Verwaltung und Entwickler*innen einen Konsens darüber, welche Zwecke ein ADM-System verfolgen soll.

Die wichtigsten Informationen zu ADM-Systemen werden in öffentlichen Registern zur Verfügung gestellt. Hier finden sich Informationen zum Einsatzzweck eines Systems, welches Entscheidungsmodell verwendet wird, wer die Software hergestellt hat, wer sie einsetzt und zu welchen Ergebnissen die Folgenabschätzung gekommen ist. Diese Informationen werden von Watchdog-Organisationen aus der Zivilgesellschaft genutzt, um ADM-Systeme fortlaufend zu beobachten. Durch diese Transparenzbemühungen werden Forschung im öffentlichen Interesse und eine faktenbasierte gesellschaftliche Debatte zum Einsatz von ADM-Systemen ermöglicht.

Wenn ein Algorithmus falsche oder diskriminierende Entscheidungen trifft, gibt es einfache Möglichkeiten, dagegen Widerspruch einzulegen und sie prüfen zu lassen. Betroffene fühlen sich den Entscheidungen von ADM-Systemen nicht ausgeliefert. Sie entscheiden selbstbestimmt über den Umgang mit ihren Daten und haben jederzeit Zugang zu Informationen darüber, wie ein ADM-System eine Entscheidung trifft, die sie im Zweifel anfechten können.

Unsere Forderungen an die Politik

• Verpflichtende Folgenabschätzung (Algorithmic Impact Assessment): Behörden müssen dazu verpflichtet werden, die Folgen von ADM-Systemen abzuschätzen. Potenzielle Risiken eines Systems müssen systematisch im Rahmen einer Einzelfallanalyse nach ethischen Anforderungen bewertet und transparent gemacht werden. Die Behörden sind aufgerufen, auf erkannte Risikosignale angemessen zu reagieren. Je mehr potenzielle Risiken identifiziert werden, desto anspruchsvoller wird es für die entsprechende Behörde, das System zu kontrollieren und einzusetzen. Siehe auch: Loi, Michele unter Mitarbeit von Mätzener, Anna/Müller, Angela/Spielkamp, Matthias (2021). Automated Decision-Making Systems in the Public Sector. An Impact Assessment Tool for Public Authorities.
• Öffentliche Verzeichnisse für ADM-Systeme: Wir fordern, öffentliche Register für alle in der öffentlichen Verwaltung eingesetzten ADM-Prozesse einzurichten. Die Stellen, die für den Einsatz solcher Prozesse verantwortlich sind, sollten verpflichtet werden, in diesem Register Informationen über den Einsatzzweck, das verwendete logische Modell, Hersteller*in/ Entwickler*in einer Software und die Ergebnisse einer Folgenabschätzung zu dokumentieren.
• Transparenzvorgabe: Betroffene einer ADM-Entscheidung müssen Zugang zu allen relevanten Informationen erhalten, die sie benötigen, um die Entscheidung nachvollziehen zu können. Mit einer solchen Transparenzvorgabe wird die Voraussetzung dafür geschaffen, dass Betroffene Rechtsmittel gegen die automatisierte Entscheidung einlegen können, etwa auf der Grundlage von Anti-Diskriminierungsvorgaben.

Autorin

Anne Mollen, AlgorithmWatch/Digital Autonomy Hub. Das Digital Autonomy Hub (DAH) ist ein von AlgorithmWatch sowie der Gesellschaft für Informatik koordiniertes und vom BMBF gefördertes Kompetenzzentrum, das 43 Institute und Organisationen vernetzt. Das DAH bereitet Forschungsergebnisse für Zivilgesellschaft, Politik, Wissenschaft und Wirtschaft auf und berät zu ethischen, rechtlichen und sozialen Aspekten von Automatisierung und Datennutzung. Ziel dieses Wissenstransfers ist es, allen Menschen einen reflektierten und selbstbestimmten Umgang mit ihren Daten, Geräten und Anwendungen zu ermöglichen.