18.09.2019

Studie: Erhebliche Diskriminierungsrisiken durch Algorithmen

Algorithmen und umfangreiche Datensätze bergen erhebliche Diskriminierungspotenziale im Arbeitsleben, bei der Vergabe von Wohnraum, in der Medizin und weiteren Bereichen. Darauf weist eine aktuelle Studie des Karlsruher Instituts für Technikfolgenabschätzung und Systemanalyse (ITAS) anhand zahlreicher Beispiele hin.

Im Fokus der Studie stehen Algorithmen, die zur Datenverarbeitung und halb- oder vollautomatisierten Ausführung von Entscheidungsregeln für die Differenzierung von Personen eingesetzt werden. Aus algorithmenbasierten Differenzierungen werden insbesondere dann Diskriminierungen, wenn sie eine ungerechtfertigte Benachteiligung von Personen darstellen, die durch geschützte Merkmale (insbesondere Alter, Geschlecht, ethnische Herkunft, Religion, sexuelle Orientierung oder Behinderung) gekennzeichnet sind.

Anhand einer Vielzahl von Studien verdeutlicht der Autor des Papiers, Dr. Carsten Orwat, welche Folgen die Datenverarbeitung z. B. im Arbeitsleben, Immobilienmarkt, Handel, in der Werbung und bei Suchmaschinen, in der Kreditwirtschaft, im Sozialleistungssystem, Bildungswesen oder auch in der Medizin haben kann. So beschreibt die Studie u. a. Diskriminierung bei Wohnungsanzeigen auf Facebook. Nach Recherchen der Journalistenvereinigung ProPublica habe Facebook in seinen sozialen Netzwerken bei Anzeigen für Wohnungsvermietungen Diskriminierungen zugelassen. Testweise hatte ProPublica selbst Anzeigen geschaltet und die Einstellungen für zielgerichtete Anzeigen genutzt, damit diese nicht an Personen, die eine Rollstuhlrampe benötigen, und weitere ausgewählte Personengruppen geschaltet werden. Nach einer juristischen Auseinandersetzung willigte Facebook im März 2019 ein, seine zielgerichtete Werbung einzuschränken.

Handlungsbedarfe und Optionen

Es wird deutlich: Algorithmische Analysemethoden, meist gestützt auf Verfahren der künstlichen Intelligenz, können zunehmend Persönlichkeitsmerkmale, Charaktereigenschaften und emotionale Zustände automatisiert identifizieren. Sie könnten etwa dazu genutzt werden, so Orwat, die Angewiesenheit einer Person auf ein Produkt, einen Dienst, eine Ressource oder eine Position zu ermitteln und auszunutzen. Angesichts der Probleme der Informationspflichten und Auskunftsrechte, die keinen ausreichenden Selbstschutz vor Benachteiligungen und Diskriminierungen ermöglichten, sieht der Autor vor allem Behörden und Einrichtungen in der Pflicht. Er spricht sich neben Klarstellungen im Datenschutzrecht für technische Optionen zur Transparenz, Nachvollziehbarkeit und Diskriminierungsvermeidung aus. Nicht zuletzt werden Aufgaben für Antidiskriminierungsstellen diskutiert, die von der Identifizierung und dem Nachweis von algorithmenbasierten Diskriminierungen bis hin zu Kooperationen mit Forschungseinrichtungen reichen. Die Studie wurde mit finanzieller Förderung der Antidiskriminierungsstelle des Bundes erstellt.

Zur Studie „Diskriminierungsrisiken durch Verwendung von Algorithmen“ auf der Webseite der Antidiskriminierungsstelle des Bundes

(Quelle: Antidiskriminierungsstelle des Bundes)