KI-gestützte Gesichtserkennung: IBM erklärte im Zuge der Proteste, dass es Gesichtserkennung für Massenüberwachung und rassistische Profilerstellung ablehne. Das IT-Unternehmen stellt die Forschung und Entwicklung entsprechender Software ein. (Via)
Mir ist noch nicht so ganz klar, warum und wie Gesichtserkennung rassistisch sein soll. Jedenfalls hat auch Amazon jetzt auf die Proteste und den Schritt von IBM reagiert:
Polizeibehörden sollen für ein Jahr keinen Zugriff mehr auf die Gesichtserkennungssoftware Rekognition haben. Der Konzern setzt darauf, dass sich der US-Senat während dieser Zeit auf einen Rechtsrahmen einigt. (Via)
Ich hätte in Sachen Gesichtserkennung eher datenschutzrechtliche Bedenken. Aber was weiß ich schon. Mal schauen, was in den nächsten Tagen und Wochen noch so alles der BLM-Bewegung zum Opfer fällt und wegen „potentiellem Rassismus“ geschlossen oder abgeschafft wird. Ich bin ja ein großer Fan solcher Hypes und Hype-Bewegungen…
Anzeige
Sieht doch cool aus, wenn Konzerne dem Staat sagen wo es lang geht. Finde ich auf jede-…
Hey, warte mal.
es ist bekannt das CIA/FBI vollen Zugriff auf Google, Apple, Microsoft und sicherlich andere IT unternehmen haben, weil die sind per Gesetz verpflichtet bzw. haben Deals mit der Regierung.
selbst in Deutschland kann die Polizei auf WhatsApp, E-mails, Bewegungsprofil usw. zugreifen auf Wunsch.
USA hört die Bundeskanzlerin ab ohne Konsequenz, wer glaubt das Amazon sich gegen die Regierung stellt der glaubt auch an den Weihnachtsmann. Man beißt nicht die Hand, die einen füttert. silicon valley machen gemeinsame Sache mit der Regierung.
Eine ganz einfache Demonstration der „Grundproblematik von KI“ ist, z.B. Google Translage
„I am a doctor“ -> „Ich bin ein Artzt“. Die verwendeten Trainingsdaten haben einen Überhang von männlichen Ärtzten, ansonsten würde die Übersetzung lauten „Ich bin eine Ärtztin“. Damit ist die KI diskriminierend.
Das ist nicht meine Meinung, sondern lediglich ein ganz einfaches Praxisbeispiel, der gestellten Frage, wie KI rassistisch sein kann.
Eine KI kann „rassistisch“ sein, wenn der verwendete Datensatz zum Trainieren „rassistisch“ ist, z.B. wenn ausschließlich alle schwarzen Frauen im Datensatz Verbrecher sind. Typischerweise wird aber eine KI auch mit Daten getestet, die nicht zum Trainieren verwendet wurden. Wenn die KI dann immer noch mit hoher Genauigkeit richtig liegt, liegt das Problem nicht auf technischer Seite, sondern in der Realität.
Der Rassismus liegt in sofern vor, dass eine selektive Auswahl anhand der Erkennung getroffen werden kann und die Gleichheit in den Hintergrund gestellt wird / werden kann.
Massenüberwachung kann nicht wikrlich im Sinne aller sein. Wenn dazu die Sache mit dem Bargeld kommt, erkenne ich parallelen zu einigen Since Fiktionfilmen.
Das Problem ist die Software hat Probleme mit dunkler Hautfarbe, oft werden Personen erkannt die es nicht sind, wenn dann einer Falsch als Gefährlich erkannt wird, wissen wir ja wie die US Polizei vorgeht.
https://www.golem.de/news/rekognition-amazons-gesichtserkennung-hat-schwierigkeiten-mit-frauen-1901-139011.html
Was ich von sowas halt, habe ich ja gestern schon gesagt, gar nichts, Totale Überwachung ist nicht hinnehmbar um eine Person ding fest zu machen.
https://youtu.be/ubePmAtsBsQ
Ich denke diese Gesichtserkennungssoftware arbeitet mit einer KI. Damit hat Amazon im Jahr 2018 schon schlechte Erfahrung gemacht. Damals ging es aber darum Bewerber auszusortieren. Die KI wurde trainiert und das Ergebnis war, dass Frauen systematisch von der KI aussortiert wurde. Und das auf Grund ihres Geschlechts.
Hierzu ein Auszug aus folgendem Artikel:“Amazons Erfahrungen mit maschinellem Lernen sind nicht neu und decken sich mit ähnlichen Ergebnissen in ganz anderen Bereichen. Zwar gibt es immer wieder Hoffnungen auf völlig neutrale und damit letztliche faire Entscheidungen durch Algorithmen, aber solange die Technik von Menschen programmiert wird und auf menschengemachten Datensätzen beruht, scheint das ein größeres Problem zu sein, als lange gedacht. So benachteiligen Algorithmen, die in den USA routinemäßig eingesetzt werden, um die Rückfallgefahr von Straftätern zu berechnen, systematisch Afroamerikaner.“
Quelle:https://www.heise.de/newsticker/meldung/Amazon-KI-zur-Bewerbungspruefung-benachteiligte-Frauen-4189356.html
Und ich denke nicht, dass du dich darüber freuen würdest z.b. am Flughafen ständig deinen Koffer öffnen zu müssen, weil die KI dich auf Grund deiner Hautfarbe auswählen würde.
Im verlinkten Text steht ja
„…die typischen Schwächen der automatisierten Erkennungssysteme wie eine höhere Fehlerquote bei schwarzen Menschen besonders stark ins Gewicht fallen.
Öffentlichkeitswirksame Tests zeigten die Schwächen der Gesichtsanalyse-KI, beispielsweise als sie 28 Mitglieder des US-Kongresses für Kriminelle hielt.“
Da frag ich mich, warum haben solche Systeme „eine höhere Fehlerquote bei schwarzen Menschen“? systemisch bedingt? Entwicklungsbedingt? Und wäre es nicht genau deshalb besser weiter zu forschen?
Weil die Varianz der Gesichtsphysiognomie bei schwarzen und asiatischen Menschen geringer ist als bei Europäern. Das ist seit langem hinlänglich bekannt und gut erforscht, aber eben nicht gern gehört, weil es dem Stereotyp gleichkommt „ihr seht alle gleich aus“. Das stimmt natürlich nicht, aber vereinfacht ausgedrückt: wenn du zwei zufällige Personen westafrikanischer Herkunft mit zwei zufälligen Personen europäischer Herkunft vergleichst, werden erste statistisch signifikant mehr physiognomische Überschneidungen haben als letztere.
Sicher? Oder ist dies auch wieder ein Ergebnis von Studien der großen westlichen Universitäten wo überwiegend weiße Europäer/Amerikaner daran gearbeitet haben?
Also interessiert mich tatsächlich, da ich eigentlich bisher auch immer von diesem „ihr seht alle gleich aus“ als Stereotyp ausgegangen bin. bzw umgekehrt das z.b. für Asiaten die Europäer „fast alle gleich aussehen“
Könnte mir Vorstellen, dass das an den verwendeten Trainingsdaten liegt. Wäre nicht abwegig, würden die größtenteils aus weißen Gesichtern bestehen, weshalb die KI halt Schwierigkeiten hat, People of Color korrekt zu erkennen bzw. auseinander zu halten.
Ich habe vor ein paar Wochen auf Youtube Video von einem deutschen KI Experten gesehen, der erklärt warum K.I. unausweislich rassistische Ressentiments annehmen werden. Finde das video leider nicht und kann es auch nicht erklären.
Meines Wissens nach plant aber auch die EU Regel für Rassismus im Zusannenhamg mit KI.
Erinnert mich an die Story aus den USA wo automatisierte öffentliche Toiletten farbigen entweder erst gar keinen Einlass gewährt haben oder bei den Waschbecken kein Wasser rauskam, weil die erkennungssoftware der Sensoren nur weiße als Trainingsdaten hatte und somit dunkle Haut schlicht nicht erkannt hatte.
ungewollter Rassismus, aber an sowas muss man bei deep learning halt auch denken—wenn technik uns imitiert dann eben auch unsere vorurteile und das unbewusste schubladendenken.
Nun werden auch Filme raus sortiert, die aus heutiger Sicht nicht mehr „kompatibel“ sind
https://www.faz.net/aktuell/feuilleton/medien/vom-winde-verweht-von-hbo-aus-dem-programm-genommen-16809227.html
Geht’s noch? Wo fängt es an und wo hört’s auf?
Kritisch.
Vom Winde verweht beinhaltet die aller erste afro-amerikanische Person, die einen Oskar gewonnen hat.
Finde es auch eine Frechheit, dass Jud Süß nicht gezeigt werden darf!
Wo fängt es an und wo hörts auf?
Angefangen hat es schon längst; in den vergangenen Jahren wurde schon öfters klassische Literatur „modernisiert“. Als Beispiel fällt mir ein, dass der „Negerkönig“ aus Pippi Langstrumpf zum „Südseekönig“ oder so gemacht wurde.
Ich gestehe aber zu, dass die eine oder andere Änderung rund um die Frage passierte, was als Schulliteratur geeignet ist. Und da kann man natürlich schon die Frage stellen, inwieweit Grundschulkinder unbedingt mit Begriffen konfrontiert werden müssen, die heutzutage als abwertend gelten.
Ich erinnere mich noch an einen Kanon zu meiner Schulzeit. Ich krieg ihn nicht mehr wörtlich zusammen, aber da wurde Kaffee als „Türkentrank“ bezeichnet, und es gab den Reim „sei doch kein Muselmann, der das nicht lassen kann“ … ich bin ja nun wirklich kein Verfechter der Zensur, aber dieses Lied würde ich heute Kindern auch nicht mehr beibringen.
Ich finde aber, dass man deutlich unterscheiden muss zwischen der Frage, ob man Kunst- und Kulturwerke generell zensiert oder ob man sie eben nicht zu edukativen Zwecken einsetzt. Kunst ist immer ein Spiegelbild ihrer Zeit, und niemand hat etwas davon, Geschichte zu leugnen oder zu „korrigieren“. Ja, Schwarze wurden früher als Neger bezeichnet. Ist halt so, können wir nicht mehr ändern; wir können es heute nur besser machen.
Könnten wir Diskriminierung beseitigen, indem wir dokumentierte Geschichte vernichten, dann könnten wir auch einfach die Nazizeit aus unserem kollektiven Gedächtnis löschen, und schon gäbe es nichts mehr, wofür wir als Volk zu büßen hätten. Will das jemand?
Geschichte muss Geschichte bleiben, weder als Vorlage noch als Erbschuld, sondern einfach als Mahnmal.
Kommt drauf an wie und worauf die Gesichtserkennung trainiert wird.
Wenn du z.B. eine Gesichtsdatenbank von amerikanischen Verurteilten und Gesuchten nimmst wird es einen gewissen Bias in Richtung People of Colour geben.