Wegmans genießt seit langem den Ruf einer kundenorientierten Marke – bekannt für saubere Filialen, aufmerksamen Service und eine Art von Kundentreue, die an Hingabe grenzt. Dieser Ruf wurde im vergangenen Monat auf die Probe gestellt, als „ “ unter berichtete, dass das Unternehmen im Rahmen von Maßnahmen zur Diebstahlprävention an einigen Standorten, darunter New York City, stillschweigend damit begonnen hatte, biometrische Daten von Kunden zu erfassen und zu speichern.
Laut Wegmans ist das System so konzipiert, dass es Mitarbeiter alarmiert, wenn Personen, von denen angenommen wird, dass sie in der Vergangenheit Ladendiebstahl begangen haben, die Filiale erneut betreten. Die in Rochester ansässige Kette hat betont, dass die Daten nicht an Dritte weitergegeben werden und ausschließlich zu Sicherheitszwecken verwendet werden. (Wegmans hat auf eine Anfrage des „ “-Ansprechpartners um Stellungnahme nicht reagiert.)
Dennoch erfolgte die Reaktion umgehend. Kunden, Gesetzgeber und Datenschützer von „ “ äußerten Bedenken hinsichtlich der Gesichtserkennung und der Einwilligung sowie der Frage, ob das Scannen einer großen Anzahl von Kunden zur Identifizierung einer relativ geringen Anzahl von Tätern eine verhältnismäßige Maßnahme gegen Ladendiebstahl darstelle.
Das Problem betrifft nicht nur Wegmans – auch andere Lebensmittelketten (wie Whole Foods), Einzelhandelsunternehmen (wie Macy’s) sowie Banken, Kreditkartenunternehmen, Gesundheitsdienstleister, Stadien und weitere Unternehmen treiben die Einführung biometrischer Systeme mit Hochdruck voran. In der New Yorker Staatsversammlung liegt derzeit ein Gesetzentwurf vor, der „eindeutige Hinweise und Datenschutzmaßnahmen“ vorschreiben würde, wenn Einzelhändler in ihren Geschäften biometrische Technologien einsetzen.
Rachel Barnhart, eine Abgeordnete des Monroe County im Bundesstaat New York, die einen Brief an Wegmans verfasst hat ( ), sagt, sie sei von der Unmittelbarkeit und Heftigkeit der Gegenreaktion beeindruckt gewesen. „Es herrschte ein überwältigendes Gefühl von: ‚Ich gehe doch nur zum Einkaufen – warum wird mein Gesicht gescannt?‘“ sagt sie.
Die Kritik richtete sich auch darauf, wie diese Maßnahme umgesetzt wurde: still und leise, ohne nennenswerte öffentliche Erläuterungen und zu einem Zeitpunkt, zu dem die Menschen ohnehin bereits zutiefst skeptisch gegenüber dem Einsatz von „ “ künstlicher Intelligenz (KI) durch Unternehmen sind – insbesondere, wenn diese in physischen Räumen zum Einsatz kommt.
“Wenn es keine klaren Standards oder einheitliche Vorschriften gibt, legen Organisationen letztendlich ihre eigenen Regeln fest. Und genau hier schleicht sich das Risiko ein.”Melissa Bischoping, Senior Director für Sicherheit und Produktdesignforschung bei Tanium
Für Unternehmen, die diese Entwicklung beobachten, unterstreicht der Fall „Wegmans“ die Risiken einer öffentlich zugänglichen KI: Vertrauen ist zerbrechlich, Lücken in der Governance sind kostspielig, und die kritische Prüfung verschärft sich oft erst, nachdem die Systeme bereits in Betrieb genommen wurden, bemerkt Melissa Bischoping, Senior Director für Sicherheit und Produktdesignforschung bei Tanium, einem Innovator im Bereich Cybersicherheitslösungen und autonomer IT- (sowie Herausgeber dieses Magazins).
„Wenn es keine klaren Standards oder einheitliche Vorschriften gibt, legen Organisationen letztendlich ihre eigenen Regeln fest“, sagt Bischoping. „Und genau hier schleicht sich das Risiko ein.“
KI-Governance und der Vertrauenskompromiss bei KI mit hohem Reibungsaufwand
Wenn Unternehmen KI einsetzen, die Menschen in physischen Räumen unmittelbar betrifft – sei es in „ “-Lebensmittelgeschäften, auf Flughäfen oder auf den Straßen der Stadt –, verändern sie damit die Art und Weise, wie Kunden die Marke erleben.
“„Kunden können ihr Gesicht oder ihre Stimme nicht zurücksetzen, falls etwas schiefgeht; daher übernimmt das Unternehmen eine dauerhafte Haftung für ein Problem, das oft nur vorübergehender Natur ist.“Dr. Saiph Savage, Assistenzprofessorin und Leiterin des Civic AI Lab der Northeastern University
Dr. Saiph Savage, Assistenzprofessorin an der Northeastern University, die sich mit menschenzentrierter KI befasst, erklärt, dass Organisationen häufig unterschätzen, inwieweit überwachungsorientierte Technologien mit den Erwartungen an Gastfreundschaft oder Service in Konflikt geraten können. „Man muss sich fragen, inwieweit man die Beziehung des Kunden zur Marke verändern möchte, nur um eine betriebliche Kennzahl zu optimieren“, sagt sie.
Diese Spannung werde besonders deutlich, wenn der wahrgenommene Nutzen begrenzt sei – wie beispielsweise die Verringerung von Ladendiebstahl –, während der als Eingriff empfundene Eingriff jeden betreffe, der das Geschäft betrete, sagt sie. Im Fall Wegmans stellten Kritiker in Frage, ob das Unternehmen klar dargelegt habe, warum die Erhebung biometrischer Daten überhaupt notwendig sei, geschweige denn, ob sie die damit verbundenen Reputationsschäden rechtfertige.
Savage, der das Civic AI Lab der Northeastern University leitet, betrachtet dies als ein Problem der Verhältnismäßigkeit. Die Erfassung unveränderlicher personenbezogener Identifikatoren zur Bewältigung einer seit langem bestehenden Herausforderung im Einzelhandel zwingt Führungskräfte dazu, sich mit unangenehmen Kompromissen auseinanderzusetzen. „Biometrische Daten sind ein unveränderliches Gut“, sagt sie. „Kunden können ihr Gesicht oder ihre Stimme nicht zurücksetzen, wenn etwas schiefgeht; daher übernimmt das Unternehmen eine dauerhafte Haftung für ein Problem, das oft nur vorübergehender Natur ist.“
Dauerhafte Daten, langfristige Haftung
Aus Sicht der Cybersicherheit verändern biometrische Daten das Risikoprofil eines Unternehmens grundlegend . Im Gegensatz zu Zahlungskartennummern oder Passwörtern für „ “ können biometrische Identifikatoren nach einer Sicherheitsverletzung nicht geändert werden. Sind sie einmal freigelegt, bleiben sie freigelegt.
“Nur sehr wenige Personen benötigen Zugriff auf die Rohdaten. Je weniger Menschen es sehen können, desto geringer ist der Wirkungsradius, falls etwas schiefgeht.”Bischofsamt
Auch biometrische Daten befinden sich in den Vereinigten Staaten in einer komplexen rechtlichen Grauzone. Die Datenschutzbestimmungen variieren je nach Bundesstaat, und es gibt keinen umfassenden bundesweiten Standard , der regelt, wie mit biometrischen Daten umgegangen werden muss. Für Organisationen, die in mehreren Rechtsräumen tätig sind, bringt diese Uneinheitlichkeit Herausforderungen bei der Einhaltung von Vorschriften mit sich, noch bevor Sicherheitsrisiken überhaupt in Betracht gezogen werden.
„Es gibt viel Spielraum bei der Art und Weise, wie Unternehmen beschreiben, was sie mit biometrischen Daten tun“, sagt Bischoping.
Dieser Spielraum wird eingeschränkt, wenn etwas schiefgeht. Im Falle eines Verstoßes reichen die Folgen über den unmittelbaren finanziellen Verlust hinaus. Bischoping weist darauf hin, dass biometrische Daten, die auf den ersten Blick anonymisiert erscheinen, im Laufe der Zeit gefährlich werden können, wenn sie mit anderen Datenbeständen kombiniert werden, bei denen es zu Datenlecks gekommen ist. „Man erkennt allmählich Verhaltensmuster – wo Menschen einkaufen, wo sie arbeiten, wo sie wohnen“, sagt sie und weist darauf hin, dass eine solche Offenlegung für Personen, die von Stalking oder häuslicher Gewalt bedroht sind, besonders schädlich sein kann. „Der Schaden für die Marke ist nicht zu unterschätzen. „Wenn sich die Kunden nicht sicher fühlen, werden sie nicht mehr kommen.“
Anstatt sich ausschließlich auf kurzfristige Renditen zu konzentrieren, fordert Savage Führungskräfte dazu auf, den gesamten Lebenszyklus eines Risikos zu berücksichtigen. „Ist die Verringerung von Ladendiebstahl über einen Zeitraum von fünf Jahren eine 50-jährige Haftung wert, falls es zu einem Datenleck bei biometrischen Daten kommen sollte?“ fragt sie und argumentiert, dass die langfristigen Auswirkungen oft schwerer wiegen als kurzfristige operative Vorteile.
KI-Governance vor der Einführung von KI – nicht danach
Eine der deutlichsten Lehren aus der Wegmans-Affäre ist, dass Unternehmensführung nicht erst im Nachhinein berücksichtigt werden darf, so Savage. Unternehmen setzen häufig KI-Systeme ein – insbesondere solche, die biometrische Daten beinhalten –, bevor sie die zulässige Nutzung, die Rechenschaftspflicht oder die Ausstiegskriterien vollständig definiert haben.
„“Sobald biometrische Daten einmal im Umlauf sind, gibt es keinen ‚Rückgängig‘-Knopf mehr.“Rachel Barnhart, Abgeordnete des Landkreises Monroe (NY), D-Rochester
Savage betont, dass es bei Sicherheitsvorkehrungen nicht nur um den Schutz von Daten geht. „Es geht darum, die Grenzen zu definieren, jenseits derer der Einsatz der Technologie nicht mehr zulässig ist“, sagt sie und verweist dabei auf die Notwendigkeit klarer Grenzwerte hinsichtlich Fehlerquoten, Verzerrungen und Fehlalarmen.
Die Governance muss sich auch auf die Infrastruktur und die Zugriffskontrollen für „ “ erstrecken:. Bischoping erklärt, dass biometrische Daten nicht flächendeckend verfügbar sein müssen, um in der Praxis von Nutzen zu sein. „Nur sehr wenige Personen benötigen Zugriff auf die Rohdaten“, sagt sie. „Je weniger Menschen es sehen können, desto kleiner ist der Explosionsradius, falls etwas schiefgeht.“
Dritte und uneinheitliche Rechtsvorschriften – unerwartete Stolpersteine für die KI-Governance
Ebenso entscheidend sind die Aufbewahrungsrichtlinien. Vage Formulierungen darüber, dass Daten „so lange wie nötig“ aufbewahrt werden sollen, lassen zu viel Spielraum dafür, dass sensible Informationen auf unbestimmte Zeit gespeichert bleiben, fügt Bischoping hinzu. „So geraten Daten in Vergessenheit – und vergessene Daten werden bei einem künftigen Datenleck zu einer wahren Fundgrube.“
Angesichts der mit dem Einsatz biometrischer Technologien verbundenen Datenschutz- und regulatorischen Risiken raten Experten dazu, dass jedes Rahmenwerk für intelligente Regierungsführung auch ein verbessertes Compliance-Management gemäß der „ “ umfassen sollte. Ein erhöhter Einblick in personenbezogene Daten kann zu Compliance-Problemen und Datenschutzbedenken führen, wenn er nicht im Rahmen strenger Vorgaben geregelt wird; und diese Risiken werden zwangsläufig zunehmen, da die öffentliche Skepsis gegenüber KI den Gesetzgebern verschiedener Rechtsordnungen Handlungsdruck auferlegt, was zu einem Flickenteppich an Rechtsvorschriften führt.
Drittanbieter stellen ein zusätzliches Risiko dar. Werden biometrische Daten extern verarbeitet oder gespeichert, müssen Organisationen wissen, wo sich diese Daten befinden, wer darauf zugreifen kann und was geschieht, wenn sich die Geschäftstätigkeit des Anbieters ändert. „Solche Szenarien lassen sich weitaus leichter bewältigen, wenn Governance-Rahmenwerke sie vorwegnehmen, anstatt erst zu reagieren, nachdem das Vertrauen bereits verloren gegangen ist“, so Bischoping.
Unternehmen müssen davon ausgehen, dass alle Daten, die sie heute erfassen, länger bestehen bleiben, als sie erwarten, so Bischoping.
„Unternehmen können mit dieser Technologie experimentieren, tragen jedoch nicht persönlich die Konsequenzen, falls sie scheitert“, fügt Barnhart hinzu. „Die Verbraucher tun dies. „Und sobald biometrische Daten einmal im Umlauf sind, gibt es keinen ‚Rückgängig‘-Knopf mehr.“
