Generative KI-Technologie verschafft einigen zukunftsorientierten Unternehmen bereits erhebliche Vorteile in den Bereichen Umsatz, Kundenservice, Marketing und Automatisierung, und unzählige weitere Unternehmen bereiten ihre Mitarbeiter auf die Einführung von GenAI im neuen Jahr vor. Das Versprechen eines Produktivitätsschubs ist äußerst verlockend, doch Unternehmen müssen sich darüber im Klaren sein, welche Risiken sie beim Einsatz von KI eingehen, und die Rolle von KI in der Cybersicherheit.
Wie bei jeder anderen vernetzten digitalen Technologie können auch große Sprachmodelle (LLMs) der generativen KI (GenAI), die Daten, mit denen sie trainiert wurden – sowie die Mitarbeiter, die sie nutzen – potenzielle Datenlecks und Angriffe auslösen .. Tatsächlich gab es bereits einige aufsehenerregende Enthüllungen:
Im vergangenen Frühjahr haben Mitarbeiter von Samsung bei drei verschiedenen Gelegenheiten versehentlich vertrauliches Material an ChatGPT weitergegeben, indem sie es auf den Dienst hochgeladen haben; darunter befanden sich Software-Code und eine Aufzeichnung einer Besprechung, was das Unternehmen dazu veranlasste, die Nutzung von GenAI-Diensten durch die Mitarbeiter zu untersagen. (Angesichts der Benutzerfreundlichkeit von Produkten wie ChatGPT oder Googles Bard vergisst man leicht, dass die Gespräche, die Sie mit solchen Chatbots führen, nicht privat sind. Die von Ihnen eingegebenen Informationen können veröffentlicht werden.) Erst vor wenigen Wochen haben Microsoft-Mitarbeiter versehentlich 38 Terabyte an LLM-Trainingsdaten offengelegt, als sie diese auf der Entwicklerplattform GitHub bereitstellten.
Ein solcher Sicherheitsverstoß könnte jedem Unternehmen widerfahren, das mit LLMs arbeitet, doch dies dürfte die Investitionen von Unternehmen in GenAI kaum bremsen.
Eine im November durchgeführte Gartner-Umfrage ergab, dass Führungskräfte außerhalb des IT-Bereichs planen, im Jahr 2024 durchschnittlich 6,5 % ihres funktionalen Budgets für generative KI bereitzustellen – was die „ “, die „Harvard Business Review“,, und als „ “ bezeichneten und als „einen erstaunlichen Anteil an Ressourcen in einem von Einschränkungen geprägten Umfeld“ bezeichneten. Und laut einem Bericht von Bloomberg Intelligence mit dem Titel „ “ ( ) könnte der GenAI-Markt jährlich um 42 % wachsen und bis zum Jahr 2032 ein Volumen von 1,3 Billionen US-Dollar erreichen. Damit liegt es in der Verantwortung der Unternehmen, diese Systeme so zu konzipieren, zu entwickeln und einzuführen, dass sie sicher sind; andernfalls werden Angreifer in diesen Modellen und den darin gespeicherten Daten eine wahre Fundgrube an wertvollen Informationen vorfinden.
„Generative KI ist ein leistungsstarkes Produktivitätswerkzeug, doch wir müssen wissen, wie wir diese Systeme absichern können“, sagt Caleb Sima, ehemaliger Chief Security Officer (CSO) bei Robinhood Financial und derzeitiger Vorsitzender der AI Safety Initiative der Cloud Security Alliance.
Zwar sind mit der Nutzung von LLMs zahlreiche Risiken verbunden, wie beispielsweise Angriffe vom Typ „ “ sowie Distributed-Denial-of-Service-Angriffe (DDoS) , die dazu führen könnten, dass das Modell für Kunden oder Mitarbeiter nicht mehr verfügbar ist. Zudem bestehen Risiken hinsichtlich der Anwendungssicherheit der Modelle selbst sowie der daran angeschlossenen Anwendungen – all dies könnte zu Datenlecks und zur Übernahme der Kontrolle über die Modelle führen. Dann ist da noch die Frage des Zugriffs: Stellen Sie sich vor, welche Probleme entstehen könnten, wenn man einem LLM innerhalb eines Unternehmens eine hohe Berechtigungsstufe einräumt, die es ihm ermöglicht, auf andere Datenbanken und Anwendungen zuzugreifen oder Aufgaben wie das Ausstellen von Schecks oder das Abschalten von Diensten auszuführen. Zumindest auf absehbare Zeit müssen LLMs streng unter Kontrolle gehalten werden.
Um Sicherheitsverletzungen im Zusammenhang mit LLMs zu vermeiden, sind konkrete Maßnahmen zur Absicherung dieser Systeme erforderlich. Im Folgenden werden die drei häufigsten Angriffe aufgeführt, mit denen Unternehmen nach Ansicht von Experten konfrontiert sein könnten – gefolgt von einer allgemeinen Herausforderung im Zusammenhang mit GenAI, der sich jede Organisation mit Sicherheit stellen muss – sowie die besten Abwehrmaßnahmen gegen die einzelnen Angriffe:
1. Angriffe durch Prompt-Injektion
Worum handelt es sich? Dabei erstellt ein Angreifer eine Eingabeaufforderung – also eine Aufforderung („Entwickeln Sie Ideen für die Einführung eines neuen Produkts mit einem Urlaubsthema“) oder eine Frage („Wie lautet die schnellste Route von Los Angeles nach Boston?“) die einem LLM mitteilen, was Sie von ihm erwarten – entwickelt, um das LLM zu einer unerwünschten oder böswilligen Handlung zu verleiten, wie beispielsweise das Abstürzen einer App oder die Verleitung dazu, nicht öffentliche Informationen preiszugeben, einen Kundenservice-Chatbot dazu zu bringen, nach persönlichen Daten oder anderen sensiblen Informationen zu fragen, dem Angreifer unbefugten Zugriff zu gewähren, Malware oder einen gefälschten Nachrichtenartikel zu erstellen oder nicht genehmigte Käufe zu tätigen.
„. Generative KI ist ein leistungsstarkes Produktivitätswerkzeug, doch wir müssen wissen, wie wir diese Systeme absichern können.“Caleb Sima, Vorsitzender der KI-Sicherheitsinitiative der Cloud Security Alliance
Die beste Abwehr: „ “ Auch wenn Experten der Ansicht sind, dass es derzeit noch keine Möglichkeit gibt, sich vollständig gegen Prompt-Injection-Angriffe auf große Sprachmodelle (LLMs) zu schützen, gibt es Maßnahmen, mit denen Unternehmen das Risiko mindern können. Das Open Web Application Security Project (OWASP) gibt folgende Empfehlungen:
- Beschränken Sie den privilegierten Zugriff eines LLM oder eines LLM-Plug-ins auf das unbedingt erforderliche Maß. Beispielsweise die Entwicklung unternehmensspezifischer LLMs, etwa für die Bereiche Forschung und Entwicklung, Marketing und Recht, auf die ausschließlich Nutzer dieser Abteilungen Zugriff haben. LLM-Plug-ins (die dem LLM zusätzliche Funktionen wie Sprachübersetzung oder die Interaktion mit anderen Anwendungen und Datenbanken bieten) sollten auf ihre Sicherheit überprüft und nur in begrenztem Umfang eingesetzt werden.
- Beziehen Sie Menschen nach Möglichkeit in den Prozess ein , um die Ergebnisse zu überprüfen und zu genehmigen, insbesondere wenn das LLM mit externen Daten oder Software interagiert.
- Trennen Sie Benutzeraufforderungen von externen Inhaltsquellen und verarbeiten Sie diese Aufforderungen separat, um unbeabsichtigte Interaktionen zu vermeiden.
- Behandeln Sie das LLM als nicht vertrauenswürdigen Benutzer und beschränken Sie dessen Möglichkeiten zur Interaktion mit Benutzern und Systemen auf das absolut Notwendige. Beachten Sie das Prinzip der geringsten Berechtigungen. Wenn es um GenAI-Tools geht (und im Übrigen auch um alle anderen Tools und Verfahren, die in einem Unternehmensnetzwerk zum Einsatz kommen), ist „ “ ( ) nach dem Zero-Trust-Prinzip Ihr Verbündeter.
2. Angriffe durch Datenverfälschung
Worum handelt es sich? Angriffe durch Datenvergiftung auf große Sprachmodelle (LLMs) zielen entweder auf die Trainingsdaten ab, mit denen das Modell gefüttert wird, oder sie kalibrieren das LLM in böswilliger Absicht so, dass Schwachstellen im System entstehen, die die Genauigkeit oder Wirksamkeit des Modells beeinträchtigen würden. Durch die Verfälschung der Daten könnten Angreifer zudem versuchen, das Modell so zu manipulieren, dass es Falschinformationen verbreitet. Solche Angriffe könnten von Mitarbeitern von „ “ mit einem Groll oder von Außenstehenden verübt werden, denen es gelingt, Zugriff auf Trainingsdaten zu erlangen.
„Verfolgen Sie die Herkunft des maschinellen Lernmodells [eines KI-Tools] im Zeitverlauf und überprüfen Sie sogar die digitale Signatur, um sicherzustellen, dass Sie wissen, dass eine Organisation, der Sie vertrauen, bestätigt, dass es sich um ihr Modell handelt.“Walter Haydock, Gründer und Geschäftsführer von StackAware
Die beste Abwehr: Um sich gegen Datenvergiftungsangriffe zu schützen, müssen Unternehmen den Schwerpunkt auf die Integrität ihrer Trainingsdaten und die Integrität des Modells selbst legen. „Man möchte die Herkunft der Daten nachvollziehen, mit denen ein Modell trainiert wurde, sowie die Herkunft des Modells selbst“, sagt Walter Haydock, Gründer und Geschäftsführer des auf KI-basierte Cybersicherheit spezialisierten Unternehmens StackAware.
Haydock empfiehlt Unternehmen, die von ihnen zur Erstellung ihrer KI-Modelle verwendeten Softwarepakete in einer „ “-Software-Stückliste (SBOM) zu erfassen:. Diese Auflistung aller Komponenten und Abhängigkeiten innerhalb eines bestimmten Softwareprodukts ist mittlerweile zu einem unverzichtbaren und standardmäßigen Bestandteil der heutigen Geschäftstätigkeit geworden (und ist nun für alle Anbieter verpflichtend, die Software an die Bundesregierung verkaufen), da sie die risikobehafteten Teile einer Anwendung aufdecken kann, die Ihr Unternehmen für Angriffe anfällig machen könnten.
[Lesen Sie auch: Der Aktionsplan der US-Regierung zur Stärkung der Lieferketten]
„Verfolgen Sie die Herkunft eines bestimmten machine-learning (wird in einem neuen Tab geöffnet) Modells im Zeitverlauf und überprüfen Sie sogar die digitale Signatur, um sicherzustellen, dass Sie wissen, dass eine Organisation, der Sie vertrauen, angibt, dass es sich um ihr Modell handelt“, sagt Haydock.
3. Datenleck
Worum handelt es sich? Was LLMs betrifft, so verläuft ein Datenleck ähnlich wie bei anderen Datenbanken und Datenspeichersystemen. Werden diese Systeme und die damit verbundenen Daten nicht ordnungsgemäß verwaltet, können LLMs – und die Datenpipelines, die sie versorgen – sensible Daten, regulierte Daten oder geistiges Eigentum offenlegen, was zu schwerwiegenden Sicherheitsverletzungen und Datenschutzverstößen führen kann.
Die beste Verteidigung: „ “ Unternehmen müssen wissen, woher die Daten stammen, die sie in das Modell einspeisen, dass diese korrekt und unverfälscht sind und dass sie von sensiblen, geschützten oder regulierten Daten bereinigt wurden. Haydock und andere raten Unternehmen dazu, sicherzustellen, dass sie über Prozesse verfügen, mit denen Daten bereinigt werden, bevor sie in das Modell eingespeist werden. „Der beste Weg, Datenlecks zu vermeiden, besteht darin, sicherzustellen, dass solche Daten niemals in das Modell gelangen“, sagt er. Das bedeutet, dass sichergestellt werden muss, dass die Trainingsdaten, die von Forschern zum „Trainieren“ des Modells verwendet werden, keine sensiblen Kundendaten, kein geistiges Eigentum des Unternehmens und keine sonstigen „ Kronjuwelen“ der Daten , die schützenswert sind, enthalten.
Bei der Nutzung von KI-Systemen von Drittanbietern müssen Unternehmen sicherstellen, dass das GenAI-Modell nicht anhand von durch den Nutzer bereitgestellten Daten trainiert wird – diese Einschränkung sollte im Vertrag mit dem Dienstleister ausdrücklich festgelegt werden. Zudem müssen die Schulungsprogramme zur Cybersicherheit für die Mitarbeiter von „ “ ( ) aktualisiert werden, um Themen rund um künstliche Intelligenz einzubeziehen, damit die Mitarbeiter wissen, dass sie keine sensiblen Daten an Modelle von Drittanbietern weitergeben dürfen.
Viele GenAI-Dienste ergreifen Maßnahmen zum Schutz von Kundendaten. Unternehmen sollten zudem Vorsicht walten lassen, wenn sie diese GenAI-Dienste mit ihren eigenen internen Datenquellen und Forschungsdateien verknüpfen, da das Risiko eines Verlusts sensibler Daten drastisch steigt, wenn GenAI-Dienste mit bestehenden Datenspeichern verbunden werden.
Und noch etwas – der unvermeidliche Einsatz von „Schatten-KI“
Worum handelt es sich? Das „eine weitere Risiko“, mit dem alle Organisationen im Zeitalter der GenAI wahrscheinlich konfrontiert sein werden: die unerlaubte Nutzung von GenAI-Diensten von Drittanbietern durch Mitarbeiter. So wie Mobile Computing und Cloud Computing durch „“ und „Shadow IT“ unkontrollierte Endgeräte und Anwendungen in Unternehmen eingeführt haben, ermöglichen es die auf Verbraucher ausgerichteten LLMs den Mitarbeitern, Zugang zu diesen GenAI-Diensten zu erwerben und diese für verschiedene Arten von Aufgaben zu nutzen.
Die beste Verteidigungsstrategie: Ziehen Sie Lehren aus früheren Phasen der Mobilfunk- und Cloud-Computing-Entwicklung. Es ist noch gar nicht so lange her, dass Unternehmen sich damit auseinandersetzen mussten, wie sie die Risiken bewältigen können, die damit verbunden sind, dass Mitarbeiter während der Arbeit ihre eigenen privaten Geräte und Softwareprogramme nutzen und sich mit dem Computernetzwerk ihres Arbeitgebers verbinden. Genau wie damals werden Unternehmen unterschiedlich reagieren: Einige werden versuchen, jegliche Nutzung von GenAI durch Mitarbeiter zu unterbinden, während andere versuchen werden, diese von Fall zu Fall zu regulieren.
[Lesen Sie auch: Warum Mitarbeiter gegen Cybersicherheitsrichtlinien verstoßen]
„Vollständige Verbote werden nicht funktionieren“, sagt Haydock. „Die Leute werden sie einfach ignorieren. „Der beste Weg [zum Umgang mit dem Risiko] besteht darin, anzuerkennen, dass dies eine Realität ist, und die Situation so gut wie möglich in den Griff zu bekommen“, sagt er. In der Regel bedeutet dies, dass Mitarbeiter für die Nutzung eines neuen GenAI-Dienstes eine Genehmigung einholen müssen und dass das Sicherheits- und das Technologieteam den Dienst prüfen, bevor er in eine Liste der zugelassenen KI-Anbieter aufgenommen wird, die die Mitarbeiter nutzen dürfen.
Um diese Richtlinie richtig zu gestalten, wird es einiger Versuche und Irrtümer bedürfen, bis das richtige Gleichgewicht zwischen der Produktivität der Mitarbeiter und der Sicherheit gefunden ist. Tatsächlich dürfte dies auch für die allgemeine Absicherung von GenAI innerhalb des Unternehmens gelten. Das Wichtigste ist nun, die wesentlichen Risiken zu erkennen und damit zu beginnen, geeignete Maßnahmen zu deren Bewältigung zu ergreifen.
