Generative KI-Technologie bringt bereits einige führende Unternehmen in den Bereichen Vertrieb, Kundenservice, Marketing und Automatisierung voran, und unzählige andere Unternehmen bereiten ihre Mitarbeiter auf die Einführung von GenAI im neuen Jahr vor. Das Versprechen von Produktivitätssteigerungen ist extrem verführerisch, aber Unternehmen müssen wissen, welche Risiken sie bei der Bereitstellung von KI eingehen und welche Rolle KI in der Cybersicherheit spielt.
Wie bei jeder anderen vernetzten digitalen Technologie können auch große Sprachmodelle (LLMs) von GenAI, die Daten, für die sie geschult werden, und die Mitarbeiter, die sie verwenden, potenzielle Datenlecks und Angriffe auslösen. Tatsächlich sind bereits einige atemberaubende Leckagen aufgetreten:
Bei drei separaten Anlässen im letzten Frühjahr haben Samsung-Mitarbeiter versehentlich sensibles Material an ChatGPT weitergegeben, indem sie in den Dienst hochgeladen wurden, einschließlich Softwarecode und einer Besprechungsaufzeichnung, was dazu führte, dass das Unternehmen die Nutzung von GenAI-Diensten unter den Mitarbeitern verbietet. (Die Bequemlichkeit von Produkten wie ChatGPT oder Google Bard macht es leicht, zu vergessen, dass alle Gespräche, die Sie mit solchen Chatbots führen, nicht privat sind. Die von Ihnen eingegebenen Informationen können öffentlich werden.) Vor wenigen Wochen haben Microsoft-Mitarbeiter versehentlich 38 Terabyte an LLM-Schulungsdaten offengelegt, während sie sie auf der Entwicklerplattform GitHub platzierten.
Diese Art von Datenschutzverletzung könnte bei jedem Unternehmen auftreten, das mit LLMs zusammenarbeitet, aber dies wird wahrscheinlich die Unternehmensinvestitionen in GenAI nicht stoppen.
Eine Gartner-Umfrage im November ergab, dass Führungskräfte außerhalb des IT-Plans durchschnittlich 6,5 % ihres funktionalen Budgets der generativen KI im Jahr 2024 zuteilen – etwas, das der Harvard Business Review „ein erstaunlicher Anteil an Ressourcen in einer eingeschränkten Umgebung“ nannte . Und laut einem Bericht von Bloomberg Intelligence könnte der GenAI-Markt jährlich um 42 % wachsen und bis 2032 1,3 Billionen US-Dollar erreichen. Das macht Unternehmen dazu, diese Systeme auf sichere Weise zu entwerfen, zu erstellen und bereitzustellen, oder Bedrohungsakteure werden in diesen Modellen und den Daten, die in sie eingespeist werden, einen großen Wert finden.
„Generative KI ist ein leistungsstarkes Produktivitätstool, aber wir müssen wissen, wie wir diese Systeme sichern können“, sagt Caleb Sima, ehemaliger Chief Security Officer (CSO) bei Robinhood Financial und derzeitiger Vorsitzender der AI Safety Initiative der Cloud Security Alliance.
Um sicher zu sein, gibt es viele Risiken, die mit der Verwendung von LLM verbunden sind, wie z. B. DDoS-Angriffe (Distributed Denial of Service), die das Modell für Kunden oder Mitarbeiter nicht verfügbar machen könnten. Es gibt auch Risiken in der Anwendungssicherheit der Modelle selbst sowie der Apps, die an sie angeschlossen sind – all dies könnte zu Datenlecks und Modellentführung führen. Dann gibt es das Problem des Zugriffs: Stellen Sie sich die Probleme vor, die sich ergeben könnten, wenn Sie einem LLM eine hohe Berechtigungsstufe innerhalb einer Organisation gewähren, damit er auf andere Datenbanken und Anwendungen zugreifen oder Aufgaben wie das Beschneiden von Prüfungen oder das Abschalten von Diensten ausführen kann. Für die absehbare Zukunft müssen LLMs zumindest auf einer kurzen Leine gehalten werden.
Die Vermeidung von Sicherheitsverletzungen im Zusammenhang mit LLMs erfordert spezifische Schritte zur Sicherung dieser Systeme. Unten finden Sie die drei wichtigsten Angriffsexperten, von denen Unternehmen glauben, dass sie mit ihnen konfrontiert werden können – gefolgt von einer allgemeinen GenAI-Herausforderung, mit der jede Organisation sicher konfrontiert werden wird – und wie sie sich am besten gegen jede davon verteidigen können:
1. Sofortige Injektionsangriffe
Worum handelt es sich? Dies beinhaltet, dass ein Angreifer eine Aufforderung erstellt, d. h. eine Anfrage („Erstellen Sie Ideen für eine neue Produkteinführung mit einem Weihnachtsthema“) oder eine Frage („Was ist der schnellste Weg von LA nach Boston?“) Das sagt einem LLM, was er tun soll – entwickelt, um den LLM in eine unerwünschte oder böswillige Aktion zu manipulieren, wie z. B. das Abstürzen einer App oder das Verleiten zu nicht öffentlichen Informationen, das Veranlassen eines Kundenservice-Chatbots nach personenbezogenen Daten oder anderen sensiblen Informationen, das Gewähren von unbefugtem Zugriff für den Angreifer, das Erstellen von Malware oder eines Fake-News-Artikels oder das Tätigen nicht genehmigter Einkäufe.
„Generative KI ist ein leistungsstarkes Produktivitätstool, aber wir müssen wissen, wie wir diese Systeme sichern können.“Caleb Sima, Vorsitzender der KI-Sicherheitsinitiative der Cloud Security Alliance
Die beste Verteidigung: Experten sagen zwar, dass es keine Möglichkeit gibt, sich vollständig gegen prompte Injektionsangriffe zu verteidigen, die gerade erst auf LLMs abzielen, aber es gibt Schritte, die Unternehmen ergreifen können, um das Risiko zu mindern. Das Open Web Application Security Project (OWASP) empfiehlt Folgendes:
- Beschränken Sie den privilegierten Zugriff auf ein LLM- oder LLM-Plugin auf die geringstmöglichen Ebenen. Zum Beispiel Erstellen von geschäftsspezifischen LLMs wie für F&E, Marketing und Recht, auf die nur Benutzer in diesen Abteilungen zugreifen können. LLM-Plugins (die dem LLM zusätzliche Funktionen wie Sprachübersetzung oder Interaktion mit anderen Apps und Datenbanken bieten) sollten auf ihre Sicherheit überprüft und nur minimal verwendet werden.
- Wenn möglich, sollten Sie Menschen in die Schleife setzen, um die Ausgabe zu überprüfen und zu genehmigen, insbesondere wenn der LLM mit externen Daten oder Software interagiert.
- Trennen Sie Benutzeraufforderungen von externen Inhaltsquellen und verarbeiten Sie diese separat, um unbeabsichtigte Interaktionen zu vermeiden.
- Behandeln Sie den LLM als nicht vertrauenswürdigen Benutzer und beschränken Sie seine Fähigkeit, mit Benutzern und Systemen zu interagieren, auf diejenigen, die absolut erforderlich sind. Denken Sie an das Prinzip des geringsten Privilegs. Wenn es um GenAI-Tools geht (und in diesem Fall alle anderen Tools und Verfahren, die in einem Computernetzwerk eines Unternehmens verwendet werden), ist Zero Trust Ihr Freund.
2. Datenvergiftungsangriffe
Worum handelt es sich? Datenvergiftungsangriffe auf LLMs funktionieren entweder durch gezielte Ausrichtung auf die Schulungsdaten, die dem Modell zugeführt werden, oder durch böswillige Kalibrierung des LLM, um Schwachstellen im System zu schaffen, die die Genauigkeit oder Effektivität des Modells beeinträchtigen würden. Durch die Vergiftung der Daten können Bedrohungsakteure auch das Modell manipulieren, um Falschmeldungen zu verbreiten. Solche Angriffe können von Mitarbeitern mit einem Groll oder von Außenstehenden durchgeführt werden, die es schaffen, Zugang zu Schulungsdaten zu erhalten.
„Verfolgen Sie die Herkunft des maschinellen Lernmodells von [einem KI-Tool] im Laufe der Zeit und überprüfen Sie sogar die digitale Signatur, um sicherzustellen, dass Sie wissen, dass eine Organisation, der Sie vertrauen, sagt, dass dies ihr Modell ist.“Walter Haydock, Gründer und CEO, StackAware
Die beste Verteidigung: Um Datenvergiftungsangriffe abzuwehren, müssen sich Unternehmen auf die Integrität ihrer Schulungsdaten und die Integrität des Modells selbst konzentrieren. „Sie möchten die Herkunft der Daten verstehen, auf die ein Modell geschult ist, und die Herkunft des Modells selbst“, sagt Walter Haydock, Gründer und CEO des KI-Cybersicherheitsunternehmens StackAware.
Haydock empfiehlt Unternehmen, die Softwarepakete zu verfolgen, die sie verwenden, um ihre KI-Modelle in einer Software-Materialliste (Software Bill of Materials, SBOM) zu erstellen. Diese Liste aller Komponenten und Abhängigkeiten innerhalb eines bestimmten Softwareprodukts ist zu einem wichtigen und Standardaspekt der heutigen Geschäftstätigkeit geworden (und ist jetzt von allen Anbietern, die Software an die Bundesregierung verkaufen, erforderlich ), da sie die riskanten Teile einer App ausräumen kann, die Ihr Unternehmen angriffsbereit machen können.
[Lesen Sie auch: Der Kampfplan der US-Regierung zur Stärkung der Lieferketten]
„Verfolgen Sie die Herkunft eines bestimmten Modells für maschinelles Lernen (wird in einer neuen Registerkarte geöffnet) im Laufe der Zeit und überprüfen Sie sogar die digitale Signatur, um sicherzustellen, dass Sie wissen, dass eine Organisation, der Sie vertrauen, sagt, dass dies ihr Modell ist“, sagt Haydock.
3. Datenlecks
Worum handelt es sich? Wenn es um LLMs geht, ist die Datenleckage ähnlich wie bei anderen Datenbanken und Datenspeichersystemen. Wenn diese Systeme und damit verbundenen Daten nicht ordnungsgemäß verwaltet werden, können LLMs – und die Datenpipelines, die sie versorgen – sensible Daten, regulierte Daten oder geistiges Eigentum offenlegen, was alle zu schwerwiegenden Sicherheitsverletzungen und Datenschutzverletzungen führen kann.
Die beste Verteidigung: Organisationen müssen verstehen, woher die Daten, die sie in das Modell eingeben, stammen, dass sie korrekt sind und nicht geändert wurden und dass sie sensible, proprietäre oder regulierte Daten bereinigt wurden. Haydock und andere raten Unternehmen, sicherzustellen, dass sie Prozesse zur Bereinigung von Daten haben, bevor sie in das Modell eingespeist werden. „Die beste Möglichkeit, Datenlecks zu vermeiden, ist, sicherzustellen, dass solche Daten niemals das Modell erreichen“, sagt er. Das bedeutet, sicherzustellen, dass die Schulungsdaten, die von Forschern verwendet werden, um das Modell zu „unterrichten“, keine sensiblen Kundeninformationen, geistiges Eigentum des Unternehmens oder andere „besessene Juwelen“ von Daten enthalten, die geschützt werden müssen.
Bei der Verwendung von KI-Systemen von Drittanbietern müssen Unternehmen sicherstellen, dass sich das GenAI-Modell nicht selbst in den vom Benutzer bereitgestellten Daten schult – diese Einschränkung sollte im Vertrag mit dem Dienstleister dargelegt werden. Und Cybersicherheitsschulungsprogramme für Mitarbeiter müssen aktualisiert werden, um Gespräche über KI aufzunehmen, damit die Mitarbeiter wissen, dass sie sensible Daten nicht mit Modellen von Drittanbietern teilen dürfen.
Viele GenAI-Dienste ergreifen Maßnahmen, um Kundendaten zu schützen. Organisationen sollten auch vorsichtig sein, wenn sie diese GenAI-Dienste mit ihren eigenen internen Datenquellen und Forschungsdateien verbinden, da das Risiko, sensible Daten preiszugeben, bei der Verbindung von GenAI-Diensten mit bestehenden Datenspeichern drastisch steigt.
Und noch eine Sache – die unvermeidliche Nutzung von „Shadow AI“
Worum handelt es sich? Das „eine andere Risiko“, dem alle Organisationen im Zeitalter von GenAI wahrscheinlich begegnen werden: die unautorisierte Nutzung von GenAI-Diensten Dritter unter den Mitarbeitern. Genauso wie mobiles und Cloud-Computing rogue Endgeräte und Anwendungen mit „Shadow IT“ ins Unternehmen brachten, ermöglichen die verbraucherbasierten LLMs es den Mitarbeitern, Zugriff auf diese GenAI-Dienste zu erwerben und sie für verschiedene Arten von Arbeit zu verwenden.
Die beste Verteidigung: Lernen Sie die Lektionen aus früheren Epochen des mobilen und Cloud-Computings. Es war noch nicht so lange her, als Unternehmen herausfinden mussten, wie sie die Risiken bewältigen können, die mit der Nutzung ihrer eigenen privaten Geräte und Software bei der Arbeit und der Verbindung mit dem Computernetzwerk ihres Arbeitgebers verbunden sind. Genau wie damals werden Unternehmen unterschiedlich reagieren, wobei einige versuchen, die gesamte mitarbeitergesteuerte GenAI-Nutzung zu stoppen, und andere versuchen, sie von Fall zu Fall zu moderieren.
[Lesen Sie auch: Warum Mitarbeiter gegen Cybersicherheitsrichtlinien verstoßen]
„Offene Verbote werden nicht funktionieren“, sagt Haydock. „Die Leute werden sie einfach ignorieren. Der optimale Weg [um das Risiko zu steuern] ist, zu erkennen, dass dies Realität ist, und so viel wie möglich zu handhaben“, sagt er. Normalerweise bedeutet das, dass Mitarbeiter die Genehmigung für die Nutzung eines neuen GenAI-Dienstes einholen und die Sicherheit und das Technologieteam den Dienst überprüfen, bevor sie ihn zu einer genehmigten Liste von KI-Anbietern hinzufügen, die Mitarbeiter verwenden können.
Wenn Sie diese Richtlinie richtig anwenden, wird ein gewisser Testfehler durchgeführt, bis das richtige Gleichgewicht zwischen Mitarbeiterproduktivität und Sicherheit gefunden wird. Tatsächlich ist dies wahrscheinlich der Fall, wenn GenAI im Unternehmen breiter abgesichert wird. Das Wichtige, was Sie jetzt tun müssen, ist, die primären Risiken zu erkennen und die entsprechenden Schritte zu ergreifen, um sie zu bewältigen.
