Ep. 19: Shadow-KI kennenlernen – die wachsende neue Bedrohung

Zusammenfassung

Viele Unternehmen glauben, dass sie keine KI einsetzen, aber natürlich experimentieren ihre Mitarbeiter mit allen möglichen neuen KI-Tools, da die Neugier auf KI die gesamte Gesellschaft erfasst hat. Was diese Mitarbeiter nicht wissen, ist, wie sie dabei möglicherweise Unternehmensdaten gefährden. Es geht schnell voran, und jedes Unternehmen, das noch keine KI-Strategie hat, muss jetzt Parameter und Leitplanken festlegen.

Der Schlüssel liegt darin, die Mitarbeiter über die Risiken aufzuklären und von ihnen zu erfahren, wie diese Tools die Arbeit erleichtern, damit Ihre Leitplanken schützen, ohne das Unternehmenswachstum zu behindern.

Moderatorin: Stephanie Aceves, Senior Director of Product Management, Tanium
Gast: Candy Alexander, CISO und Leiterin der Cyber-Praxis, NeuEon Inc.

Shownotes

Weitere Informationen zu Shadow-KI und Shadow-IT finden Sie in unseren Artikeln in Focal Point, Taniums preisgekröntem Online-Magazin für Cybernachrichten, sowie in diesen weiteren nützlichen Ressourcen.

• Mitarbeiter setzen auf „Shadow AI" – und gefährden damit Unternehmensdaten | Focal Point
• Ep. 18: Schatten-IT ins Licht gerückt | Let's Converge
• 4 Kritische Führungsprioritäten für CISOs im KI-Zeitalter | Focal Point
• Die Vermeidung von KI-Vorurteilen beginnt an der Spitze – Fragen Sie diese weiblichen Chief-AI-Officers | Focal Point
• Was ist Digital Experience Monitoring? Warum eine DEM-Strategie wichtig ist und die Mitarbeiter- und Kundenerfahrung stärkt | Tanium
• 8 Phasen der KI-„Achterbahn der Gefühle" | Tanium

Transkript

Das folgende Interview wurde zur besseren Verständlichkeit bearbeitet.

"Ich habe neulich einen Werbespot in einem YouTube-Video gehört, das ich mir angeschaut habe, und sie sagten: „Oh, mit dem Einsatz von KI, die klüger ist als Menschen, ..." und ich musste einfach lachen … Das Marketing greift das für Konsumgüter auf und behauptet, KI sei das Beste überhaupt. Das ist es, was unsere Endnutzer-Community hört."

Candy Alexander, CISO und Leiterin der Cyber-Praxis, NeuEon Inc.

Stephanie Aceves: Hallo, mein Name ist Stephanie Aceves. Ich bin Senior Director of Product Management bei Tanium, und heute sprechen wir in „Let's Converge" über Schatten-IT und Schatten-KI. Willkommen zum zweiten Teil unserer zweiteiligen Serie, die sich mit diesem zunehmend gefährlichen Problem für Unternehmen befasst.

In Teil eins haben wir einige der Projektmanagement-Tools besprochen, die Ihre Mitarbeiter möglicherweise verwenden, ohne dass Sie davon wissen – und was für manche überraschend sein dürfte: Ihre Mitarbeiter, die Schatten-IT nutzen, haben wirklich gute Absichten. Meistens versuchen sie einfach herauszufinden, wie sie ihre Arbeit besser und schneller erledigen können. Und sie sind sich nicht bewusst, dass sie durch die Nutzung nicht genehmigter Technologien das Unternehmen gefährden könnten.

Als Gast, um heute über dieses Thema zu sprechen, begrüße ich Candy Alexander, Chief Information Security Officer und Leiterin der Cyber-Praxis bei NeuEon Inc., einem führenden Unternehmensberatungsunternehmen. Neben der Entwicklung und Verwaltung von Unternehmenssicherheitsprogrammen wurde Candy – zweimal – zur internationalen Präsidentin der Information Systems Security Association gewählt und ist seit Langem Direktorin in deren internationalem Vorstand.

Gut, kehren wir zu unserer Diskussion zurück.

Es gibt einen neuen Akteur, der in diesem Bereich auftritt: die Schatten-KI.

Alexander: Wir befinden uns wirklich in einer revolutionären Ära, die mit der KI auf uns zukommt, und sie kann sich in viele Richtungen entwickeln. Ich hoffe es einfach und bin zuversichtlich, dass es gut gehen wird, aber ich denke, es wird einige erschreckende Stolpersteine geben.

Aceves: Bei den Unternehmen, mit denen wir in meinem Job zusammenarbeiten, sprechen wir mit Führungskräften über Bedenken hinsichtlich des… Wiederauflebens der KI, insbesondere mit dem Aufkommen von LLMs [Large Language Models]. Und wenn wir mit ihnen sprechen, gibt es wirklich Bedenken hinsichtlich Datenlecks, was ein ähnliches Problem ist wie das, was wir bei der typischen Schatten-IT definiert haben. Und man kommt zu dem Verständnis, dass die KI, insbesondere bei den LLMs, oft das Risiko birgt, dass das Modell mit möglicherweise sensiblen Informationen trainiert wird. Können Sie etwas mehr aus der Perspektive der KI berichten und wie diese Unternehmen beeinflusst oder wie Sie erwarten, dass sie Unternehmen beeinflussen wird, während wir diese neue Art von Technologie weiterentwickeln, anpassen und nutzen?

Alexander: Das ist interessant, denn dies ist eine interessante Einführung „neuer" Technologien, aber sie ist nicht wirklich neu. Ich meine, seien wir ehrlich, KI gibt es schon seit jeher.

Aceves: Absolut.

Alexander: Aber natürlich, da es nun zum Mainstream geworden ist, nutzen alle KI, und sie gewinnt mit der… Verfügbarkeit von ChatGPT zunehmend an Bedeutung. Viele Organisationen werden also sagen: Wir nutzen keine KI. Und natürlich schmunzelt man dabei, weil das definitiv der Fall ist. Wir haben Mitarbeiter, die zum Beispiel ChatGPT oder … Google Bard oder jetzt Gemini nutzen, um damit Dinge zu tun wie ihren Schreibstil, Lebensläufe oder Marketingmaterialien aufzupolieren, was auch immer. Es ist also wirklich schwierig, einen Überblick über diese Nutzung zu bekommen. Darüber hinaus liegt am anderen Ende des Spektrums die Nutzung irgendeiner Art von KI, generativer KI, zur Code-Vervollständigung, richtig?

Ich habe diese Woche über Supply-Chain-Software gesprochen. Und das ist meiner Meinung nach eine der Möglichkeiten, wie wir in der Lage sein werden, den Einsatz von KI im Bereich der Entwicklung zu identifizieren und ihn dann zu überprüfen. Wir werden also in der Lage sein, mithilfe von Supply-Chain-Software zu identifizieren, welche Arten von KI eingesetzt werden, die erklärbare KI zu untersuchen, über die jetzt alle sprechen, und dann Parameter für deren Nutzung festzulegen … und diese Nutzung kontinuierlich zu bewerten. Und das ist wichtig. Aber ich möchte zur anderen Seite zurückkehren, wo es Organisationen gibt, die sagen: Wir haben eigentlich keine KI-Strategie. Und mein Rat an sie lautet: Beeilen Sie sich besser und tun Sie das jetzt und legen Sie diese Parameter fest.

Und es muss mit etwas so Einfachem wie Ihrer Richtlinie zur akzeptablen Nutzung beginnen. Legen Sie diese Parameter, diese Leitplanken, diese Richtungsvorgaben fest, was akzeptabel ist und was nicht. Und… bedenken Sie, dass generative KI genau das ist: Sie lernt generativ und erweitert ihr Wissen und ihren Umfang auf der Grundlage der bereitgestellten Informationen. Denken Sie also darüber nach: Möchten Sie wirklich, dass Ihre Unternehmensinformationen Teil dieses Data Lakes oder Datenpools werden? Absolut nicht. Sie müssen also über den Anwendungsfall nachdenken. Und genau wie bei der Software-Lieferkette [empfehle ich Ihnen,] die Komponenten und ihr Zusammenspiel zu kartieren – wann kommen sie zum Einsatz? Das Gleiche gilt für einen KI-Anwendungsfall für Endbenutzer, sei es Microsoft Copilot oder ein anderes KI-Tool. Sie müssen verstehen, wie es genutzt werden soll, und entscheiden, ob Sie eine Open-Source-KI oder eine private KI für Ihr Unternehmen verwenden möchten, damit die Abfragen, die in diese KI eingehen, innerhalb der Grenzen Ihrer Organisation bleiben.

Aceves: Das gefällt mir sehr gut. Und wissen Sie, einige der Führungskräfte, mit denen ich gesprochen habe, haben Bedenken hinsichtlich KI, insbesondere in Bezug auf generative KI und diese GPT-Modelle. Der Grund dafür ist, dass viele davon nun in Technologien eingebettet sind, die wir gar nicht [bemerkt haben] – zum Beispiel: Meine Suchmaschine verwendet jetzt eine Art GPT. In diesen Situationen ist sich nicht einmal der Benutzer immer bewusst, was passiert. Und so wird die Unternehmensrichtlinie schwieriger, weil ein Benutzer sich nicht bewusst ist, dass er etwas tut, das von Natur aus riskant für die Organisation ist.

Wir hören, dass eine Vielzahl verschiedener Organisationen versucht, diese eigentlichen Modelle intern zu verlagern, damit sie Rechte und Eigentum an den Daten und an allem Lernen haben, das auf diesen Modellen stattfindet. Aber wie setzen sie Kontrollen durch, ob es zu einem intern genehmigten Modell umgeleitet wird oder ob sie insgesamt verhindern, dass es auf eine Weise genutzt wird, die vielleicht etwas verschleierter ist – und nicht aus böswilligen Gründen, aber jeder, mit dem wir sprechen, [jedes Unternehmen] spricht über die KI, die sie verwenden. Und ich finde es toll, dass Sie das angesprochen haben.

KI existiert schon seit langer Zeit. Die meisten Technologien verwenden irgendeine Art von maschinellem Lernen, oder sie nehmen die großen Datensätze und ziehen daraus wirklich Schlussfolgerungen und Erkenntnisse. Aber es war wirklich das Aufkommen von GPT, das Verbrauchern zugänglich gemacht wurde, das diese massive Explosion ausgelöst hat. Also, mit dem Wissen, dass KI in jeder Ecke lauert, wie können Unternehmen wirklich beginnen, das Risiko von Datenlecks zu mindern – ich würde gerne sagen, dass es eine Liste aller Websites der Welt gibt, die irgendeine Art von LLM verwenden und ihre Modelle mit Ihren Daten trainieren werden, aber wie kommen wir dem zuvor?

Alexander: Wow, das ist enorm. Denn es ist überall, und meiner bescheidenen Meinung nach werden [die Lösungen] vielschichtig sein müssen. Und genau das beobachten wir. Wir sehen, wie in verschiedenen Ländern weltweit Gesetze verabschiedet werden, um aus regulatorischer Sicht entsprechende Rahmenbedingungen zu schaffen. Und dann kommt es auf die technologische Perspektive an. Wir beginnen also auf staatlicher Ebene, dann geht es über in den organisatorischen Einsatz, und ich denke, wir warten noch ab und werden weitere Entwicklungen sehen, wie sich das durch Technologie identifizieren lässt.

Ein Beispiel als Analogie dazu ist das Cloud-Computing. Wie findet man heraus, wo sich alle Instanzen seiner Daten in der Cloud befinden? Nun, es gibt derzeit nur wenige Anbieter in diesem Bereich. Und einer, der meiner bescheidenen Meinung nach wirklich gut darin ist, Ihnen zu helfen, Ihren Standort in der Cloud zu ermitteln – wir werden dieselbe Art von Technologie für den KI-Einsatz benötigen, die sozusagen am Rand oder am Perimeter von was auch immer das ist, sitzt.

Ich weiß nicht, ob das auf Desktop-Ebene oder anderswo sein wird, aber diese Art von Filter und Sensor wird benötigt. Und die dritte Komponente – und ich sage das ungern –, die wieder auf das Modell „Menschen, Prozesse und Technologie" zurückführt, ist, die Benutzer darüber zu informieren, was vor sich geht. Warum ist KI potenziell gefährlich? Die Leute schauen sich das einfach an – sogar TV-Werbung… Ich habe neulich einen Werbespot gehört, während ich etwas auf YouTube schaute, und sie sagten: „Oh, mit dem Einsatz von KI, die klüger ist als Menschen…", und ich musste einfach lachen.

Aceves: Oh mein Gott.

Alexander: Das [Konsumgüter-]Marketing greift das auf und [behauptet], KI sei das Beste, was es je gab. Das ist es, was unsere Endnutzergemeinschaft hört, und sie sehen das durch die Nutzung von: „Ist es nicht toll, mit Gemini oder ChatGPT zu spielen oder auf Facebook zu gehen und mein Bild so zu bearbeiten, dass ich wie ein Model aussehe?"

Ich meine, sie betrachten KI als fantastisch. Sie sehen die inhärenten Gefahren nicht, sie hören nicht diese Horrorgeschichten, die wir hören – wie zum Beispiel der Fall, bei dem ein ChatGPT-Chatbot mit einer Person in Europa interagierte, die depressiv war, und sie so weit brachte, dass sie sich das Leben nahm. Sie verstehen also nicht die Risiken, die wahren Risiken, die der künstlichen Intelligenz innewohnen. Natürlich wurden Maßnahmen ergriffen, um die Vorurteile und die Halluzinationen zu beheben, die bei KI auftreten, aber was einen normalen Otto oder eine normale Lieschen Müller auf der Straße betrifft, verstehen sie diese Risiken nicht.

Genau hier müssen wir als Sicherheitsexperten eingreifen und das Unternehmen sowie unsere Nutzergemeinschaft darauf hinweisen, dass mit dem Guten auch das Schlechte kommt – um es einfach auszudrücken. Wir empfehlen ihnen, deshalb bei einer unternehmenseigenen KI zu bleiben und einige dieser externen Lösungen nicht zu verwenden. Und wir informieren sie über Datenlecks, also über die unbeabsichtigte Weitergabe von Unternehmensdaten. Deshalb möchten wir sie auf Voreingenommenheit, Halluzinationen und die Datenintegrität aufmerksam machen, die beim KI-Einsatz auftreten können. Es gibt eine ganze Reihe von Dingen, die mit dem heutigen KI-Einsatz einhergehen. Es ist wie im Wilden Westen. Es ist gut, aber es ist gefährlich.

Aceves: Und ich denke auch, dass meine Rolle jetzt im Produktmanagement liegt, und ich bin fest davon überzeugt, dass Anbieter eine Verantwortung tragen. Und während wir Produkte entwickeln, die unsere Kunden benötigen, und KI zweifellos ein Werkzeug ist, das den Mehrwert und die Ergebnisse liefern kann, nach denen sie suchen, tragen Anbieter und Softwareanbieter eine Verantwortung.

Als GPT erstmals für Verbraucher verfügbar wurde, las ich Artikel, und es war interessant zu sehen, wie Sicherheitsforscher – darunter auch einer in Europa – mit den LLMs interagierten und in der Lage waren, die Jungsche Psychologie und das Schatten-Selbst zu nutzen, um die KI dazu zu bringen, Geheimnisse preiszugeben, die einem Verbraucher nicht hätten offenbart werden dürfen. Und es war faszinierend – wenn man sich mit den technischen Details befasst, wie es umgesetzt wurde, und ich glaube, das Unternehmen veröffentlichte eine Erklärung, dass es sich um ein ausgedehntes Gespräch mit der KI gehandelt hatte.

Wenn ich an „erweitert" denke, stelle ich mir vor, wie lange das dauern würde. Ich glaube, es waren irgendwo zwischen acht und 10 Fragen, was für mich, der ich vor einer neuen Technologie sitze, nicht erweitert ist.

Alexander: Richtig.

Aceves: Das ist eine vielleicht 5- bis 10-minütige Interaktion, bei der ich frage und bewerte. Und daher tragen Anbieter eine Verantwortung, insbesondere gegenüber ihren Endkunden, diese Leitplanken einzubauen. Ich denke, die Sicherheitsbranche hat mit sicheren Programmierpraktiken einen enormen Wandel erlebt.

Ich habe mein Grundstudium mit einem Abschluss in Informatik und Softwareentwicklung abgeschlossen, und ich hatte keinen einzigen Kurs, der sich ausschließlich mit Sicherheit befasst hat. Inzwischen haben sich die Zeiten geändert, und sichere Programmierpraktiken sind standardmäßig integriert. Und ich gehe davon aus, dass wir das von Anfang an auch bei der KI so handhaben müssen, denn die Risiken sind hier zu groß. Wie Sie bereits angesprochen haben, besteht nicht nur das Risiko von Datenlecks, sondern auch die Frage: Wie behält man die Kontrolle, sobald die Modelle beginnen, selbst zu lernen? Man hat dann nicht mehr so viel Kontrolle wie bei jedem anderen Code.

Ich weiß, dass es Science-Fiction-artige Versionen dieser Befürchtungen gibt, aber es ist eine legitime Sorge, welche Leitplanken vorhanden sind und wie die KI diese verstehen und im geschäftlichen Kontext möglicherweise manipulieren kann. Ich freue mich sehr, dass Sie das angesprochen haben, und wir sprechen darüber mit Kunden, die mehr KI und entsprechende Technologien einsetzen möchten. Und sie sind besorgt. Und das nicht nur wegen der Datenlecks. Aber es ist etwas, über das wir wirklich keine Kontrolle haben. Es ist fast wie eine eigenständige Intelligenz, die Regeln und Paradigmen befolgt, die nicht einmal für den Entwickler selbst immer transparent sind – das ist einfach faszinierend, wenn man darüber nachdenkt.

Alexander: Ich denke, das ist der beängstigende Teil. Und ich denke, deshalb kommen jetzt Gesetzgeber ins Spiel. Denn es läuft letztendlich darauf hinaus – was Sie ansprechen, meiner Meinung nach – ist ethischer, moralischer Natur. Und das ist nicht mein Arbeitsbereich, aber ich freue mich zu hören und zu sehen, dass Regierungen tätig werden. Denn das ist absolut erschreckend. Aber abgesehen davon ist es nicht mein Tätigkeitsbereich, aber es ist meine Aufgabe, Nutzer zu sensibilisieren – wie werden wir das anwenden und uns der damit verbundenen Risiken bewusst sein.

Die gute Nachricht ist, dass man, sofern man kein Forscher ist, wahrscheinlich nicht in diesen Bereich vordringen wird – diesen wirklich interessanten Bereich, der undefiniert und irgendwie im Wandel und schwer greifbar ist – im Gegensatz zur geschäftlichen Anwendung. Aber das bedeutet nicht, dass es kein Potenzial gibt, dass geschäftliche Anwendungen schiefgehen und unerwartete Folgen oder Ergebnisse haben könnten. Und das ist, nochmals gesagt, unsere Aufgabe. Das ist also ein laaaanger Weg, um zu verdeutlichen, dass wir uns der Risiken bewusst bleiben und auf die mit Shadow-KI verbundenen Risiken aufmerksam machen müssen.

Aceves: Ja, absolut. Ich habe mir zufällig etwas auf YouTube angeschaut – irgendetwas über Tierkommunikation. Forscher erklärten, wie sie KI einsetzen, um Belugawale zu verstehen, und wie sie mithilfe künstlicher Intelligenz bestimmen können, welcher Wal gerade spricht. Die Anwendungsmöglichkeiten sind einfach faszinierend – selbst außerhalb der Sicherheitsbranche erkennt man diese Parallelen.

Mein Hintergrund liegt in der Incident Response und im Red Teaming. Eines der größten Probleme, mit denen Sicherheitsteams konfrontiert sind, ist das schiere Volumen an Datenmüll – ein ähnliches Modell wie bei einem Meeresbiologie-Team, das über tonnenweise Audioaufnahmen verfügt und diese nicht durchforsten kann. Sie wissen einfach nicht weiter. Deshalb setzen sie künstliche Intelligenz ein, um die wichtigen Dinge herauszufiltern und zu identifizieren – also zu erkennen: Das ist diese Sprache oder dieses Wort, das dieser Wal verwendet. Es ist faszinierend zu sehen, wie all diese Dinge zusammenwachsen.

Alexander: Das ist wirklich revolutionär – das wissen Sie doch, oder? Ich meine, überall wird KI eingesetzt, und das ist aufregend und großartig, aber wie ich schon sagte, gleichzeitig auch irgendwie beängstigend.

Aceves: Vielen herzlichen Dank für dieses faszinierende Gespräch, Candy.

Ich habe mit Candy Alexander gesprochen, CISO und Leiterin der Cyber-Praxis bei NeuEon Inc.

Wenn Sie mehr über Shadow-IT und Shadow-AI erfahren möchten, besuchen Sie Focal Point, Taniums Online-Magazin für Cyber-Nachrichten. In den Show-Notizen finden Sie Links zu relevanten Artikeln. Besuchen Sie einfach Tanium.com/p für Publikationen.

Um weitere Gespräche mit den führenden Unternehmensverantwortlichen und Sicherheitsexperten von heute zu hören, abonnieren Sie Let's Converge in Ihrer bevorzugten Podcast-App. Und wenn Ihnen diese Episode gefallen hat, geben Sie uns gerne eine Fünf-Sterne-Bewertung.

Vielen Dank fürs Zuhören. Wir freuen uns darauf, in der nächsten Episode von Let's Converge weitere Cyber-Einblicke mit Ihnen zu teilen.