Seien wir ehrlich: Softwareentwickler erhalten nicht unbedingt die umfassendste Ausbildung. Daher schreiben sie manchmal unsicheren Code, während sie unter dem Druck stehen, schneller als ein Mensch arbeiten zu müssen. Nun, im Zeitalter der KI greifen sie verstärkt auf Tools zurück, die Code-Schnipsel schneller generieren können, und sie – oder besser gesagt: wir alle – neigen dazu, diesem Code mehr zu vertrauen als von Menschen erstelltem Code.
Diese Schnelligkeit und dieses Vertrauen sind kein gutes Rezept für die Sicherheit von Apps.
Die höhere Code-Entwicklungsgeschwindigkeit, die durch die großen Sprachmodelle (LLMs) von und die generative KI (GenAI) von ermöglicht wird,führt zu einer höheren Schwachstellenentstehungsrate, was nun eine Vielzahl neuer Herausforderungen für Sicherheitstests, die Behebung von Schwachstellen und eine intelligente KI-Governance mit sich bringt.
Im Vorfeld der Black Hat USA 2024 zählt die Sitzung „: Von HAL zu HALT – Wie man Skynets Geschwister im Zeitalter der GenAI-Programmierung vereitelt“" von Chris Wysopal zu den am meisten erwarteten Veranstaltungen. Wysopal ist ein angesehener Experte im Bereich Anwendungssicherheit und Mitbegründer von Veracode.
In einem exklusiven Gespräch kurz vor der Black Hat USA 2024 traf sich „ “-Ansprechpartner mit Wysopal, um die zentralen Themen zu erörtern, die er in seinem Vortrag behandeln wird. Hier finden Sie einige wichtige Erkenntnisse aus unserem Gespräch, die einen Vorgeschmack darauf geben, was die Teilnehmer über die Schnittstelle zwischen generativer KI und Cybersicherheit erfahren werden.
Dieses Interview wurde aus Gründen der Länge und der Verständlichkeit leicht überarbeitet.
In Ihrem Black-Hat-Vortrag werden „ “, „HAL“ sowie „ “ und „Skynet“ erwähnt – einige der berüchtigtsten Hollywood-Momente im Zusammenhang mit künstlicher Intelligenz. Abgesehen davon, dass Arnold Schwarzenegger in unsere Büros stürmt – wie viel Veränderung wird es Ihrer Meinung nach tatsächlich geben?
Ziel dieser Sitzung ist es, darüber zu sprechen, dass von LLMs generierter Code derzeit wahrscheinlich eine der wichtigsten Anwendungsmöglichkeiten von LLMs darstellt. Es wächst und verfügt über ein erstaunlich großes Potenzial. Dies wird die Art und Weise verändern, wie Software entwickelt wird.
„Von großen Sprachmodellen (LLMs) generierter Code ist heute wahrscheinlich eine der wichtigsten Anwendungsbereiche von LLMs. Es wächst und birgt ein erstaunlich großes Potenzial.”
Für mich, der ich mich seit über 25 Jahren mit der Anwendungssicherheit unter befasse, stellt dies eine enorme Veränderung in der Softwareentwicklung dar. In der Regel gehen Änderungen in der Softwareentwicklung mit Änderungen bei der Anwendungssicherheit einher. In diesem Vortrag geht es also darum, wie KI-generierter Code die Anwendungssicherheit verändern wird.
Sie haben erwähnt, dass von LLM generierter Code ebenso unsicher sein kann wie von Menschen geschriebener Code. Welche Auswirkungen hat dies für Unternehmen, die auf Tools wie ChatGPT oder Microsoft Copilot setzen?
Es gibt einige verschiedene Studien der Stanford University, der Universität Wuhan und der Carnegie Mellon University, die sich mit diesem Problem befasst haben und im Wesentlichen zu dem Ergebnis kamen, dass diese großen Sprachmodelle (LLMs) Code generieren, der nahezu genauso unsicher ist wie von Menschen erstellter Code. Müll rein, Müll raus. Wenn Sie lernen, etwas auf eine bestimmte Art und Weise zu tun, werden Sie es wahrscheinlich auch so tun. Das ist also sozusagen der grundlegende Ausgangspunkt. Und dann fragt man sich: Nun, was sollen wir dagegen tun?
Wie können Unternehmen GenAI zu ihrem Vorteil nutzen und gleichzeitig eine sichere Softwareentwicklung gewährleisten?
[Anstatt] ein Grundmodell darin zu trainieren, wie man Code schreibt, können wir es feinabstimmen und ihm Beispiele dafür geben, wie schlechter Code aussieht. Und wenn Sie diesen schlechten Code sehen und die Anweisung erhalten, guten Code zu schreiben, dann wäre dies der gute Code.
„[Anstatt] ein Grundmodell darin zu trainieren, wie man Code schreibt, können wir es feinabstimmen und ihm Beispiele dafür geben, wie schlechter Code aussieht.“
Eine der Lösungen, die wir für sinnvoll halten, besteht darin, einfach loszulegen und ChatGPT, Code Llama sowie Copilot zu nutzen, da diese über das beste Fachwissen verfügen, wie man verschiedene Arten von Code für viele unterschiedliche Sprachen und Programmierprobleme schreibt. Und ignorieren Sie die Tatsache, dass dabei anfälliger Code geschrieben wird – genauso wie Sie die Tatsache ignorieren, dass Ihre Entwickler anfälligen Code schreiben. Denn, offen gesagt, schicken Sie sie nicht zu einer derart intensiven Schulung zum Thema sicheres Programmieren, dass sie durchweg hervorragenden, sicheren Code schreiben würden. Sie sagen im Grunde genommen: „Ich weiß, dass meine Entwickler unsicheren Code schreiben.“
Sie müssen also weiterhin unter auf Sicherheitsprobleme prüfen und diese Sicherheitsprobleme beheben.
Wie wird sich Ihrer Meinung nach die Rolle des menschlichen Fachwissens in diesem von KI geprägten Zeitalter der Programmierung weiterentwickeln? Gibt es noch einen Platz für manuelle Codeüberprüfungen und Sicherheitstests?
Wir haben doch bereits das Problem, dass wir in von Menschen entwickeltem Code mehr Fehler finden, als wir beheben können, nicht wahr? Sie haben also diese wachsende Sicherheitslücke. Sie setzen bereits nicht genügend Ressourcen ein, um alle Probleme zu beheben, die Sie mit Ihrer „ “-Automatisierung feststellen.
Das ist also sozusagen das Problem, mit dem wir beginnen. Und nun werden wir dieses Problem noch verschärfen, indem wir schneller mehr Code schreiben – und das bei im Wesentlichen gleichbleibender Sicherheitsqualität. Selbst wenn er doppelt so gut wäre, selbst wenn er nur halb so viele Sicherheitslücken aufweisen würde, hätten Sie dennoch ein größeres Problem, wenn Sie pro Entwickler dreimal so viel Code ausführen würden. Somit verursachen wir durch den Einsatz von LLMs in der Entwicklung weitere Sicherheitslücken.
Also ja, wir benötigen schnelle Tools in der CI/CD-Pipeline von , die das Problem aufspüren, aber wir benötigen auch schnelle Tools, die die Probleme beheben.
Sie haben über das Potenzial für rekursives Lernen und den Wissensverfall in KI-Modellen gesprochen. Könnten Sie näher auf dieses Thema und dessen Auswirkungen auf die Cybersicherheit eingehen?
Ja, das wird langsam zu einem Thema, das den Menschen Sorgen bereitet. Das Lernen anhand von KI-generierten Inhalten hat negative Auswirkungen auf das Wissen, da Sie diese Halluzinationen und verinnerlichen. Die Überlegung lautet also: Was wäre, wenn der Großteil des geschriebenen Codes von LLMs verfasst würde – und diese LLMs, wie wir alle wissen, machen nun einmal Fehler. Stellt dies ein Problem für die nächste Generation von Code dar, von der sie lernen wird?
„Nur zu, nutzen Sie Ihr ChatGPT, Ihr Code Llama, Ihren Copilot … Und ignorieren Sie die Tatsache, dass es anfälligen Code schreibt, [denn] Sie müssen weiterhin auf Sicherheitslücken prüfen und diese beheben.“
Wissen Sie, diese nächste Generation von LLMs – wenn sie in drei Jahren lernt, wird sie dann vielleicht auf der Grundlage von 10 % des weltweit von LLMs geschriebenen Codes lernen? Und wird diese Zahl dann steigen? Vielleicht werden wir eines Tages fast ausschließlich mit LLMs programmieren, und es wird kaum noch menschliche Interaktion geben. Was bedeutet das, wenn die LLMs von anderen lernen und wir somit lediglich aus den Ergebnissen anderer LLMs lernen?
Wir beginnen gerade erst zu verstehen, inwiefern sich dies negativ auf das Wissen auswirkt, und es könnte sein, dass wir von LLMs generierten Code kennzeichnen müssen, damit zukünftige LLMs nicht mit diesem Code trainiert werden. Oder so ähnlich.
Welche ethischen Bedenken ergeben sich aus dem Einsatz von GenAI beim Programmieren, insbesondere im Hinblick auf die Zuordnung von Code und urheberrechtliche Fragen?
Sie haben dasselbe Problem wie bei den Artikeln „ “ der New York Times ( ) oder wie bei Sarah Silvermans Buch – sie klagt, weil sie in einem Buch einige Witze geschrieben hat, die sie noch nie irgendwo vorgetragen hat. Es stand einfach in dem Buch, und nun taucht es in den Antworten von ChatGPT auf, etwa wenn man sagt: „Schreiben Sie mir einen Witz dazu“, und dabei werden ihre Witze verwendet.
Es ist also offensichtlich, dass hier lediglich meine Inhalte und meine urheberrechtlich geschützten Inhalte verwendet werden. Das geschieht also definitiv im Code.
Der Großteil des Codes, anhand dessen es trainiert wurde, unterliegt der GPL ( , General Public License) . Daher ist eine Namensnennung erforderlich, und in einigen Fällen würde die „ “ (GPL 3) von Ihnen verlangen, den Quellcode Ihrer Software zu veröffentlichen, sofern Sie diese einbinden. Nun ja, dazu gibt es zwar noch keine Rechtsprechung, aber ich kann Ihnen versichern, dass Anwälte diesbezüglich sehr besorgt sind. Sie analysieren den Code mithilfe von Code-Snippet-Analysen, um Übereinstimmungen festzustellen und zu prüfen, ob er mit Open-Source-Code übereinstimmt. Sollte es sich um einen ausreichend großen Code-Block handeln, würde dies eine Rechtsverletzung darstellen. Sozusagen eine einzige Zeile Code, gegen die Sie nicht verstoßen dürfen. Wenn es sich jedoch um eine ganze Choreografie handelt … Wenn es sich um eine ganze Tanznummer handelt, stellt dies zweifellos eine Rechtsverletzung dar.
Zum Abschluss: Worauf freuen Sie sich bei der Black Hat am meisten, und was hoffen Sie, dass die Teilnehmer aus Ihrem Vortrag mitnehmen?
Was ich eigentlich sagen möchte, ist, dass generative KI das Programmieren in enormem Maße beeinflusst. Genau wie bei „ “ und der Umstellung auf die Cloud oder so ähnlich handelt es sich hierbei um eine grundlegende Veränderung für Anwendungen, und wir müssen uns Gedanken darüber machen, wie sich dies künftig auf die Sicherheit von Software auswirken wird.
Wir benötigen entsprechende Verfahren, damit sich die Situation dadurch nicht weiter verschlimmert. So wie die automatische Korrektur – das finde ich gut. Unsere Aufgabe ist es, sicherzustellen – ganz gleich, ob wir nun eine Bank wie oder ein Softwareunternehmen wie sind –, dass die von uns veröffentlichte Software sicher ist; und sollte generative KI dazu führen, dass diese Sicherheit beeinträchtigt wird, müssen wir darauf reagieren. Das ist meine Kernaussage.
ERFAHREN SIE MEHR BEI BLACK HAT USA 2024
Lassen Sie sich diese Gelegenheit nicht entgehen, einen der führenden Köpfe im Bereich Cybersicherheit zu hören und an der Diskussion über die Zukunft von KI und Anwendungssicherheit auf der Black Hat USA 2024 teilzunehmen. Der Vortrag von Chris Wysopal auf der Black Hat USA 2024 unter dem Titel „ “ ( ) ist ein absolutes Muss für alle IT-Fachleute – und Führungskräfte in Unternehmen, die sich einen tieferen Einblick in ein wesentliches Hindernis für die KI-Sicherheit verschaffen möchten.
- Vortrag: Von HAL zu HALT: Wie man Skynets Geschwister im Zeitalter der GenAI-Programmierung in Schach hält
- Datum: Mittwoch, 7. August
- Time: 1:30 - 14:10 PT
- Standort: , Oceanside A, Ebene 2
