Stellen Sie sich vor, Sie würden einem Teenager das Autofahren beibringen (beängstigend, nicht wahr?). Sie erklären die Verkehrsregeln, doch die wirklichen Lektionen lernt man erst durch die Erfahrungen hinter dem Steuer: Zu spätes Bremsen an einem Stoppschild löst einen Schreck aus, während das sanfte Durchfahren einer Kurve ein zustimmendes Nicken (oder einen Seufzer der Erleichterung) hervorruft. Im Laufe der Zeit lernt der Fahrer durch Versuch und Irrtum sowie durch Belohnungen.
So funktioniert das verstärkende Lernen im Wesentlichen. Es handelt sich um eine Art des „ “ (maschinelles Lernen) , bei dem das System durch das Ausführen von Aktionen und das Erhalten von Feedback – sowohl positivem als auch negativem – auf der Grundlage der Ergebnisse lernt. Beispielsweise könnte ein System des verstärkenden Lernens lernen, ein Videospiel zu spielen, indem es für gute Züge Punkte erhält und für schlechte Züge Punkte verliert.
Das verstärkende Lernen hat sich in Kreisen der Cybersicherheit noch nicht wirklich durchgesetzt, doch Experten sind der Ansicht, dass es sich durchaus lohnt, diese Methode näher zu untersuchen, da sie das Potenzial birgt, Systemen dabei zu helfen, in unbekannten Situationen in Echtzeit adaptiv zu entscheiden, wie sie weiter vorgehen sollen . Angriffe können sich zu schnell weiterentwickeln, als dass signaturbasierte Abwehrmaßnahmen damit Schritt halten könnten, und herkömmliche Modelle des maschinellen Lernens stützen sich auf historische Daten, die oft spärlich, veraltet oder verzerrt sind.
„Das verstärkende Lernen ist anders: Es handelt sich um das Lernen anhand von Bewertungsinformationen, bei denen es sich um eine Belohnung oder eine Strafe handeln kann“, sagt Andrew Barto, emeritierter Professor für Informatik an der University of Massachusetts Amherst und Autor von „ “ , „Reinforcement Learning: An Introduction“sowie „“. „Das System führt eine Aktion aus und erhält Rückmeldung in Form einer Punktzahl, die es zu maximieren versucht.“
„Ein System “des [verstärkenden Lernens] führt eine Aktion aus und erhält Feedback in Form einer Punktzahl, die es zu maximieren versucht.“Andrew Barto, emeritierter Professor für Informatik an der University of Massachusetts Amherst
Sollte sich das verstärkende Lernen durchsetzen – und angesichts der derzeit knappen Sicherheitsbudgets und der allgemeinen wirtschaftlichen Unsicherheiten ist das ein großes „Wenn“ –, glauben seine Befürworter, dass es eine neue Ära der „ “-Cyberhygiene einläuten könnte. Durch die Automatisierung routinemäßiger und sich wiederholender Aufgaben, die für die Cyberhygiene von grundlegender Bedeutung sind (beispielsweise die Analyse des Netzwerkverkehrs, Malware-Scans sowie das Patch-Management für „ “), gewinnen Sicherheitsteams Zeit, um sich komplexeren Problemen zu widmen und Computernetzwerke mithilfe von mehr Daten in Echtzeit effektiver zu schützen.
Die Vorteile des verstärkenden Lernens im Bereich der Sicherheit
Im Bereich der Cybersicherheit verläuft die Realität selten so, wie es im Lehrbuch beschrieben wird. Angreifer entwickeln ständig neue Tricks, und Abwehrmaßnahmen, die ausschließlich auf Daten aus der Vergangenheit basieren – wie beispielsweise die gestrigen Phishing-Köder unter , bekannte Malware-Signaturen oder die Schwachstellen-Scans des letzten Jahres unter – haben oft Mühe, Schritt zu halten. Diese traditionellen Modelle des maschinellen Lernens können entweder überwacht sein (das Modell lernt aus beschrifteten Daten, für die bereits die richtigen Antworten vorliegen, wie beispielsweise Bilder, die mit „Katze“ oder „Hund“ gekennzeichnet sind) oder unüberwacht, wobei das Modell Cluster oder Muster in unbeschrifteten Daten ermittelt (wie beispielsweise die Gruppierung von Kunden mit ähnlichen Kaufgewohnheiten).
„“Das verstärkende Lernen ist eine Lösung für das Problem der Datenknappheit, mit dem wir im Bereich der Sicherheit häufig konfrontiert sind.“Christoph Landolt, Doktorand, CISPA – Helmholtz-Zentrum für Informationssicherheit
Im Gegensatz dazu hilft eine Methode den Systemen dabei, herauszufinden: „Was nun?“ in Situationen, die sie bisher noch nicht erlebt haben. Zur Umsetzung eines Verfahrens des verstärkenden Lernens trainiert das Cybersicherheitsteam einen KI-Agenten – ein Programm, das eigenständig Entscheidungen treffen kann –, damit dieser Bedrohungen erkennt und seine Reaktionen im Laufe der Zeit anpasst. Die Ingenieure stellen dem Agenten simulierte Angriffsszenarien zur Verfügung und belohnen ihn mit einer guten Bewertung für Maßnahmen, die die Abwehr stärken, während sie solche Maßnahmen, die dies nicht tun, mit Punktabzug ahnden, bis er lernt, effektiv auf reale Bedrohungen zu reagieren.
Es ist oft eine Herausforderung, genügend Daten – oder die richtigen Daten – für bestimmte Techniken des maschinellen Lernens zu finden, wie Anupam Joshi, Vizerektor und Chief AI Officer an der University of Maryland, Baltimore County, feststellt. „Es ist nicht einfach, an Daten zu gelangen, und diese sind in der Regel sehr rückblickend“, sagt er.
„Genau hier kann ein System des verstärkenden Lernens bessere Ergebnisse erzielen, indem es selbst dann ermittelt, welche Maßnahmen im Angriff oder in der Verteidigung zu ergreifen sind, wenn es zu Beginn nicht über perfekte Daten verfügt“, fügt Joshi hinzu. Die Rückkopplungsschleife – Belohnung oder Strafe – ersetzt die beschrifteten Datensätze, auf die sich das überwachte Lernen stützt. Mit anderen Worten: Das verstärkende Lernen stuft nicht nur die Phishing-E-Mail als schädlich ein, sondern kann auch lernen, wie es vorgehen soll, wenn es auf ein verdächtiges Muster stößt, das es zuvor noch nicht gesehen hat.
[Lesen Sie auch: Wie KI die Erkennung von Anomalien verbessert und die Alarmmüdigkeit verringert]
Eine weitere Stärke des verstärkenden Lernens ist seine Fähigkeit, in sicheren, simulierten Umgebungen zu lernen, bevor es überhaupt in realen Systemen eingesetzt wird – was im Bereich der Cybersicherheit besonders wichtig ist, da sich Unternehmen keine Fehler in Live-Netzwerken leisten können, die kritische Infrastrukturen lahmlegen könnten, so Christoph Landolt, Doktorand am CISPA Helmholtz-Zentrum für Informationssicherheit.
„Das verstärkende Lernen ist eine Lösung für das Problem der Datenknappheit, mit dem wir im Sicherheitsbereich häufig konfrontiert sind“, sagt er. „Sie möchten zwar keine sensiblen, geschützten Bedrohungsdaten für das Training verwenden, können jedoch Simulationen erstellen, die den Modellen helfen, zu lernen, wie sie reagieren sollen.“
Dies bedeutet, dass Unternehmen synthetische Angriffsumgebungen schaffen können, wie beispielsweise Red-Team-Simulationen (bei denen ethische Hacker echte Angriffe nachstellen), Denial-of-Service-Belastungstests (bei denen Systeme mit Datenverkehr überflutet werden, um ihre Widerstandsfähigkeit zu testen) oder Ransomware-Sandboxen (isolierte Labore zur sicheren Untersuchung von Malware) – in denen Agenten des verstärkenden Lernens Reaktionen einüben, sicher scheitern und sich verbessern können, fügt Joshi hinzu. Für Bedrohungen, die zu selten sind, um in realistischen Trainingsdatensätzen aufzutauchen – wie beispielsweise fortgeschrittene, hartnäckige Bedrohungen (Advanced Persistent Threats) oder Zero-Day-Exploits von „ “ – bieten diese Umgebungen Unternehmen die Möglichkeit, sich vorzubereiten, ohne darauf warten zu müssen, dass das Worst-Case-Szenario eintritt.
Die Nachteile des verstärkenden Lernens
Die Realität ist natürlich unübersichtlicher als eine Simulation. Landolt warnt vor der „Kluft zwischen Simulation und Realität“, in der Modelle, die unter kontrollierten Bedingungen hervorragende Leistungen erbringen, in der Praxis versagen können, wenn sich die Netzwerkbedingungen oder das Verhalten von Angreifern ändern.
Als Bartos Team beispielsweise einen Agenten für verstärktes Lernen darauf trainierte, einen simulierten Rennwagen über eine Rennstrecke zu fahren, stellte das System fest, dass es durch einen Aufprall mit Höchstgeschwindigkeit gegen die Wand eine Kehrtwende vollziehen und das Rennen schneller beenden konnte. „Das war ganz offensichtlich das falsche Belohnungssignal“, sagt Barto. „Wir haben das gesehen und gesagt: ‚Oh, das ist nicht das, was wir wollen.‘“
Im Sicherheitskontext könnte dieses Ergebnis katastrophale Folgen haben. Ein schlecht konzipiertes System für verstärktes Lernen könnte lernen, die Ransomware „ “ zu stoppen, indem es legitime Prozesse aggressiv beendet, oder Sicherheitslücken verhindern, indem es normale Benutzeraktivitäten übermäßig einschränkt, so Joshi. Wird dies nicht unterbunden, könnte die vom System vorgeschlagene Lösung letztendlich Probleme verursachen, die ebenso groß sind wie der Angriff selbst.
Auch wenn das verstärkende Lernen vielversprechend sein mag, ist es nicht gerade kostengünstig. Im Gegensatz zum herkömmlichen maschinellen Lernen muss das verstärkende Lernen enorme Informationsmengen verarbeiten – jeden möglichen Zustand eines Netzwerks und jede Aktion, die ein System als Reaktion darauf ausführen könnte. „Das führt schnell zu einer enormen Rechenlast“, sagt Joshi. Die Herausforderung besteht nicht nur darin, die Modelle zu trainieren, sondern auch darin, die enorme Komplexität der Entscheidungsmöglichkeiten und Ergebnisse zu bewältigen. Für Unternehmen bedeutet dies, dass das verstärkende Lernen erhebliche Investitionen in die Infrastruktur und eine sorgfältige Planung erfordert, bevor es einen echten Mehrwert liefern kann.
Die Zukunft des verstärkenden Lernens
Das verstärkende Lernen befinde sich im Bereich der Cybersicherheit derzeit noch weitgehend im experimentellen Stadium, so Landolt, doch seine zukünftigen Anwendungsmöglichkeiten bergen ein enormes Potenzial.
„“Das verstärkende Lernen ist nichts, woran man normalerweise denkt, wenn man an die heutigen [großen Sprachmodelle] denkt.“Anupam Joshi, Vizerektor und Chief AI Officer an der University of Maryland, Baltimore County
Unternehmen, die über Zugriff auf ihre eigenen Echtzeit-Transparenz- und Schwachstellendaten verfügen, könnten einen Agenten für verstärkendes Lernen anhand dieser Daten trainieren, um Best-Practice-Abläufe und den optimalen Zeitpunkt für die Installation von Patches auf Tausenden ihrer Computer, Tablets und anderen Endgeräten zu ermitteln.
Landolt sieht vielversprechende Perspektiven in Bereichen wie Täuschungstechnologien – beispielsweise durch den Einsatz von Honeypots, die Angreifer dazu verleiten, mit gefälschten Systemen zu interagieren, während die Verteidiger Informationen sammeln. Agenten des verstärkenden Lernens könnten in Echtzeit erlernen, wie diese Köder am besten platziert und angepasst werden. Ein weiterer vielversprechender Bereich ist die Verteidigung gegen bewegliche Ziele, bei der sich die Systeme kontinuierlich neu konfigurieren, sodass Angreifer mit einer sich ständig verändernden Situation konfrontiert sind.
Landolt verweist zudem auf gezielte Angriffe als einen Bereich, in dem das verstärkende Lernen seine Stärken ausspielen könnte. Durch die Simulation lateraler Bewegungen innerhalb von Netzwerken – wie beispielsweise den Wechsel von einem Webdienst zu einer Datenbank – könnten Agenten des verstärkenden Lernens die Abwehr gegen Angreifer üben, die auf besonders wertvolle Ressourcen abzielen. Joshi fügt hinzu, dass Organisationen letztendlich Agenten des verstärkenden Lernens in Zwei-Spieler-Spielen nach dem Vorbild „Red Team gegen Blue Team“ gegen offensive Agenten antreten lassen könnten, sodass beide Seiten gemeinsam lernen und sich verbessern können.
Andererseits können auch Angreifer das verstärkende Lernen nutzen. Landolt warnt davor, dass Angreifer Agenten des verstärkenden Lernens direkt manipulieren könnten, indem sie deren Belohnungssignale verfälschen oder ihnen irreführende Beobachtungen präsentieren. Ein Agent zur Malware-Erkennung könnte beispielsweise dazu gebracht werden, bösartigen Datenverkehr zu ignorieren oder sogar zerstörerische Maßnahmen gegen legitime Dateien zu ergreifen. Ähnlich wie bei herkömmlichen Vorfällen von Datenvergiftung ( ), bei denen Angreifer die Trainingsdaten ins Visier nehmen, die in große Sprachmodelle eingespeist werden, sollten Unternehmen darauf achten, die Zugriffsrechte für Agenten des verstärkenden Lernens einzuschränken und eine Software-Bill-of-Materials (SBOM) zu nutzen, mit der die Komponenten in Softwareprodukten nachverfolgt werden.
Diese Doppelfunktion als „Guter“ und „Böser“ verdeutlicht, warum Unternehmen die Entwicklung des verstärkenden Lernens nicht ignorieren dürfen. „Durch den Einsatz von KI werden Angriffe schneller“, sagt Landolt. Für Sicherheitsverantwortliche bedeutet es, immer einen Schritt voraus zu sein, nicht nur, sich auf den verantwortungsvollen Einsatz des verstärkenden Lernens vorzubereiten, sondern auch vorauszusehen, wie Angreifer dieses Verfahren für ihre Zwecke missbrauchen könnten.
Die breitere Öffentlichkeit setzt bereits große Summen ein. Elon Musks xAI beispielsweise hat 10 -mal mehr Rechenleistung für das verstärkende Lernen bei seinem Modell „Grok 4 “ aufgewendet als bei „Grok 3—a “ – ein Zeichen dafür, wie zentral das verstärkende Lernen für die Weiterentwicklung der KI-Leistung geworden ist. Da KI-Forschungslabore weltweit Ressourcen in diesen Bereich investieren, werden sich die entsprechenden Techniken schneller weiterentwickeln – und schließlich auch im Bereich der Cybersicherheit Einzug halten.
„Verstärkendes Lernen ist nichts, woran man normalerweise denkt, wenn man an die heutigen [großen Sprachmodelle] denkt“, sagt Joshi. „Allein das Bewusstsein, dass es diese andere Vorgehensweise gibt, die im Hinblick auf das Lernen und die langfristige Weiterentwicklung besonders nützlich ist, ist schon etwas Wertvolles.“
