Von Poker zu ChatGPT: Wie Poker die KI voranbrachte

Schach, Go und Poker haben alle als wichtige Testfelder für künstliche Intelligenz gedient. Aber Poker unterscheidet sich in einem grundlegenden Punkt von den anderen beiden: es ist ein Spiel mit unvollständigen Informationen.

Beim Schach und Go ist der gesamte Zustand des Spiels sichtbar. Beim Poker kennt ein Spieler — und ebenso eine Poker-KI — seine eigenen Karten, die Gemeinschaftskarten, die Größe des Pots, die Stacks und die vorherigen Aktionen, kann aber die privaten Karten der Gegner nicht sehen.

Selbst die Aktionen eines Gegners offenbaren diese verborgenen Informationen nicht mit Sicherheit. Eine große Wette kann eine starke Hand oder einen Bluff darstellen. Ein Check kann Schwäche anzeigen, kann aber auch ein Monster verbergen. Verschiedene Hände können die gleiche Aktion ausführen, während die gleiche Hand nicht unbedingt jedes Mal gleich gespielt werden muss.

Eine Poker-KI kann daher nicht einfach versuchen, zu "raten", welche Karten ein Gegner hält. Sie muss über Verteilungen möglicher Hände und Strategien nachdenken und Entscheidungen basierend auf diesen Wahrscheinlichkeiten und potenziellen zukünftigen Ergebnissen treffen.

Genau das machte Poker zu einer so wertvollen Herausforderung für die KI-Forschung.

Beim Schach ist die gesamte Position zu jedem Zeitpunkt bekannt. Eine der Hauptschwierigkeiten ergibt sich aus der enormen Anzahl möglicher zukünftiger Sequenzen, die sich aus dieser Position entwickeln können.

Poker fügt ein weiteres Problem hinzu: ein Teil des aktuellen Spielzustands ist selbst verborgen.

Am River kann eine KI beispielsweise das genaue Board, die Potgröße, die effektiven Stacks und die gesamte Wettgeschichte kennen, hat aber dennoch kein direktes Wissen über die beiden Hole Cards ihres Gegners. Stattdessen muss sie über eine Reihe möglicher Hände und die Wahrscheinlichkeit, die mit jeder von ihnen verbunden ist, nachdenken.

Dann gibt es die gemischte Strategie.

Eine optimale Pokerstrategie besagt nicht unbedingt, dass die gleiche Hand immer die gleiche Aktion ausführen sollte. Wetten kann bei einer Frequenz korrekt sein und Checken bei einer anderen.

Bluffen ist Teil desselben strategischen Systems. Wenn ein Spieler nur starke Hände wettet, offenbaren seine Aktionen zu viele Informationen und die Strategie wird ausnutzbar.

Poker konfrontiert die KI daher gleichzeitig mit mehreren Problemen: verborgene Informationen, ein enormes Entscheidungsspektrum und strategische Gegner, die aktiv versuchen, ihre Entscheidungen auszunutzen.

Die Beziehung zwischen Poker und künstlicher Intelligenz reicht weit über die Explosion des Online-Pokers hinaus.

Forscher waren an dem Spiel interessiert, weil es Wahrscheinlichkeit, Spieltheorie, verborgene Informationen und strategische Interaktion innerhalb eines formalen Systems mit klar definierten Regeln kombinierte.

Wachsende Rechenleistung und die Fähigkeit, Poker digital zu simulieren, erweiterten dramatisch, was Forscher versuchen konnten.

Im Jahr 2006 wurde der Annual Computer Poker Competition ins Leben gerufen, die es Pokerprogrammen, die von Universitäten und Forschungsgruppen entwickelt wurden, ermöglichte, gegeneinander anzutreten. Die University of Alberta und die Carnegie Mellon University wurden besonders wichtige Zentren der Poker-KI-Forschung.

Die eigentliche Frage ging weit über die Frage hinaus, ob Forscher einen starken Poker-Bot bauen konnten.

Es war: Wie kann eine künstliche Intelligenz eine effektive Strategie in einer Umgebung entwickeln, in der sie nicht über vollständige Informationen verfügt?

Einer der größten Durchbrüche kam 2015.

Michael Bowling und Forscher der University of Alberta gaben bekannt, dass ihr Cepheus-System im Wesentlichen Heads-up Limit Hold'em schwach gelöst hat.

Ein wichtiger Teil der Forschung beinhaltete die Minimierung von kontrafaktuellem Bedauern und deren verbesserte CFR+-Variante.

Vereinfacht gesagt bewertet das System wiederholt, wie viel besser es hätte abschneiden können, indem es alternative Aktionen wählt. Durch die Minimierung dieses angesammelten "Bedauerns" über enorme Anzahl von Iterationen bewegt sich der Algorithmus auf eine Gleichgewichtsstrategie zu.

Das Ergebnis ist nicht unbedingt eine Regel wie "immer in dieser Situation erhöhen."

Stattdessen könnte eine Strategie vorschreiben, mit einer bestimmten Hand bei einer Frequenz zu erhöhen und bei einer anderen zu callen.

Dieser Ansatz wird jedem, der modernes GTO-Poker studiert hat, vertraut vorkommen. Aus der Perspektive einer KI zeigte der Durchbruch jedoch etwas viel Breiteres: extrem große Spiele mit unvollständigen Informationen konnten mit Strategien angegangen werden, die für einen Gegner außergewöhnlich schwer auszunutzen waren.

Der nächste spektakuläre Meilenstein kam von der Carnegie Mellon University: Libratus.

Von Tuomas Sandholm und Noam Brown entwickelt, nahm Libratus Heads-up No-Limit Hold'em in Angriff — ein weitaus komplexeres Spiel als Heads-up Limit Poker.

Im Januar 2017 spielte es 120.000 Hände gegen vier starke Heads-up-Profis: Jason Les, Dong Kim, Daniel McAulay und Jimmy Chou.

Libratus gewann entscheidend.

Aber seine Bedeutung lag nicht nur darin, dass ein Computer professionelle Pokerspieler besiegt hatte.

Libratus versuchte nicht primär, zu imitieren, wie Elite-Spieler das Spiel angehen, indem es aus menschlichen Handverläufen lernte. Ausgehend von den Regeln des Pokers berechnete es seine eigene Strategie.

Es lernte nicht, wie Menschen Poker spielten.

Es versuchte zu bestimmen, wie das Spiel selbst gespielt werden sollte.

Ein weiterer großer Durchbruch kam ungefähr zur gleichen Zeit mit DeepStack, das ebenfalls übermenschliche Leistungen im Heads-up No-Limit Hold'em demonstrierte.

DeepStack kombinierte Deep Learning, spieltheoretisches Denken und Echtzeitsuche.

Der vollständige Spielbaum von No-Limit Hold'em ist viel zu groß, um ihn erschöpfend zu berechnen. Stattdessen verwendete DeepStack neuronale Netzwerke, um den Wert zukünftiger Spielzustände zu schätzen, ohne jede mögliche Fortsetzung bis zum Ende der Hand berechnen zu müssen.

Das spricht ein viel breiteres Problem in der künstlichen Intelligenz an:

Wenn du nicht jede mögliche Zukunft berechnen kannst, kann ein System dann den Wert von Zuständen genau schätzen, die es nicht vollständig erkundet hat?

Die Frage geht weit über Poker hinaus.

Heads-up-Poker ist ein strategischer Wettkampf zwischen zwei Teilnehmern. Sechs-Spieler-Poker bringt eine ganz andere Komplexitätsebene mit sich.

Im Jahr 2019 enthüllten Noam Brown und Tuomas Sandholm Pluribus, das übermenschliche Leistungen im Sechs-Spieler No-Limit Hold'em gegen Elite-Spieler demonstrierte.

Die Bedeutung ging erneut über Poker hinaus.

Viele strategische Probleme in der realen Welt beinhalten mehrere Entscheidungsträger. Auktionen, Verhandlungen, Märkte und wirtschaftlicher Wettbewerb können alle Ergebnisse beinhalten, die von den Aktionen mehrerer unabhängiger Teilnehmer abhängen.

Poker wurde daher zu einer wichtigen experimentellen Umgebung für Multi-Agenten-Entscheidungsfindung.

Hier ist eine wichtige Unterscheidung notwendig.

Große Sprachmodelle wie ChatGPT sind keine direkten technologischen Nachkommen von Poker-KIs wie Cepheus, Libratus oder Pluribus.

Transformatoren, großangelegte Sprachvortraining und Vorhersage des nächsten Tokens stammen aus einer anderen Forschungsabstammung.

Die Verbindung wird in Bereichen wie Reinforcement Learning, Selbstspiel, Suche und Denken interessanter.

Es gibt auch einen sehr konkreten Link zwischen den beiden Epochen der KI-Forschung.

Noam Brown, einer der Forscher hinter Libratus und Pluribus, trat später OpenAI bei, wo sich seine Arbeit auf die Verbesserung der Denkfähigkeiten großer Sprachmodelle konzentrierte. Er spielte auch eine wichtige Rolle in der Forschung hinter OpenAIs o1-Denkmodell.

Das bedeutet nicht, dass die Poker-Algorithmen von Libratus einfach in ein Sprachmodell übertragen wurden.

Aber es gibt Kontinuität in einigen der zugrunde liegenden Forschungsfragen.

Ein wichtiger Bereich der modernen KI-Forschung ist Inference-Time oder Test-Time-Computing.

Die Grundidee ist, dass Rechenleistung nicht nur während des Trainings eines Modells aufgebracht werden muss. Ein System kann auch zusätzliche Berechnungen durchführen, während es an einem bestimmten schwierigen Problem arbeitet.

Spielende KI hatte bereits den Wert einer verwandten Idee demonstriert.

Anstatt eine vollständige Lösung für jede denkbare Situation im Voraus zu berechnen und zu speichern, kann eine KI zusätzliche Suche und Berechnung durchführen, wenn sie auf eine bestimmte Entscheidung stößt.

Moderne Denkmodelle arbeiten mit sehr unterschiedlicher Technologie, aber das konzeptionelle Parallel ist klar:

Wie kann eine KI mehr Berechnung für ein spezifisches schwieriges Problem nutzen, um eine bessere Lösung zu produzieren?

Diese Frage verbindet einige der Forschungslektionen aus der spielenden KI mit einem der wichtigsten Bereiche der modernen KI-Entwicklung.

Poker bietet etwas, das Laborbedingungen für das Studium schwieriger Entscheidungsfindung nahekommt.

Seine Regeln, Aktionen und Auszahlungen sind präzise definiert, dennoch enthält das Spiel gleichzeitig private Informationen, Zufälligkeit, Bluffen, gemischte Strategien, ein enormes Entscheidungsspektrum und intelligente Gegner.

Digitales Poker bietet einen weiteren großen Vorteil: Der Spielzustand kann als strukturierte Daten dargestellt werden — Hole Cards, Board Cards, Position, Potgröße, Stackgrößen, Einsatzgrößen und Aktionshistorie.

Computer können auch enorme Mengen an Händen gegeneinander simulieren. Mit Selbstspiel benötigen sie nicht einmal menschliche Gegner, um Erfahrungen zu sammeln.

Moderne künstliche Intelligenz ist nicht "aus" kommerziellem Online-Poker "gewachsen".

Vielmehr wurde computer-simuliertes Poker zu einem der nützlichsten Labore der KI-Forschung für das Studium strategischer Entscheidungsfindung unter Unsicherheit.

Beim Schach muss eine Maschine den richtigen Zug aus einer vollständig beobachtbaren Position innerhalb eines enormen Suchraums finden.

Poker stellte die Forscher vor eine andere Herausforderung:

Wie sollte eine Maschine Entscheidungen treffen, wenn ein Teil des Spielzustands verborgen ist, die gleiche Gegneraktion viele verschiedene Hände darstellen kann und die optimale Strategie selbst Bluffen und randomisierte Aktionen erfordern kann?

Das ist eine viel breitere Frage, als wie man einen bestimmten River-Spot spielt.

Poker wurde zu einer der wichtigsten experimentellen Umgebungen für das Studium, wie Maschinen rationale Entscheidungen in teilweise beobachtbaren, adversarialen und strategischen Umgebungen treffen können.

Beim Schach konnte die Maschine alles sehen.

Am Pokertisch musste sie lernen, wie man über das nachdenkt, was sie nicht sehen konnte.

Und Jahrzehnte später haben einige der Forscher und Forschungsfragen, die aus dieser Herausforderung entstanden sind, neue Relevanz in der Entwicklung der heutigen auf Denken fokussierten KI-Systeme gefunden.