I Built a Gold RL Trading Bot With 60% OOS Returns [Free Code]

Kurze Zusammenfassung

In diesem Video wird ein Reinforcement-Trading-Bot vorgestellt, der auf 20 Jahre Gold-Daten trainiert wurde und eine Rendite von 60% mit Out-of-Sample-Daten erzielt hat. Der Autor erklärt die Funktionsweise des Bots ohne vorgegebene Regeln, die Einrichtung des Reinforcement-Learning-Agenten, das Testverfahren, die Gestaltung der Belohnungsfunktion und die Modellbewertung.

• Der Bot kann kaufen, verkaufen oder halten.
• Alle Prozesse und der gesamte Code sind in Python geschrieben und kostenlos verfügbar.

Gold Bot Out-Of-Sample [0:00]

Der Reinforcement-Trading-Bot wird eingeführt, der mit historischen Gold-Daten trainiert wurde. Der Bot hat 60% Rendite bei Daten erzielt, die er noch nie zuvor gesehen hat. Ziel des Projekts ist es, zu bestimmen, ob dieser Erfolg auf echtem Vorteil oder bloßem Glück beruht. Der Bot operiert ohne vorgegebene Regeln und lernt durch Erfahrung. Es wird betont, dass für die Tests nur Out-of-Sample-Daten verwendet werden und man Stresstests durchführt, um Zufallsergebnisse auszuschließen.

The RL Agent Setup [1:06]

Der Bot hat einfache Handelsmöglichkeiten: kaufen, verkaufen oder halten. Bei einem Trade setzt der Bot einen Stop-Loss basierend auf dem Average True Range (ATR) und einen Take-Profit als Vielfaches dieses Risikos. Die Entscheidungsmöglichkeiten werden bewusst einfach gehalten, um den Lernprozess des Bots klar darzustellen. Es wird außerdem erläutert, wie wichtig die Datenteilung für das Training ist und dass ein einfaches Random-Split nicht ideal ist, da es zu Verfälschungen führen kann.

Sliding Window Testing [2:13]

Der Autor verwendet ein gleitendes Fenster mit fester Größe für Training, Validierung und Tests, um sicherzustellen, dass das Modell immer aus den aktuellsten und relevantesten Daten lernt. Dieses Verfahren erhöht die Realitätstauglichkeit des Modells und senkt das Risiko, dass es sich an irrelevante alte Daten anpasst. Das Ziel ist es, einen echten Vorteil zu zeigen und nicht nur zufällige Ergebnisse darzustellen.

Reward Function Design [3:48]

Die Belohnungsfunktion ist entscheidend für das Lernen des Bots. Der Autor beschreibt, wie die Belohnungen festgelegt werden. Gewinne und Verluste werden quantifiziert und der Bot erhält eine positive Bewertung für Gewinne, eine negative für Verluste und null, wenn kein Handel abgeschlossen wird. Ferner wird ein kleiner Anreiz während laufender Trades eingeführt, um den Bot dazu anzuregen, profitable Trades schneller abzuschließen. Eine winzige Strafe wird auch festgelegt, um zu verhindern, dass der Bot zu lange in Trades verweilt.

Checkpoint Model Selection [7:12]

Im Trainingsprozess werden mehrere Checkpoints des Modells gespeichert. Jeder dieser Checkpoints wird anhand der Leistungsdaten während des Trainings und der Validierung bewertet. Der Autor erklärt, dass es wichtig ist, ein Modell zu wählen, das sowohl bei Training als auch bei Validierung gut abschneidet, um Overfitting zu vermeiden. Die Belohnungskurven (Training und Validierung) helfen dabei, das beste Modell auszuwählen.

Consistency Gate Filter [10:04]

Nach der Auswahl des besten Modells wird ein Konsistenz-Gate angewendet, um zu prüfen, ob das Modell über verschiedene Zeitperioden hinweg profitabel war. Wenn ausreichend Gewinne erzielt wurden, erhöht dies die Glaubwürdigkeit des Vorteils des Modells. Das Modell, das das Konsistenz-Gate erfolgreich besteht, wird als Champion-Modell ausgewählt.

Unseen Test Results [11:01]

Der Test mit den unbekannten Daten erfolgt, nachdem das beste Modell ausgewählt wurde. Der Autor zeigt die Analyse der Performance des Modells auf diesen Testdaten und stellt fest, dass die Ergebnisse positiv sind. Das Testen bleibt auf einem hohen Niveau, und das Modell zeigt Fortschritte über alle gewählten Folds hinweg.

Overfitting Model Warning [12:02]

Im letzten Abschnitt wird die Problematik des Overfittings behandelt. Der Autor weist darauf hin, dass ein Modell, das beim Training hohe Erträge zeigt, aber hingegen niedrigere bei der Validierung erzielt, als Overfitting betrachtet wird. Es wird darauf hingewiesen, dass die Rückkehr zu den Merkmalen und Belohnungsfunktionen notwendig ist, um die Modelle weiter zu optimieren und das Risiko von Overfitting zu minimieren.