Bestärkendes maschinelles Lernen

Einleitung:

Bestärkendes Lernen liegt zwischen überwachtem und unüberwachtem Lernen. Offiziell und technisch ist es kein überwachtes Lernen, weil es nicht nur auf einem Satz beschrifteter Trainings- oder Übungsdaten beruht, aber auch kein unüberwachtes Lernen, weil wir beobachten, ob unser Agent eine Belohnung maximiert. Um sein Hauptziel zu erreichen, muss der Agent in zahlreichen Szenarien die „richtigen“ Handlungen und Verhaltensweisen wählen.

Was ist bestärkendes maschinelles Lernen?

Bestärkendes Lernen ist die Art des maschinellen Lernens, bei der Maschinen das optimale Verhalten oder die geeignete Aktion in einer bestimmten Umgebung lernen, um ihre Belohnung zu maximieren. Dabei lernt die Maschine durch die Interaktion mit der Umgebung und durch Beobachtung, wie sie reagieren soll.

Bestärkendes Lernen unterscheidet sich vom überwachten Lernen darin, dass überwachtes Lernen den Lösungsbogen enthält und das Modell mit der richtigen Antwort trainiert wird, während bestärkendes Lernen keine Antwort enthält und sich stattdessen darauf verlässt, dass der Bestärkungsagent entscheidet, was zu tun ist, um die Aufgabe zu erfüllen. Es muss sich aus seinem Wissen anpassen, ohne dass ein Trainingsdatensatz vorhanden ist.

Wie funktioniert bestärkendes Lernen?

Bei einem Problem des bestärkenden Lernens erkundet ein Agent eine unbekannte Umgebung, um ein Ziel zu erreichen. Bestärkendes Lernen beruht auf der Idee, dass sich jedes Ziel durch die Maximierung der erwarteten kumulativen Belohnung darstellen lässt. Um die Belohnung zu maximieren, muss der Agent lernen, den Zustand der Umgebung wahrzunehmen und durch seine Aktionen zu beeinflussen.

Um die Funktionsweise von RL zu verstehen, müssen wir zwei wesentliche Faktoren betrachten:

Umgebung: Sie kann ein Raum, ein Labyrinth, ein Fußballfeld oder etwas ganz anderes sein.

Agent: Ein intelligenter Agent, etwa ein KI-Roboter, wird als Agent bezeichnet.

Nehmen wir als Beispiel eine Labyrinth-Umgebung, die der Agent durchqueren muss. Betrachten Sie die folgende Abbildung:

Der Agent befindet sich auf dem ersten Block des Labyrinths im Bild oben. Das Labyrinth besteht aus einem Block S6, der eine Wand ist, einem Block S8, der eine Feuergrube ist, und einem Block S4, der ein Diamantblock ist.

Der Agent kann den Block S6 nicht durchqueren, da er eine feste Wand ist. Erreicht der Agent den Block S4, erhält er eine Belohnung von +1, erreicht er die Feuergrube, erhält er eine Belohnung von -1. Er kann sich in vier verschiedene Richtungen bewegen: nach oben, unten, links und rechts.

Der Agent kann jeden beliebigen Weg zum Ziel wählen, muss dies aber in möglichst wenigen Schritten tun. Wenn der Agent den Pfad S9-S5-S1-S2-S3 wählt, erhält er den Belohnungspunkt +1.

Der Agent versucht, sich an die Schritte zu erinnern, die bis zu diesem Punkt geführt haben. Er weist jedem vorangegangenen Schritt den Wert 1 zu, um sie sich zu merken.[1]

Welche Arten des bestärkenden Lernens gibt es?

Es gibt nur zwei Arten des bestärkenden Lernens, und zwar die folgenden:

• Positiv:

Wenn ein Ereignis infolge eines bestimmten Verhaltens eintritt, verstärkt Bestärkung die Stärke und Häufigkeit des Verhaltens. Anders gesagt: Sie wirkt sich positiv auf das Verhalten aus.

• Negativ:

Bestärkung liegt vor, wenn ein Verhalten dadurch verstärkt wird, dass eine negative Situation vermieden oder beendet wird.

Welche Beispiele gibt es für bestärkendes Lernen?

Robotik:

Roboter mit vorprogrammiertem Verhalten sind in organisierten Umgebungen mit sich wiederholenden Aufgaben effektiv, etwa an einem Fließband in einer Autofabrik. Präzise Verhaltensweisen in der realen Welt vorzuprogrammieren, in der die Reaktion der Umgebung auf die Aktion des Roboters unbekannt ist, ist nahezu unmöglich. In solchen Fällen bietet RL eine schnelle und einfache Technik zur Entwicklung universell einsetzbarer Roboter. Es wurde erfolgreich in der Routenplanung von Robotern eingesetzt, bei der ein Roboter zwischen zwei Punkten einen kurzen, glatten und befahrbaren Weg finden muss, der kollisionsfrei ist und zur Dynamik des Roboters passt.

Autonomes Fahren:

In einer sich verändernden Umgebung muss ein autonomes Fahrsystem viele Wahrnehmungs- und Planungsaufgaben bewältigen. Fahrzeugroutenplanung und Bewegungsvorhersage sind zwei Beispiele für Tätigkeiten, bei denen RL eingesetzt werden kann. Um Entscheidungen auf verschiedenen zeitlichen und räumlichen Ebenen zu treffen, erfordert die Fahrzeugwegplanung eine Reihe von einfachen und übergeordneten Regeln. Die Aufgabe, die Bewegung von Menschen und anderen Fahrzeugen vorherzusagen, um zu verstehen, wie sich die Situation abhängig vom aktuellen Zustand der Umgebung entwickeln kann, wird als Bewegungsvorhersage bezeichnet.

Welche Vorteile hat bestärkendes Lernen?

• Bestärkendes Lernen lässt sich einsetzen, um äußerst komplexe Probleme zu bewältigen, die mit herkömmlichen Methoden nicht lösbar sind.
• Dieser Ansatz wird bevorzugt, um schwer erreichbare langfristige Ergebnisse zu erzielen.
• Dieses Lernparadigma ist dem menschlichen Lernen sehr ähnlich. Folglich steht es kurz davor, Perfektion zu erreichen.
• Das Modell kann Fehler korrigieren, die während der Trainingsphase gemacht wurden.
• Sobald ein Modell einen Fehler behoben hat, ist die Wahrscheinlichkeit eines weiteren Fehlers sehr gering.
• Es kann das ideale Modell zur Lösung eines bestimmten Problems entwerfen.
• Um das Gehen zu lernen, können Roboter Algorithmen des bestärkenden Lernens nutzen.
• Bestärkendes Lernen zielt darauf ab, die Leistung eines Modells zu maximieren, indem in einer bestimmten Situation sein optimales Verhalten erreicht wird.
• Wenn die einzige Möglichkeit, Wissen über die Umgebung zu sammeln, die Interaktion mit ihr ist, kann es wertvoll sein.[2]

Welche Nachteile hat bestärkendes Lernen?

• Bestärkendes Lernen als Rahmenwerk ist in vieler Hinsicht unzutreffend, doch genau dieser Mangel macht es wirksam.
• Zu viel bestärkendes Lernen kann zu einer Überfülle an Zuständen führen und damit Nutzen und Wirksamkeit senken.
• Für elementare Aufgaben ist es nicht die beste Wahl.
• Bestärkendes Lernen erfordert große Mengen an Daten und Rechenleistung. Es hat einen unstillbaren Hunger nach Statistiken. Deshalb funktioniert es bei Videospielen so gut, denn das Spiel kann immer wieder gespielt werden, sodass große Datenmengen erreichbar scheinen.
• Anstatt bestärkendes Lernen ganz aufzugeben, können wir eine Kombination aus bestärkendem Lernen und weiteren Ansätzen einsetzen, um viele Probleme anzugehen. Bestärkendes Lernen und Deep Learning sind eine gängige Kombination.

Fazit:

Bestärkendes Lernen befasst sich mit der Schwierigkeit, Steuerungsmethoden für autonome Agenten mit wenigen oder gar keinen Daten zu erlernen. Da das Sammeln und Beschriften einer großen Menge von Beispielmustern mehr kostet als die Daten selbst, sind RL-Algorithmen im maschinellen Lernen nützlich. Entscheidungen werden durch bestärkendes Lernen getroffen. Es wird für ein intelligentes System praktikabel, neue Vorgehensweisen auszuprobieren, bei Misserfolgen den Kurs zu ändern und auf Erfolgen aufzubauen, indem eine Simulation eines ganzen Unternehmens oder Systems entwickelt wird.

1. Reinforcement Learning Tutorial. Verfügbar unter: https://www.javatpoint.com/reinforcement-learning.
2. Pros and Cons of Reinforcement Learning. Verfügbar unter: https://pythonistaplanet.com/pros-and-cons-of-reinforcement-learning/.

 

Die Schleife des bestärkenden Lernens

1. Ein Agent beobachtet den aktuellen Zustand seiner Umgebung.
2. Er führt eine Aktion aus.
3. Die Umgebung gibt eine Belohnung (positiv oder negativ) und einen neuen Zustand zurück.
4. Der Agent aktualisiert seine Strategie, um im Laufe der Zeit mehr Belohnung zu erhalten.

Beispiele aus der Praxis

• Spiele: Systeme, die Go und Videospiele gelernt haben, indem sie gegen sich selbst spielten.
• Robotik: Roboter, die lernen zu gehen oder Gegenstände zu greifen.
• Empfehlungen und Werbung: Auswahl dessen, was gezeigt wird, um die langfristige Interaktion zu maximieren.
• Ressourcenmanagement: Kühlung von Rechenzentren und Steuerung von Ampeln.
• Sprachmodelle: Feinabstimmung mit menschlichem Feedback, um hilfreichere Antworten zu erzeugen.

Bestärkendes vs. überwachtes vs. unüberwachtes Lernen

Überwachtes Lernen lernt aus beschrifteten Beispielen (überwachtes Lernen); unüberwachtes Lernen findet Strukturen in unbeschrifteten Daten (unüberwachtes Lernen); bestärkendes Lernen lernt durch Versuch und Irrtum anhand von Belohnungen. Den Überblick finden Sie unter Was ist maschinelles Lernen.

Kurze Antworten

Was ist eine Belohnungsfunktion?

Eine Regel, die bewertet, wie gut eine Aktion oder ein Ergebnis ist. Sie gut zu gestalten, ist einer der schwierigsten Teile des bestärkenden Lernens.