Reinforcement-Learning-Prozess: Wie du durch selbstlernende Algorithmen deinen Umsatz steigerst (Teil 3)

Diese Inhalte erwarten dich in diesem Blogartikel:

Wie sieht eine Regel für Empfehlungen aus?

Regel-Generierung mit selbstlernenden Algorithmen über Regressionsbäume
Was ist ein Regressionsbaum?
Welche Daten nutzt ein Regressionsbaum zur Aufstellung von Empfehlungen?
Beispiel: Vorhersage der Markenanzahl am Beispiel Anna
Der Aufbau eines Regressionsbaum birgt Milliarden an Möglichkeiten
Die Entwicklung des Grundgerüsts eines Regressionsbaums

Fazit: Mit selbstlernenden Algorithmen und Regressionsbäumen zur Umsatzsteigerung

Wie sieht eine Regel für Empfehlungen aus?

Zunächst möchten wir klären, wie der Agent vorgeht, um Regeln über selbstlernende Algorithmen für Empfehlungen genau zu definieren. Mit ihnen hat er Einfluss auf die E-Commerce Recommendations auf jeder neu aufgerufenen Seite eines Online-Shops.

Hierfür schauen wir uns an, wie eine Regel aus einem Regelsystem aussehen kann: „Zeige nur Produkte der x Marken, die sich der Kunde am häufigsten angeschaut hat“. Das x kann dabei die Werte 1, 2 oder 3 sowie ∞ annehmen. In diesem Fall bedeutet ∞, dass die Empfehlungen nicht auf bestimmte Marken eingeschränkt werden.

Nachdem eine Regel aufgestellt wurde, hat der Agent mit Hilfe von selbstlernenden Algorithmen die Aufgabe herauszufinden, wann welcher Wert von x am besten geeignet ist. Diese Entscheidung trifft der Agent anhand der individuell getrackten Userdaten. Das bedeutet, dass er sich bei markenaffinen Kunden anders entscheiden kann, als bei Kunden, bei denen keine Markenpräferenz erkennbar ist.

Bleibe up to date in Sachen Personalisierung: Melde dich zum epoq Newsletter an. Jetzt anmelden!

Regel-Generierung mit selbstlernenden Algorithmen über Regressionsbäume

Im Folgenden zeigen wir dir, nach welchem Modell selbstlernende Algorithmen Regeln aufstellen und wie unser Agent sie für relevante Empfehlungen nutzt.

Was ist ein Regressionsbaum?

Zunächst geht es darum, für unsere Beispiel-Regel zu der Anzahl der Marken den Wert x zu bestimmen. Das Ziel ist dabei, den höchstmöglichen Umsatz zu erreichen. Somit machen wir uns auf die Suche nach dem idealen Wert für x für jede einzelne Situation.

Zur Erreichung unseres Ziels erstellt der Agent einmal am Tag ein Machine-Learning-Modell. Mit ihm kann er vorhersagen, welche Werte in welchen Situationen am besten passen. Dafür wird eine Vorgehensweise benötigt, die anhand der Kundenhistorie den erwarteten Umsatz präzise vorhersagt. Für diese Vorhersagen gehören Regressionsbäume  zu einem passenden Machine-Learning-Modell. Die Vorteile davon:

• Die Ergebnisse sind genau und auch gut für einen Data Scientisten interpretierbar.
• Die Rechenzeit ist im Vergleich zu anderen Machine-Learning-Algorithmen geringer.
• Dadurch wird auch die Ausspielung in Echtzeit gewährleistet.

Das klingt soweit schonmal gut. Doch wie kann man sich jetzt einen Regressionsbaum vorstellen? Die Struktur ist ähnlich aufgebaut wie ein Kategoriebaum eines Online-Shops, mit dem die Produkte unterteilt werden. Hier kann man die Produktkategorien mehrfach unterteilen. So gehören Shirts und Blusen beide in die Kategorie Oberbekleidung. Shirts können jedoch nochmal detaillierter unterteilet werden, z. B. in Polo und Langarm.

Welche Daten nutzt ein Regressionsbaum zur Aufstellung von Empfehlungen?

Um herauszufinden, wie viele Marken angezeigt werden sollen, muss sich unser Agent am Regressionsbaum entlang hangeln. Dieser ist hier nicht nach Kleidungs-Kategorien unterteilt, sondern nach den aufgezeichneten Trackingdaten. Die einzelnen Daten bestehen aus einem Vektor mit Informationen über die Sessions eines Users. Das kann z. B. die Information zur Anzahl der verschiedenen Produktdetailseiten sein, die der Kunde gesehen hat. Auch die Information darüber, wie lange er bereits auf der Website ist, ob er sich eher hochwertige oder preiswerte Produkte anschaut, können mit einspielen. Dazu kommen noch Daten aus der Vergangenheit. Sie enthalten Informationen darüber, wie der Agent sich schonmal entschieden hat und für welchen Betrag der Kunde am Ende der Session eingekauft hat.

Beispiel: Vorhersage der Markenanzahl am Beispiel Anna

Gehen wir nun das Beispiel mit der Anzahl der Marken anhand dem unten abgebildeten Regressionsbaumes durch. Dafür betrachten wir Kundin Anna. Gerade hat sie eine Jacke aufgerufen, die 89,99€ kostet. Der Agent muss sich bei ihr entscheiden, wie viele Marken er empfiehlt, um den höchstmöglichen Umsatz zu generieren. Anna hat bereits sieben verschiedene Produktdetailseiten für zwei verschiedene Marken aufgerufen.

Der Aufbau eines Regressionsbaum birgt Milliarden an Möglichkeiten

Das Beispiel mit Anna ist eine starke Vereinfachung. Die Bäume, die für Produktempfehlungen tatsächlich verwendet werden, sind sehr viel feingranularer. D.h. sie haben viel mehr Verzweigungen, gehen mehr in die Tiefe und betrachten mehr Features aus der jeweiligen Session. Dennoch benötigen die Server für das Durchsuchen des Baumes nur ein paar Millisekunden.

Als nächstes stellt sich hier die Frage, wie gut ein Regressionsbaum aufgebaut ist. Es gibt Milliarden über Milliarden Möglichkeiten die einzelnen Entscheidungen für den Baum zusammenzustellen. Nicht jede dieser Möglichkeiten ist gleich gut. Damit die Vorhersagen des Baumes zutreffend sind, muss der Baum gut aufgebaut sein. Wie gut ein Baum aufgebaut ist, können wir anhand historischer Kundendaten testen. Je besser der Baum ist, desto geringer sind die Abweichungen zwischen den tatsächlichen Umsätzen und denen, die vom Baum vorhergesagt wurden.

Bleibe up to date in Sachen Personalisierung: Melde dich zum epoq Newsletter an. Jetzt anmelden!

Die Entwicklung des Grundgerüsts eines Regressionsbaums

Um möglichst gute Bäume zu erstellen, verwenden wir selbstlernende Algorithmen. D.h. wir erstellen die Entscheidungen für die Bäume anhand der gesammelten Sessiondaten und nicht aufgrund von menschlichen Meinungen. Dabei fangen wir zunächst mit einem leeren Baum an. Diesem fügen wir dann nach und nach eine Entscheidung hinzu. Eine Entscheidung besteht aus zwei Informationen. Zum einen muss man ein Feature (Anzahl gesehener Produktdetailseiten, Anzahl gesehener Marken, Zeit auf Website…) wählen, zum anderen eine Zahl c an der getrennt wird: alle Sessions mit einem Wert kleiner oder gleich c gehen nach links, alle anderen nach rechts.

Anschließend wird für jedes Feature berechnet, welcher c-Wert am besten dafür sorgt, dass die entstehenden Vorhersagen den tatsächlichen Umsätzen am nächsten sind. Dann kann man prüfen, für welches Paar von Feature und c-Wert dies am besten funktioniert und legt sich daraufhin auf ein Feature fest. Hat man nun auf diese Weise eine Entscheidung dem Baum hinzugefügt, kann man mit der nächsten Entscheidung weitermachen. Diese Prozedur setzt man soweit fort, bis der Baum ausreichend weit aufgebaut ist.

Fazit: Mit selbstlernenden Algorithmen und Regressionsbäumen zur Umsatzsteigerung

Für die Aufstellung von Regeln werden selbstlernende Algorithmen und das Modell der Regressionsbäume benötigt. Entscheidungsbäume bieten im Vergleich zu starren Strategien eine ideale Möglichkeit, auf die individuellen und sekündlich ändernden Situationen der Online-Shopper, einzugehen. Denn mit den Entscheidungsbäumen wird die vom Agenten zu treffende Entscheidung, abhängig vom derzeitigen Zustand des Online-Shoppers, getroffen. Zudem können die Entscheidungsbäume durch selbstlernende Algorithmen stets optimiert werden. So können Strategien verfolgt werden, die den maximalen Umsatzwert der jeweiligen Online-Shopper unterstützen zu erreichen.

Zum ersten Teil unserer Blogreihe „Reinforcement-Learning-Prozess“: Wie du Reinforcement Learning für deinen Online-Shop gewinnbringend einsetzt (Teil 1)
Und hier gehts zum zweiten Teil: Wie du mit Real Time Analytics die Kaufwahrscheinlichkeit erhöhst (Teil 2)

Erfahre jetzt, wie fahrrad.de seinen Umsatz um 7,6% pro Session steigerte:

Mehr Infos zu unserer E-Commerce Technologie >>

Hast du Fragen oder Anregungen zu diesem Artikel? Verwende gerne die Kommentarfunktion!