Methoden des bestärkenden Lernens für die Produktionsablaufplanung / von Sebastian Lang.

• VerfasserIn: Lang, Sebastian.
• Place / Publishing House: Wiesbaden : : Springer Fachmedien Wiesbaden :, Imprint: Springer Vieweg,, 2023.
• Year of Publication: 2023
• Edition: 1st ed. 2023.
• Language: German
• Physical Description: 1 online resource (XXXIII, 286 S. 62 Abb., 42 Abb. in Farbe.)

In diesem Open-Access-Buch wird eine Methode zur Adaption, Integration und Anwendung von bestärkenden Lernverfahren (Reinforcement Learning) für die Produktionsablaufplanung beschrieben. Die Methode wird anhand von typischen Problemstellungen der Produktionsablaufplanung hergeleitet und evaluiert. Die Produktionsablaufplanung ist eine Kernaufgabe der Produktion und Logistik, bei welcher Aufträge auf Ressourcen so verteilt und in Reihenfolge gebracht werden müssen, dass geforderte Nebenbedingungen der Planung erfüllt werden. Entsprechende Optimierungsprobleme sind meist NP-schwer, wodurch eine optimale Lösung gewöhnlich nicht unter wirtschaftlichen Bedingungen erzielbar ist. In der Industrie werden stattdessen Prioritätsregeln, Heuristiken oder Metaheuristiken verwendet, die entweder zeiteffizient zu Lasten der Lösungsgüte rechnen oder qualitativ hochwertige Lösungen unter hohem Rechenaufwand erzeugen. Das bestärkende Lernen ist eine Unterart des maschinellen Lernens und eine weitere Klasse potenzieller Lösungsstrategien. Probleme der Produktionsablaufplanung sind insoweit vergleichbar, als dass sie sich ebenfalls als stufenartige Entscheidungsketten modellieren lassen. Trotz ihrer Vorteile existiert bisher kaum allgemeines Wissen hinsichtlich der Anwendung des bestärkenden Lernens für die Produktionsablaufplanung. Der Autor Sebastian Lang ist als wissenschaftlicher Mitarbeiter am Fraunhofer-Institut für Fabrikbetrieb und -automatisierung IFF in Magdeburg tätig. .

Table of Contents

Intro -- Danksagung -- Kurzfassung -- Inhaltsverzeichnis -- Abbildungsverzeichnis -- Tabellenverzeichnis -- Abkürzungsverzeichnis -- Mathematische Notation -- Für Probleme der Produktionsablaufplanung -- Für gradientenabhängiges bestärkendes Lernen -- Für gradientenfreies bestärkendes Lernen -- Statistische Kenngrößen -- 1 Einleitung -- 1.1 Motivation und Problemstellung -- 1.2 Zielstellung der Arbeit und Forschungsfragen -- 1.3 Forschungsmethodik und Aufbau der Arbeit -- 2 Grundlagen der Produktionsablaufplanung -- 2.1 Begriffsbestimmung und thematische Abgrenzung -- 2.2 Prozess der Produktionsablaufplanung -- 2.3 Mathematische Optimierung der Produktionsablaufplanung -- 2.3.1 Mathematische Formalisierung -- 2.3.2 Modellbildung -- 2.3.3 Konventionelle Lösungsverfahren -- 3 Grundlagen des Bestärkenden Lernens -- 3.1 Einordnung in die künstliche Intelligenz und in das maschinelle Lernen -- 3.1.1 Überwachtes Lernen als angrenzendes Paradigma -- 3.1.2 Unüberwachten Lernens als angrenzendes Paradigma -- 3.2 Grundprinzip und Taxonomie des bestärkenden Lernens -- 3.3 Gradientenabhängiges bestärkendes Lernen -- 3.3.1 Markov-Entscheidungsproblem -- 3.3.2 Nutzenfunktion -- 3.3.3 Aktionsnutzen-bewertende Verfahren -- 3.3.4 Entscheidungspolitik-approximierende Verfahren -- 3.3.5 Actor-Critic-Verfahren -- 3.4 Gradientenfreies bestärkendes Lernen -- 3.4.1 Modellsuchende und parameteroptimierende Verfahren -- 3.4.2 Hybride Verfahren - NeuroEvolution of Augmenting Topologies -- 4 Stand der Wissenschaft und Technik: Bestärkendes Lernen in der Produktionsablaufplanung -- 4.1 Gradientenabhängige Verfahren für die Produktionsablaufplanung -- 4.1.1 Agentenbasierte Auswahl von Prioritätsregeln -- 4.1.2 Agentenbasierte Ressourcenbelegungsplanung -- 4.1.3 Agentenbasierte Reihenfolgeplanung -- 4.1.4 Agentenbasierte Losbildung.

4.1.5 Agentenbasiertes Reparieren von ungültigen Ablaufplänen -- 4.2 Gradientenfreie Verfahren für die Ablaufplanung im Allgemeinen -- 4.2.1 Einsatz der Kreuzentropie-Methode in der Ablaufplanung -- 4.2.2 Einsatz von Bayes'scher Optimierung in der Ablaufplanung -- 4.2.3 Einsatz von Neuro-Evolution in der Ablaufplanung -- 4.3 Zusammenfassung und Diskussion der Forschungslücke -- 5 Eine Methode zum Einsatz von bestärkenden Lernverfahren für die Produktionsablaufplanung -- 5.1 Ausgangssituation, Problemstellung und Anforderungsdefinition -- 5.2 Von der Produktionsablaufplanung zur agentenbasierten Produktionsablaufsteuerung - Prozessmodell und Funktionsprinzip -- 5.2.1 Agentenbasierte Ressourcenbelegungsplanung -- 5.2.2 Agentenbasierte Reihenfolgeplanung und Losbildung -- 5.3 Projektierung und Entwicklung von agentenbasierten Produktionsablaufsteuerungen -- 5.3.1 Entwurf von Agentenumgebungen -- 5.3.2 Definition von maschinellen Lernaufgaben und Gestaltung von Agenten -- 5.3.3 Integration und Inbetriebnahme von Agenten und Agentenumgebungen -- 5.3.4 Auswahl und Implementierung von bestärkenden Lernverfahren -- 5.3.5 Gestaltung von Belohnungsfunktionen -- 5.3.6 Training von Agenten -- 5.4 Zusammenfassung der Methode -- 6 Evaluation der entwickelten Methode -- 6.1 Flexible-Job-Shop-Problem mit flexibler Operationsplanung -- 6.1.1 Problembeschreibung -- 6.1.2 Anwendung des DQN-Algorithmus zur Lösung des Problems -- 6.1.3 Diskussion der Ergebnisse -- 6.1.4 Erweiterung des Problems um einen dynamischen Auftragshorizont -- 6.2 Dynamisches Parallel-Maschinen-Problem mit familienabhängigen Rüstzeiten und ressourcenabhängigen Bearbeitungsgeschwindigkeiten -- 6.2.1 Problembeschreibung -- 6.2.2 Anwendung des PPO-Algorithmus zur Lösung des Problems -- 6.2.3 Diskussion der Ergebnisse -- 6.3 Zweistufiges Hybrid-Flow-Shop-Problem mit familienabhängigen Rüstzeiten.

6.3.1 Problembeschreibung -- 6.3.2 Anwendung des A2C-Algorithmus zur Lösung des Problems -- 6.3.3 Anwendung des NEAT-Algorithmus zur Lösung des Problems -- 6.3.4 Vergleich mit anderen Lösungsverfahren -- 7 Schlussbetrachtung -- 7.1 Zusammenfassung und Diskussion -- 7.2 Ausblick -- Literaturverzeichnis.