Franz Schmid 
Simulationsbasierte Algorithmen zur Lösung von Markov-Entscheidungsproblemen. Zur Strategiensuche in einer Intensivstation [PDF ebook] 

Masterarbeit aus dem Jahr 2016 im Fachbereich BWL – Sonstiges, Note: 2, 0, Universität Augsburg, Sprache: Deutsch, Abstract: Bei einem Markov-Entscheidungsproblem handelt es sich um ein Entscheidungsproblem, bei dem der Nutzen eines Agenten von einer Folge von Entscheidungen abhängig ist.
Markov-Entscheidungsprobleme können zur Modellierung eines breiten Feldes von echten Problemen dienen, allerdings haben echte Probleme in der Regel sehr große Aktions- und Zustandsräume und sind damit sehr rechenaufwendig zu lösen bzw. zu approximieren.
Während der Mensch von Natur aus sehr gut darin ist, wichtige Informationen aus großen Datenmengen herauszufiltern, gestaltet sich dies für Computer schwieriger. Der Mensch besitzt die Fähigkeit, Probleme durch Kreativität und Abstraktionsvermögen sehr effizient zu lösen, während der Computer hierfür Algorithmen, also eindeutig vorgeschriebene
Handlungsvorschriften zur Problemlösung, benötigt. Die Herausforderung besteht nun darin, Algorithmen zu entwickeln, die die Gegebenheiten und Strukturen eines Problems nutzen, um dieses möglichst schnell und effizient zu lösen. Es gibt also
keinen allgemein besten Algorithmus, sondern nur Algorithmen, die zur Lösung eines bestimmten Problems besonders gut geeignet sind.
Das Problem das in dieser Arbeit untersucht wird, ist die Steuerung einer Intensivstation (oder ICU vom englischen Intensiv Care Unit). Intensivstationen sind für den Bereich
des Operations Research besonders interessant, da sie durch ihren hohen Personalbedarf und die benötigte Vielzahl an medizinischen Apparaten zu den kostenintensivsten Abteilungen im Krankenhaus gehören. Die Intensivstation verursacht 20% der Gesamtkosten eines Krankenhauses, hat aber dabei nur einen Anteil von 5% der Betten. Zu den hohen Kosten einer Intensivstation kommt hinzu, dass diese die Patienten mit
den alarmierendsten Gesundheitszuständen versorgen soll. Die Intensivstation ist also sowohl die kostenintensivste als auch die von der medizinischen Notwendigkeit bedeutsamste Station, weswegen sie sich besonders als relevanter Forschungsgegenstand eignet.
Die Frage lautet also: Wie muss ein Algorithmus aussehen, der die beste Strategie zur Entscheidungsfindung in einer Intensivstation bestimmen soll?
Um diese Fragestellung zu operationalisieren, werden zunächst die Grundlagen im theoretischen Teil erläutert. Dieser erklärt Grundbegriffe und soll als eine Einführung in das algorithmische Denken dienen. Im praktischen Teil wird als Erstes ein Modell gebildet, das die Abläufe in einer Intensivstation in Form eines Markov-Entscheidungsproblems formuliert. […]