Starcraft Resurshantering med Q-Nätverk

Sammanfattning: Artificiell intelligens är ett område inom datavetenskap som försöker skapa intelligenta system eller system som simulerar intelligens. Sådana system är intressanta för konsumenter eftersom de kan utföra uppgifter som annars krävt mänsklig inblandning.Spelindustrin hjälper till att driva utvecklingen av AI framåt när spelare fortsätter att förvänta sig mer engagerande och verklighetstrogna upplevelser.Akademiskt är spel användbara för studier av artificiell intelligens på grund av att de är relativt simpla. Men även om spel är enklare än verkligheten är det fortfarande en svår uppgift att skapa en artificiell intelligens som kan matcha en mänsklig motståndare.En populär genre av spel är strategispel, exempel på dessa är Age of Empires och Starcraft. I denna rapport undersöks en annorlunda ansats för att lösa problemet med resurshantering för denna typ av spel med hjälp av ett artificiellt neuralt nätverk som klassificerar spelets tillstånd. Detta har inte utforskats tidigare och målet är att ta reda på hurvida det är möjligt. För att träna nätverket används backpropagation i samband med Q- learning vilket gör inlärningen unsupervised. Så författarnas frågeställning är följande: Kan ett Q- nätverk användas för att hantera resursallokeringen för en bot i Starcraft Broodwar?För att kunna se hur väl Q- nätverket löser problemet utförs ett experiment med två olika botar där den ena spelar starcraft med samma möjligheter som en spelare och den andra en förenklad version. Experimentet går ut på att samla data från botarnas träning för att se om de förbättras eller inte. Som kontroll används två extra botar som slumpmässigt väljer handlingar.Resultatet av experimentet var flera grafer som visade botarnas prestanda på olika sätt och hur många spel de vunnit och sannolikheten för vinst. Med stöd av resultatet är det inte möjligt att se någon verklig förbättring i botarnas spelande med 0.7% respektive 0.4% chans för vinst mot standard AI:n. Resultatet visar dessutom att en av botarna är mycket sämre än en som slumpat fram handlingar.Dessutom visade det sig att träningen tog alldeles för lång tid. Om experimentet får mer tid kanske det skulle visat att tekniken är möjlig men först efter orimligt lång tid vilket skulle göra den oanvändbar i praktiken. Om detta hade lyckas hade det inneburit att man skulle kunna skapa bättre AI för strategispel som anpassar sig efter spelaren och kan generalisera när den ställs inför en situation som inte var planerad av utvecklarna.Men i denna studie förblev botarnas beteende mer eller mindre stokastiskt så svaret på frågeställningen är att det inte är möjligt.