Implementing an OpenAI Gym for Machine Learning of Microgrid Electricity Trading

Sammanfattning: Samhället går idag bort från centraliserad energi mot decentraliserade system. Istället för att köpa från stora företag som skapar el från fossila bränslen har många förnybara alternativ kommit. Eftersom konsumenter kan generera solenergi med solpaneler kan de också bli producenter. Detta skapar en stor marknad för handel av el mellan konsumenter i stället för företag. Detta skapar ett så kallat mikronät. Syftet med denna avhandling är att hitta en lösning för att köpa och sälja på dessa mikronät. Genom att använda en Q-learning-lösning med OpenAI Gym-verktygslådan och en mikronätsimulering syftar denna avhandling till att svara på följande frågor: I vilken utsträckning kan Qlearning användas för att köpa och sälja energi i ett mikrosystem, hur lång tid tar det köp och sälj algoritm för att träna och slutligen påverkar latens genomförbarheten av Q-learning för mikronät. För att svara på dessa frågor måste jag mäta latens och utbildningstid för Q-learninglösningen. En neural nätverkslösning skapades också för att jämföra med Q-learning-lösningen. Från dessa resultat kunde jag säga att en del av det inte var så tillförlitligt, men vissa slutsatser kunde fortfarande göras. För det första är den utsträckning som Q-learning kan användas för att köpa och sälja ganska bra om man bara tittar på noggrannhetsresultaten på 97%, men detta sitter på mikronätets simulering för att vara korrekt. Hur lång tid det tar att köpa och sälja algoritm för att träna uppmättes till cirka 12 sekunder. Latensen anses vara noll med Q-learning-lösningen, så den har stor genomförbarhet. Genom dessa frågor kan jag dra slutsatsen att en Q-learning OpenAI Gym-lösning är genomförbart.