Design, implementering och evaluering av en AI accelerator med Google Coral Dual Edge TPU

Sammanfattning: Den snabbt växande utvecklingen av AI-baserade applikationer och den stora mängden data dessa applikationer behandlar ställer ökade krav på prestanda och optimering av datorsystemen. För att tillfredsställa de växande datorbehoven används hårdvaruacceleratorer som förbättrar databehandlingshastigheten genom att avlasta den befintliga utrustningen genom att hjälpa till med uppgifter och komplexa beräkningar. De befintliga lösningarna som används i dagsläget är kostsamma och MT-FoU på Umeå Universitetssjukhus efterfrågar därför en alternativ lösning i form av att kombinera mindre integrerande acceleratorer på ett större PCIe-kort. I detta examensarbete designas och implementeras en AI-accelerator bestående av fyra Google Coral Dual Edge TPU M.2 på ett 16x PCIe-kort. Arbetet genomfördes på MT-FoU och målet med examensarbetet var att undersöka om den tilltänkta konstruktionen kan förbättra prestandan hos AI-baserade system och fungera som ett billigare alternativ i verksamheten. Schemaritning och PCB-design utfördes i KiCad och information om gränssnitt och komponenter hämtades främst från tillverkares hemsidor och datablad. Kretsen består i huvudsak av fyra stycken M.2 E key kontaktdon, en 16port/16lane packetswitch och en 16x PCIe-anslutning. Switchen delar upp banorna från PCIe porten så att Edge TPU’erna kan anslutas parallellt i M.2 kontakterna. Edge TPU’erna använder pipelineparallellism för att fördela arbetsuppgifter på varje TPU så att större, mer komplexa program kan exekveras. Vid monteringen av kretskortet uppstod problem med fastlödningen av vissa komponenter. För att undvika att dessa problem uppstår och möjliggöra avlägsnandet av dessa felkällor bör montering istället beställas av fabrik där lödrobot finns tillgängligt. På grund av att tiden för kursen tog slut hann en sådan beställning inte göras och evaluering av den framtagna designen var därför inte möjlig att genomföra. Den design som togs fram var dock betydligt billigare än de existerande lösningarna och med pipelineparallellism förväntas designen kunna utföra komplexa beräkningar och därmed förbättra prestandan i befintliga system.