I januari presenterade vi vår exjobbare Sofia Lundborg som under våren skriver sitt exjobb på vårt kontor i Göteborg. Sofia har nu kommit halvvägs i sitt arbete och vi bad Sofia att berätta vad hon valt att undersöka och hur det har gått hittills.
Jag har nu varit på BIT ADDICT sen i januari och har kommit igång ordentligt med mitt exjobb. Under min första tid har jag verkligen kommit in i gemenskapen. Alla har varit väldigt hjälpsamma och trevliga och jag har sett fram emot att komma in till kontoret varje morgon. Nu ser situationen såklart annorlunda ut, men jag har fortfarande kontakt med handledare och kollegor – men nu på distans.
Vad gäller själva exjobbet har en stor del av min tid gått ut på att specificera vad jag ska undersöka. Det övergripande målet var att undersöka metoder för att effektivisera neurala nätverk. Den metod jag har valt att gå vidare med är binärisering av nätverk – dvs. endast använda binära vikter och input igenom hela nätverket. Detta minskar både minne, men framförallt gör det möjligt att snabba upp inferens med upp till 60 gånger. Problemet med att binärisera nätverk är att stora mängder information försvinner. För att motverka att detta påverkar prestandan i för stor grad ska jag utnyttja en annan metod – knowledge distillation, där ett mindre nätverk (i detta fall det binära nätverket) lär sig med hjälp av ett större nätverk (det icke-binära). Min förhoppning är att kombinera dess två tekniker och lyckas träna ett effektivt binärt nätverk med god prestanda.
Vi på BIT ADDICT ser framemot att få läsa den slutliga rapporten till sommaren!
Har du frågor eller fundering kring exjobbsmöjligheter på BIT ADDICT? Kontakta oss via formuläret nedan så återkommer vi så snart vi kan.