Hoekom werk sekere benaderings beter as ander vir die ontwerp en afrig van diep neurale netwerke?
Met hierdie vraag in gedagte, het 'n PhD-student in rekenaarwetenskap aan die Universiteit Stellenbosch (US) sy agtergrond in wiskundige statistiek ingespan ten einde 'n dieper teoretiese begrip te verkry van wat agter die skerms gebeur wanneer hierdie netwerke suksesvol afgerig word – of hoekom hulle dikwels nié sukselvol afgerig word nie!
Hierdie swaarverdiende spesialiskennis het Dr Arnu Pretorius alreeds die pos as navorsingswetenskaplike by InstaDeep se nuwe kantoor in Kaapstad, besorg. Hierdie maatskappy wat in Tunisië gestig is en vanaf Londen bedryf word, spesialiseer in die ontwikkeling van hoogs vernuwende masjienleeralgoritmes en hulle gebruik in voorpunttegnologie toepassings. Een van InstaDeep se nuutste innovasies is byvoorbeeld die uitvloeisel van 'n gesamentlike navorsingsprojek met DeepMind, een van die beste masjienleer navorsingslaboratoriums ter wêreld.
Pretorius was in 2018 ook die enigste student van 'n akademiese instelling uit Afrika wat in Swede 'n navorsingsvoordrag gelewer het by die Internasionale Konferensie vir Masjienleer. En in 2019 het hy sy werk aangebied by die konferensie vir Neurale Inligtingsverwerkingstelsels (ook bekend as NeurIPS) in Kanada. Beide konferensies word getel onder die wêreld se belangrikste byeenkomste vir spesialiste op die gebied van kunsmatige intelligensie en masjienleer.
Volgens Pretorius het hy in masjienleer begin belangstel terwyl hy met behulp van 'n Nasper-beurs in die MIH Media Lab studeer het: “Masjienleer en neurale netwerke - laasgenoemde 'n subveld van masjienleer - behels 'n wonderlike samekoms van verskillende idees met hul wortels in statistiek, toegepaste wiskunde, ingenieurswese, fisika en rekenaarwetenskap. En jy kan al bogenoemde toepas en sodoende relevante praktiese probleme daarmee oplos," verduidelik hy.
Maar hy het gou tot die besef gekom dat daar 'n beperkte teoretiese begrip is ten opsigte van hoekom sekere algoritmes beter werk as ander, asook die “hoe" daarvan.
Nadat hy sy MComm in wiskundige statistiek (cum laude) verwerf het, het hy Dr Steve Kroon in die Afdeling Rekenaarwetenskap genader met sy idee om 'n teoretiese bydrae tot die veld te lewer. Dr Kroon (met 'n PhD in wiskundige statistiek) se navorsing in masjienleer en kunsmatige intelligensie fokus op neurale netwerke, Bayesiaanse metodes en teenstandersoektogtegnieke.
Dr Kroon is ook lid van die Maties Masjienleergroep, en het deelgeneem aan twee van die drie Deep Learning Indabas wat gedurende 2017 tot 2019 in Afrika plaasgevind het. Die doel van die Indabas was om 'n platform te skep vir studente en navorsers wat in masjienleer en kunsmatige intelligensie belangstel, en hulle 'n geleentheid te bied om by die kennerseksperts te leer, en komende uit diverse velde, idees, asook kodes van beste praktyk uit te ruil.
Pretorius het al drie die Indabas bygewoon en het later 'n mentor geword en praktiese sessies aangebied: “Ek het baie geleer uit hierdie byeenkomste. Mentorskap uit die Indaba-geledere het 'n groot impak op my loopbaan tot dusver gehad. As dit nie vir die Indabas was nie, sou ek nie wees waar ek my vandag bevind nie."
Dit was tydens die 2018 Deep Learning Indaba in Stellenbosch waar hy die medestigter en hoof- uitvoerende beampte van InstaDeep, Karim Beguir ontmoet het. “Hy is passievol oor masjienleer se potensiaal in Afrika – beide in terme van die toepassing, sowel as die mense. Ek is geïnspireer deur sy toekomsvisie vir die kontinent."
As 'n navorsingswetenskaplike by InstaDeep, beplan Pretorius om kontak te behou met masjienleergroepe by die US en ander instellings: “Dis baie opwindend om te weet dat Suid-Afrikaners die geleentheid sal hê om in hulle eie land aan hoëprofielprojekte te werk."
Sy raad aan studente in hierdie veld is: “Wees bereid om baie hard te werk. Dit is 'n besonder interessante veld, maar dit vra enorme toegewydheid om by te bly met ontwikkeling. Kunsmatige intelligensietegnologie verander ontsaglik vinnig en jy moet op hoogte van die nuutste ontwikkelings bly. Bygesê, is hierdie vakgebied ook hoogs stimulerend en bevredigend en definitief die moeite werd!"
Pretorius sal vandeesweek sy PhD-graad by die US se Desember gradeplegtigheidseremonie van die Fakulteit Natuurwetenskappe ontvang. Saam met hom sal die Fakulteit nóg 28 PhD-, 26 MSc-, 145 HonsBSc- en meer as 300 BSc-grade toeken. Pretorius se navorsing is ondersteun deur 'n beurs van die Sentrum vir Kunsmatige Intelligensienavorsing, asook 'n Harry Crossley Nagraadse Studiebeurs, albei van die US af.
Op die foto, Dr Steve Kroon saam met Dr Arnu Pretorius na afloop van die Desember 2019 gradeplegtigheid. Foto: Stefan Els
Medianavrae
Dr Steve Kroon
Afdeling Rekenaarwetenskap, Universiteit Stellenbosch
Tel: 021 808 9375/4232
E-pos: kroon@sun.ac.za
Dr Arnu Pretorius
Navorsingswetenskaplike, InstaDeep
E-pos: arnupretorius@gmail.com
