Znanstvenici smanjuju računanje za dublje učenje

Wallace Thornhill: The Elegant Simplicity of the Electric Universe (with improved audio) | EU2016 (Lipanj 2019).

Anonim

Računalni znanstvenici na Sveučilištu Rice prilagodili su široko korištenu tehniku ​​za brzi pregled podataka kako bi smanjili količinu računanja - a time i energiju i vrijeme potrebno za dublje učenje, računalno intenzivan oblik strojnog učenja.

"Ovo se odnosi na bilo koju arhitekturu dubokog učenja, a tehnika se podcrtava linearno, što znači da što je veća duboka neuronska mreža na koju se primjenjuje, to će uštede u računalima biti", rekao je glavni istraživač Anshumali Shrivastava, pomoćnik profesor računalne znanosti u Rice.

Istraživanje će biti predstavljeno u kolovozu na konferenciji KDD 2017 u Halifaxu, Nova Scotia. Ona se bavi jednom od najvećih problema s kojima se suočavaju tehnološki divovi poput Googlea, Facebooka i Microsofta dok se natječu za izgradnju, osposobljavanje i implementaciju masivnih mreža za dublje učenje za sve veći broj različitih proizvoda kao što su autobusi, prevoditelji jezika i inteligentni odgovori na e-pošte.

Shrivastava i Rice diplomirani student Ryan Spring pokazali su da se tehnike iz "hashinga", pokušano i istinito metode indeksiranja podataka, mogu prilagoditi kako bi dramatično smanjile računalnu nadmoć za dublje učenje. Hashing uključuje upotrebu pametnih funkcija hash koji pretvaraju podatke u upravljive male brojeve koji se zovu hasheri. Ishehe su pohranjene u tablicama koje djeluju poput indeksa u tiskanoj knjizi.

"Naš pristup mješavine dvije tehnike - pametna varijanta lokalnih osjetljivih hashinga i slabih povratnih propagacija - kako bi se smanjili računalni zahtjevi bez značajnog gubitka točnosti", rekao je Spring. "Na primjer, u malim testovima ustanovili smo da možemo smanjiti računanje za čak 95 posto i još uvijek biti unutar 1 posto točnosti dobivene standardnim pristupima."

Osnovni građevni blok mreže duboko učenja umjetni je neuron. Iako su izvorno zamišljeni u 1950-ima kao modeli za biološke neurone u živim mozgovima, umjetni neuroni su samo matematičke funkcije, jednadžbe koje djeluju na dolazni dio podataka i pretvaraju ga u izlaz.

U strojnom učenju, svi neuroni počinju ista, poput praznih listića, i postaju specijalizirani kako su obučeni. Tijekom treninga mreža "prikazuje" ogromne količine podataka, a svaki neuron postaje specijalist pri prepoznavanju određenih obrazaca u podacima. Na najnižem sloju, neuroni obavljaju najjednostavnije zadatke. U aplikaciji za prepoznavanje fotografija, na primjer, neuroni niske razine mogu prepoznati svjetlost od tamnih ili rubova objekata. Izlaz iz ovih neurona prenosi se na neurone u sljedećem sloju mreže, koji traže svoje vlastite specijalizirane uzorke. Mreže s čak nekoliko slojeva mogu naučiti prepoznati lica, pse, zaustaviti znakove i školske autobuse.

"Dodavanje više neurona u mrežni sloj povećava njegovu izražajnu snagu, a ne postoji gornja granica koliko velika želimo da naše mreže budu", rekao je Shrivastava. "Google navodno pokušava obučiti jednu s 137 milijardi neurona". Nasuprot tome, rekao je, postoje ograničenja za količinu računalne snage koja se može podnijeti za osposobljavanje i implementaciju takvih mreža.

"Većina algoritama strojnog učenja u uporabi danas je razvijena prije 30-50 godina", rekao je. "Nisu bili dizajnirani s računalnom složenosti, ali s" velikim podacima "postoje temeljne granice resursa poput računalnih ciklusa, energije i memorije. Naš se laboratorij usredotočuje na rješavanje tih ograničenja."

Proljeće kaže da će računanje i uštede energije od hashinga biti još veće na masivnim dubokim mrežama.

"Štednja se povećava s obzirom na to da iskorištavamo inherentnu rijetkost u velikim podacima", kazao je. "Na primjer, recimo da dubinska mreža ima milijarde neurona, a za bilo koji unos - poput slike psa - samo će neki od njih postati uzbuđeni. U podatkovnom govoru to se odnosi na sparsnost i zbog sparsnosti Naša metoda će uštedjeti više, jer mreža raste u veličini. Dok smo pokazali 95 posto uštede s 1.000 neurona, matematika sugerira da možemo uštedjeti više od 99 posto milijardim neurona. "

menu
menu