Er það að bæta slembi hávaða við falin lög sem telst vera reglugerð? Hver er munurinn á því að bæta við og bæta við brottfalli og eðlilegri lotu?


svara 1:

Já, að bæta slembi hávaða við falin lög er regluleg rétt eins og brottfall. Lykil innsæið hér er að ef taugasvörunin er hávær á hverri vakt verður líkamsþjálfunin að aðlaga lóð að aðskildum flokkum með meiri fjarlægð en hávaða. Þess vegna ætti flokkunin að vera stöðugri þegar engin hávaðarflokkun er til staðar. Þetta er mjög svipað og Max Margin Classification virkar og við vitum öll hversu árangursríkar Max Margin tækni hafa verið (t.d. stuðningsvektuvélar). Hins vegar verður þú að ganga úr skugga um að hávaðinn gagni ekki yfir merkið.

Brottfall er talið reglusetningaraðferð vegna þess að hún framkvæmir líkan að meðaltali. Það er, við þjálfun er líkanið í raun líkindadreifing á einhverjum tímapunkti yfir flokk tauga netlíkana þar sem lóðin eru föst en ein af taugafrumunum í líkaninu vantar. Heildarlíkurnar á hverju taugakerfi eru ákvörðuð af líkum hvers og eins á því að tiltekin taugafruma sé til staðar eða vanti. Þetta er reglugerð vegna þess að hún er að meðaltali yfir röskun á einstökum tilvikum, sem sléttir kostnaðaraðgerðina.

Að bæta handahófi við falið lag virkar á sama hátt, en með mismunandi líkindadreifingu. Í staðinn fyrir að vera með fastar lóðir ertu með fastar grannfræði og líkindadreifingin velur handahófi handahófi samkvæmt Gauss dreifingu sem er miðju við „sönnu“ lóðina, þ.e. lóðina sem þú geymir á harða disknum þínum. Þetta er einnig fyrirmynd að meðaltali og ætti að hafa stjórnandi áhrif, með þeim takmörkun að hávaði (dreifnin) ætti ekki að gagntaka merkið. Til dæmis, ef þú notar BatchNorm í fyrsta skipti, hefurðu um það bil venjulegt venjulegt framleiðslusnið (einingar miðju við núll með einu dreifni) og þú getur svo beitt hávaða með dreifninu 0,1, til dæmis. Þú getur spilað með dreifnina til að sjá hvað virkar.

EDIT: Þar sem BatchNorm var minnst á í spurningunni vildi ég benda á að BatchNorm er í raun ekki notað til reglugerðar. Það er, BatchNorm jafnar ekki kostnaðinn. Í staðinn er BatchNorm bætt við til að bæta árangur bakútbreiðslunnar. Í meginatriðum kemur það í veg fyrir að hallandi afturvirkt halli verði of stórt eða of lítið með því að endurstilla og miðja aftur. Sem tækni hefur það dýpri tengingar við hagræðingaraðferðir í annarri röð sem reyna að móta sveigju kostnaðarflatarins. Eins og getið er hér að framan er einnig hægt að nota BatchNorm til að tryggja að hlutfallsleg stigstærð sé rétt þegar þú bætir handahófi hávaða við taugastarfsemi.


svara 2:

Ég myndi líta á það sem hagræðingarbragð frekar en reglugerð.

Áhrifin ættu að samsvara áhrifum stochasticity í SGD.

SGD og innblástur hans í Monte Carlo aðferðir forðast að festast í slæmum staðbundnum lágmörkum með því að taka af handahófi skref af og til í stað þess að fylgja stranglega stefnu bröttustu uppruna. eða til að gera eitthvað jafngott í ýmsum holdgun þeirra, t.d. B. Bættu handahófi við hvert skref í stað þess að taka handahófi skref reglulega.

Að bæta veika handahófshljóð við lóðir gerir nákvæmlega það sama. [Athugasemd: Stighækkunin bætir einhverju við vigtina í hverri endurtekningu!]


svara 3:

EDIT:

Með því að bæta Gaussian dreifða handahófi við innsláttargögn hvers lags getur líkanið þitt orðið öflugri gagnvart litlum breytingum á gögnunum, svo netkerfið þitt getur greint hávaða betur frá merkinu. Eins og Zeeshan Zia sagði, þá væri þetta í raun ágætis stókastískur halli. Ég myndi samt ekki íhuga þessa reglugerð. Það er meira af tækni sem líkanið þitt getur notað til að læra mynstur til að aðgreina hávaða frá merkinu.

Brottfall óvirkir af handahófi tiltekið hlutfall hnúta í falinni stigi við hverja sendingu. Þetta bætir netið vegna þess að það þarf að læra að þekkja sömu mynstrin á mismunandi vegu, sem leiðir til betri fyrirmyndar.

Taktu aðföngin á einu stigi við stöðlun lotu og tryggðu að þau séu öll eðlileg milli 0 og 1. Þetta hjálpar netkerfinu að læra betur vegna þess að halli helst meira og jafnari. Þannig forðastu að hoppa um lágmörk vegna þess að halli þinn er of stór.