Mitä on regularisointi?

/ / Julkaistu Tekoäly, EITC/AI/GCML Google Cloud Machine Learning, Ensimmäiset vaiheet koneoppimisessa, Koneoppimisen seitsemän vaihetta

Regularisointi koneoppimisen yhteydessä on tärkeä tekniikka, jota käytetään parantamaan mallien yleistyssuorituskykyä, varsinkin kun käsitellään korkeadimensionaalista dataa tai monimutkaisia ​​malleja, jotka ovat alttiita ylisovitukselle. Ylisovitus tapahtuu, kun malli oppii harjoitustietojen taustalla olevien kuvioiden lisäksi myös kohinan, mikä johtaa huonoon suorituskykyyn näkymättömissä tiedoissa. Säännöllistäminen tuo malliin lisätietoa tai rajoituksia, joilla estetään ylisovitus rankaisemalla liian monimutkaisia ​​malleja.

Regularisoinnin perusideana on sisällyttää sakkotermi tappiofunktioon, jota malli yrittää minimoida. Tämä sakkotermi estää mallia sovittamasta kohinaa opetusdataan aiheuttamalla kustannuksia monimutkaisuudesta, joka tyypillisesti mitataan mallin parametrien suuruudella. Näin tekemällä regularisointi auttaa saavuttamaan tasapainon harjoitustietojen hyvän sovituksen ja mallin kyvyn yleistää uuteen dataan ylläpitämisen välillä.

Koneoppimisessa yleisesti käytettyjä regularisointitekniikoita on useita, joista yleisimmät ovat L1-regulointi, L2-regulointi ja keskeyttäminen. Jokaisella näistä tekniikoista on omat ominaisuutensa ja sovelluksensa.

1. L1-regulointi (Lasso-regressio): L1-regulointi lisää tappiofunktioon sakkoa, joka on yhtä suuri kuin kertoimien suuruuden itseisarvo. Matemaattisesti se voidaan esittää seuraavasti:

    \[ L(\theta) = L_0(\theta) + \lambda \sum_{i=1}^{n} |\theta_i| \]

jossa L_0(\theta) on alkuperäinen häviöfunktio, \ lambda on regularisointiparametri ja \theta_i ovat mallin parametrit. L1-regulaation vaikutus on, että se pyrkii tuottamaan harvoja malleja, mikä tarkoittaa, että se ajaa osan kertoimista nollaan suorittaen tehokkaasti ominaisuuden valinnan. Tämä voi olla erityisen hyödyllistä käsiteltäessä suuriulotteisia tietoja, joissa monet ominaisuudet voivat olla merkityksettömiä.

2. L2-regulointi (Ridgen regressio): L2-regulointi lisää tappiofunktioon sakkoa, joka on yhtä suuri kuin kertoimien suuruuden neliö. Se ilmaistaan ​​matemaattisesti seuraavasti:

    \[ L(\theta) = L_0(\theta) + \lambda \sum_{i=1}^{n} \theta_i^2 \]

L2-regulointi estää suuria kertoimia rankaisemalla niiden neliöarvoja, mikä johtaa tasaisemmin jakautuneeseen painosarjaan. Toisin kuin L1, L2-regulointi ei tuota harvaa mallia, koska se ei pakota kertoimia täsmälleen nollaan, vaan pitää ne pieninä. Tämä on erityisen hyödyllistä ylisovituksen välttämiseksi, kun kaikilla ominaisuuksilla on jotain merkitystä.

3. Elastisen verkon laillistaminen: Elastic Net yhdistää sekä L1- että L2-regulaation. Se on erityisen hyödyllinen tilanteissa, joissa on useita toisiinsa liittyviä ominaisuuksia. Elastic Net -rangaistus on lineaarinen yhdistelmä L1- ja L2-rangaistuksia:

    \[ L(\theta) = L_0(\theta) + \lambda_1 \sum_{i=1}^{n} |\theta_i| + \lambda_2 \sum_{i=1}^{n} \theta_i^2 \]

Parametreja säätämällä \lambda_1 ja \lambda_2, Elastic Net voi tasapainottaa sekä L1- että L2-reguloinnin edut.

4. Lopettaa: Dropout on erityisesti hermoverkkoja varten suunniteltu regularisointitekniikka. Harjoittelun aikana keskeyttäminen asettaa satunnaisesti osan kerroksen solmuista (neuroneista) nollaan jokaisessa iteraatiossa. Tämä estää verkkoa luottamasta liian voimakkaasti mihinkään yksittäiseen solmuun ja rohkaisee verkkoa oppimaan tehokkaampia ominaisuuksia. Dropout on erityisen tehokas syväoppimismalleissa, joissa ylisovitus on yleinen ongelma parametrien suuren määrän vuoksi.

5. Aikainen pysähdys: Vaikka se ei olekaan laillistamistekniikka perinteisessä mielessä, varhainen lopettaminen on strategia liiallisen istuvuuden estämiseksi pysäyttämällä harjoitusprosessi, kun validointisarjan suorituskyky alkaa heikentyä. Tämä on erityisen hyödyllistä iteratiivisissa menetelmissä, kuten gradienttilaskeutumisessa, jossa mallia päivitetään jatkuvasti.

Laillistaminen on välttämätöntä koneoppimisessa, koska sen avulla mallit voivat toimia hyvin näkymättömällä tiedolla hallitsemalla niiden monimutkaisuutta. Regularointitekniikan valinta ja sen parametrien viritys (\ lambda L1:lle ja L2:lle keskeyttämisprosentti) ovat tärkeitä ja vaativat usein kokeilua ja ristiinvalidointia optimaalisten tulosten saavuttamiseksi.

Harkitse esimerkiksi lineaarista regressiomallia, joka on koulutettu tietojoukolle, jossa on monia ominaisuuksia. Ilman säännöstelyä malli saattaa antaa suuria painotuksia joillekin ominaisuuksille, jotka sopivat harjoitustiedot hyvin tiiviisti, mutta toimivat huonosti testitiedoissa ylisovituksen vuoksi. Käyttämällä L2-regulointia mallia rohkaistaan ​​jakamaan painot tasaisemmin, mikä saattaa johtaa parempaan yleistykseen uudessa tiedossa.

Toisessa skenaariossa kuvadataan koulutettu hermoverkko saattaa ylisovittaa muistamalla tiettyjä kuvioita harjoituskuvista. Pudotusta käyttämällä verkko pakotetaan oppimaan yleisempiä ominaisuuksia, jotka ovat hyödyllisiä eri kuvissa, mikä parantaa suorituskykyään näkymättömissä tiedoissa.

Regularisointi on koneoppimisen peruskonsepti, joka auttaa estämään ylisovitusta lisäämällä mallin katoamisfunktioon sakon monimutkaisuudesta. Hallitsemalla mallin monimutkaisuutta, regularisointitekniikat, kuten L1, L2, Elastic Net, dropout ja varhainen pysäytys, mahdollistavat paremman yleistämisen uuteen dataan, mikä tekee niistä välttämättömiä työkaluja koneoppimisen harjoittajan työkalupakissa.

Muita viimeaikaisia ​​kysymyksiä ja vastauksia liittyen EITC/AI/GCML Google Cloud Machine Learning:

Katso lisää kysymyksiä ja vastauksia EITC/AI/GCML Google Cloud Machine Learningissä

Lisää kysymyksiä ja vastauksia:

Tagged alla: , , , , ,