Kuidas saaksin tõlgendada valideerimise ja testi täpsuse erinevust?


Vastus 1:

Täpsuse A puhul arvan, et teie mudel töötab hästi. Ma eeldan, et kasutasite valideerimise andmeid mudeli A koolitamiseks ja katseandmeid selle hindamiseks. Kuna valideerimise täpsus ja testi täpsus on mõlemad kõrged, võib öelda, et mudel on välja õpetatud õigesti. Mul on siiski kaks muret.

  1. Kui vajate suurema täpsusega mudelit, peate paremaks muutmiseks hüperparameetrid häälestama. Juhendatud õppimine ei tähenda ainult täpsust. Kui see on kaks binaarset klassifikatsiooni, peaksite saama ROC-ala kõvera alla, et näha, kas tal on probleeme valepositiivse klassifitseerimisega. Kui teil on kõrge valepositiivne, on mudel kasutu.

B jaoks arvan, et see sobib liiga hästi. Liigne paigaldamine tähendab, et teie mudel töötab hästi ainult treenimis- ja valideerimisandmetega, mitte katseandmete või uute tundmatute andmetega. Kindlasti soovite üldisemat mudelit. Peate välja selgitama, miks see on liiga komplekteeritud. Samuti peate hindama kõveraalust ROC-ala.

http: //gim.unmc.edu/dxtests/roc3 ...

Masinaõppe algoritmide üle- ja alakomplekteerimine - masinõppe meisterlikkus