moderated by ์๋ฆฌ
- ์ํ๋ง์ ํ๋ฉด ์์ ์ ๋น ๋ฅด๊ฒ ์ํํ ์ ์๊ณ , ๋น์ฉ์ด ์ค์ด๋ ๋ค.
- ๋ฐ์ดํฐ๋ฅผ ํ๋ฅ ์ด ์๋ ๊ธฐ์ค์ ์๊ฑฐํด ์ ํํ๋ ๋ฐฉ๋ฒ
- ์ค๋ฐ์ดํฐ๋ฅผ ์ ๋ํํ์ง ๋ชปํ๊ณ ์ ํ ํธํฅ์ด ๊ฐํ์ง๋ง, ์ฌ์ฉ์ด ํธ๋ฆฌํ์ฌ ๋ง์ด ์ฌ์ฉ๋๋ค.
ํธ์ ์ํ๋ง
: ๊ฐ์ฉ์ฑ์ ์๊ฑฐํด ๋ฐ์ดํฐ ์ํ์ ์ ํ
(๊ตฌํ๊ธฐ ์ฌ์ด ๋ฐ์ดํฐ ์ฌ์ฉ, ์ ๋ณด ์ ๊ณต ๋์๋ฅผ ํ ๊ณ ๊ฐ ๋ฐ์ดํฐ๋ง ์ฌ์ฉ)๋๋ฉ์ด ์ํ๋ง
: ๊ธฐ์กด ์ํ์ ๊ธฐ๋ฐ์ผ๋ก ๋ฏธ๋์ ์ํ์ ์ ํ
(์์๋ก ๋ง๋ ์ฌ์ฉ์ ๊ณ์ ์ ๋ง๋ ํ ํด๋น ๊ณ์ ์ ํ๋ก์ฐํ๋ ๊ณ์ ์ ๋ชจ๋ ์คํฌ๋ฉ)ํ๋จ ์ํ๋ง
: ์ ๋ฌธ๊ฐ๊ฐ ์ด๋ค ์ํ์ ํฌํจํ ์ง ๊ฒฐ์ ํ ๋น ์ํ๋ง
: ๋ฌด์์ํ ์์ด ํน์ ๋ฐ์ดํฐ ๊ทธ๋ฃน๋ณ ํ ๋น๋์ ์๊ฑฐํด ์ํ ์ ํ
(์ค๋ฌธ์กฐ์ฌ ์, ์ค์ ์ฐ๋ น์ ์๊ด์์ด ๊ฐ ์ฐ๋ น ๊ทธ๋ฃน๋ง๋ค ์๋ต 100๊ฐ์ฉ ์์ง)
- ๊ฐ์ฅ ๋จ์ํ ํํ์ ๋ฌด์์ ์ํ๋ง์ ๊ฐ ์ํ์ด ์ ํ๋ ํ๋ฅ ์ด ๋ชจ๋ ๋์ผํ๋ค.
- ๊ตฌํ์ด ์ฌ์ฐ๋, ๋๋ฌผ๊ฒ ๋ฐ์ํ๋ ๋ฒ์ฃผ์ ๋ฐ์ดํฐ๊ฐ ํฌํจ๋์ง ์์ ์ ์๋ค.
- ๋ชจ์ง๋จ์ ์์ดํ ์ฑ์ง์ ๊ทธ๋ฃน์ผ๋ก ๋๋ ๋ค, ๊ฐ ๊ทธ๋ฃน์ ๊ฐ๋ณ์ ์ผ๋ก ์ํ๋ง์ ์ํํ๋ค.
- ์๋ฌด๋ฆฌ ๋๋ฌผ๊ฒ ๋ฐ์ํ๋๋ผ๋ ํด๋น ํด๋์ค์ ์ํ์ด ํฌํจ๋๋ค.
- ํญ์ ๊ฐ๋ฅํ์ง๋ ์๋ค.(ex. ์ด๋ค ์ํ์ A, B ํด๋์ค์ ๋ชจ๋ ์ํ ์ ์๋ค.)
- ๊ฐ ์ํ์ ๊ฐ์ค์น๊ฐ ์์ด, ์ด๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์ํ์ด ์ ํ๋ ํ๋ฅ ์ด ๊ฒฐ์ ๋๋ค.
- ๋๋ฉ์ธ ์ ๋ฌธ ์ง์์ ์ ์ฉํ ์ ์๋ค.
- ์ ํ ํ๋ฅ ์ ๋์ด๊ณ ์ถ๋ค๋ฉด ๋ ๋์ ๊ฐ์ค์น๋ฅผ ๋ถ์ฌํ๋ค.
- ์ํ ๊ฐ์ค์น(ML): ๊ฐ์ค์น๊ฐ ๋์ ์ํ์ ์์คํจ์์ ๋ ๋ง์ ์ํฅ์ ์ฃผ์ด ๋ชจ๋ธ์ ๊ฒฐ์ ๊ฒฝ๊ณ๋ฅผ ๋ณํ์ํจ๋ค.
- ํ๋ก๋์ ํ๊ฒฝ์ ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ ๋ ํนํ ์ ์ฉํ ์๊ณ ๋ฆฌ์ฆ
- example - ์ง์์ ์ผ๋ก ์์ง๋๋ ํธ์ ์คํธ๋ฆผ์์ ๋ถ์/ํ๋ จ์ ์ํด k๊ฐ์ ํธ์์ ์ํ๋งํ๊ธฐ - ์๊ตฌ์ฌํญ - ๊ฐ ํธ์์ด ์ ํ๋ ํ๋ฅ ์ ๋์ผ - ์๊ณ ๋ฆฌ์ฆ ๊ฐ๋์ ์ธ์ ๋ ์ง ๋ฉ์ถ ์ ์์ผ๋ฉฐ ์ด๋ ๊ฐ ํธ์์ด ์ฌ๋ฐ๋ฅธ ํ๋ฅ ๋ก ์ํ๋ง ๋์์ ๋ณด์ฅํด์ผํจ - ์๋ฃจ์
- ์๊ณ ๋ฆฌ์ฆ์ ๋ฐฐ์ด ํํ๋ก ๊ตฌํ ๊ฐ๋ฅํ ์ ์ฅ์๋ฅผ ํฌํจํ๋ค. 1. ์ฒซ
$k$ ๊ฐ์ ์์๋ฅผ ์ ์ฅ์์ ๋ฃ๋๋ค. 2. ์์ง๋๋ ๊ฐ$n$ ๋ฒ์งธ ์์๋ง๋ค$1 \leq i \leq n$ ์ ๋ง์กฑํ๋ ๋์$i$ ๋ฅผ ์์ฑํ๋ค. 3.$1 \leq i \leq k$ ๋ผ๋ฉด ์ ์ฅ์์$i$ ๋ฒ์งธ ์์๋ฅผ$n$ ๋ฒ์งธ ์์๋ก ๊ต์ฒดํ๋ค. ์๋๋ผ๋ฉด ๋ค์ ์์๋ก ๋์ด๊ฐ๋ค. - ๊ฒฐ๊ณผ - ์์ง๋๋ ๊ฐ$n$ ๋ฒ์งธ ์์๊ฐ ์ ์ฅ์์ ํฌํจ๋ ํ๋ฅ ์ด$k \over n$ ์์ ๋ปํ๋ค.(๊ฐ ์ํ์ด ์ ํ๋ ํ๋ฅ ๋์ผ)
- ์ํ๋ ๋ถํฌ๊ฐ ์๋ ๋ค๋ฅธ ํ๋ฅ ๋ถํฌ๋ง ์ฌ์ฉ ๊ฐ๋ฅํ ์ํฉ์์, ์ํ๋ ํ๋ฅ ๋ถํฌ์์์ ์ํ๋ง์ด ๊ฐ๋ฅํ๋ค.
- example
- ํ๋ฅ ๋ถํฌ
$P(x)$ ์์$x$ ๋ฅผ ์ํ๋งํด์ผํ๋๋ฐ,$P(x)$ ๋ ์ํ๋ง ๋น์ฉ์ด ํฌ๊ณ ๋๋ฆฌ๋ฉฐ ํ์ฉ์ด ์ด๋ ต๋ค.
๋ฐ๋ฉด, ํ๋ฅ ๋ถํฌ$Q(x)$ ๋ ์ํ๋งํ๊ธฐ ํจ์ฌ ์ฝ๋ค. -
$x$ ๋ฅผ$Q(x)$ ์์ ๋์ ์ํ๋งํ๊ณ , ํด๋น ์ํ์ ๊ฐ์ค์น๋ฅผ$P(x) \over Q(x)$ ๋ก ๋ถ์ฌํ๋ค. -
$Q(x)$ = ์ ์๋ถํฌ, ์ค์๋ ๋ถํฌ
- ํ๋ฅ ๋ถํฌ
- ์ ์ฑ
๊ธฐ๋ฐ ๊ฐํํ์ต(ML)
- ์๋ก์ด ์ ์ฑ
์ ๊ฐ์นํจ์๋ฅผ ์ถ์ ํ๊ณ ์ ํ ๋, ํ๋์ ๋ฐ๋ฅด๋ ์ด ๋ณด์์ ๊ณ์ฐํ๋ ์ผ์ ๋น์ฉ์ด ํฌ๋ค.
์ด๋, ์ด์ ์ ์ฑ ๊ณผ ์ ์ฌ์ฑ์ด ํฌ๋ฉด, ์ด์ ์ ์ฑ ์ ๊ธฐ๋ฐ์ผ๋ก ์ด ๋ณด์์ ๊ณ์ฐํ๊ณ ์๋ก์ด ์ ์ฑ ์ ๋ฐ๋ฅธ ๊ฐ์ค์น๋ก ์ฌ์กฐ์ ํ๋ ๋ฐฉ๋ฒ์ ์ฌ์ฉํ ์ ์๋ค.
- ์๋ก์ด ์ ์ฑ
์ ๊ฐ์นํจ์๋ฅผ ์ถ์ ํ๊ณ ์ ํ ๋, ํ๋์ ๋ฐ๋ฅด๋ ์ด ๋ณด์์ ๊ณ์ฐํ๋ ์ผ์ ๋น์ฉ์ด ํฌ๋ค.
- ๋จ์
- ๋น์ฉ์ด ํฌ๋ค.
- ๊ฐ์ธ ์ ๋ณด ๋ณดํธ ๋ฌธ์ ๋ฅผ ์ผ๊ธฐํ๋ค.
- ๋๋ฆฌ๋ค.
- ๋ ์ด๋ธ ๋ค์ค์ฑ
- ๊ธฐ์ ์์๋ ์ถฉ๋ถํ ๋ฐ์ดํฐ๋ฅผ ์ป๊ธฐ ์ํด ์ฌ๋ฌ ์์ค๋ก๋ถํฐ ๋ฐ์ดํฐ๋ฅผ ์์งํ๊ณ , ์ ๋ฌธ ์ง์์์ค์ด ์์ดํ ์ด๋ ธํ ์ดํฐ๋ค์ ๊ณ ์ฉํ๋ค.
- ์ด๋ก์ธํด, ํ๋์ ๋ฐ์ดํฐ์ ๋ ์ด๋ธ์ด ๋ณต์๋ก ์กด์ฌํ๋ ๋ฌธ์ ๋ฐ์
- ์ด๋ ธํ ์ดํฐ ๊ฐ ์๋ก ๋ถ์ผ์นํ๋ ๋ ์ด๋ธ ๋ฌธ์ ๋ฅผ ์ต์ํํ๊ธฐ ์ํด, ๋ฌธ์ ๋ฅผ ์ ํํ ์ ์ํด์ผ ํ๋ค.
- ๋ฐ์ดํฐ ๊ณ๋ณด
- ์๋ก ๋ค๋ฅธ ์ด๋
ธํ
์ดํฐ๊ฐ ์์ฑํ ๋ค์ํ ์์ค์ ๋ฐ์ดํฐ๋ฅผ ํ์ง ๊ณ ๋ฏผ์์ด ์ฌ์ฉํ๋ฉด ๋ฌธ์ ๋ฐ์
- ex. ์๋ณธ ๋ฐ์ดํฐ๋ณด๋ค ํจ์ฌ ๋ฎ์ ์ ํ๋๋ก ๋ ์ด๋ธ๋งํ๋ฉด ๋ชจ๋ธ ์ฑ๋ฅ์ด ๊ฐ์ํ๋ค.
- ๋ฐ์ดํฐ ๊ณ๋ณด ๊ธฐ๋ฒ: ๊ฐ ๋ฐ์ดํฐ ์ํ๊ณผ ๋ ์ด๋ธ์ ์ถ์ฒ๋ฅผ ๊ฐ๋ฅํ๊ฒ ์ค์ ํ๋ ๊ฒ
- ๋ฐ์ดํฐ ๋ด ์ ์ฌ ํธํฅ์ ํ๋๊ทธ๋ฅผ ํ ๋นํ๊ณ ๋ชจ๋ธ์ ๋๋ฒ๊น ํ๋ ๋ฐ ํฐ ๋์์ด ๋๋ค.
- ์๋ก ๋ค๋ฅธ ์ด๋
ธํ
์ดํฐ๊ฐ ์์ฑํ ๋ค์ํ ์์ค์ ๋ฐ์ดํฐ๋ฅผ ํ์ง ๊ณ ๋ฏผ์์ด ์ฌ์ฉํ๋ฉด ๋ฌธ์ ๋ฐ์
- ์์ฐ์ ์ธ Groud Truth Label์ด ์กด์ฌํ๋ ๊ฒฝ์ฐ, ์์ ์ด ํจ์ฌ ์์ํ๋ค.
- ex. 2๋ถํ ์ฃผ์ ๊ฐ๊ฒฉ ์์ธก ๋ชจ๋ธ: ์ค์ ๋ก 2๋ถ์ด ์ง๋ ํ, ์์ธกํ ๊ฐ๊ฒฉ๊ณผ ์ค์ ๊ฐ๊ฒฉ์ ๋น๊ตํด๋ณด๋ฉด ๋๋ค.
- ex. ๊ธฐ๊ณ๋ฒ์ญ ํ, ๋ฒ์ญ์ด ์ ์ ํ์ง ์์ผ๋ฉด ์ฌ์ฉ์ ์ปค๋ฎค๋ํฐ์์ ๋ค๋ฅธ ๋ฒ์ญ์ ์ ์ถํ ์ ์๋๋ก ์ต์ ์ ๋ง๋ จํ๋ค.
- ์ฝ๊ณ ์ ๋ ดํ ๋ฐฉ๋ฒ์ด๋ค.
- ์์ฐ ๋ ์ด๋ธ ๋ฐฉ์ ์ฌ์ฉ ์ค์, ์ผ์ ์๊ฐ์ด ์ง๋๋ ๋ ์ด๋ธ์ ์ป์ง ๋ชปํ๋ฉด ์์ฑ๋ ์ด๋ธ, ์์์ ๋ ์ด๋ธ์ด๋ผ ๋ถ๋ฅธ๋ค.
๋ ์ด๋ธ์ ์ป์ผ๋ฉด ์์ฑ ๋ ์ด๋ธ, ๋ช ์์ ๋ ์ด๋ธ์ด๋ผ ๋ถ๋ฅธ๋ค. - ํผ๋๋ฐฑ ๋ฃจํ ๊ธธ์ด: ์์ธก์ ์ํํ ์์ ๋ถํฐ ํผ๋๋ฐฑ์ ์ป๋ ์์ ๊น์ง ๊ฑธ๋ฆฌ๋ ์๊ฐ
- ํผ๋๋ฐฑ์ ํฌ์ฐฉํ window ๊ธธ์ด ๊ฒฐ์ ์ ์ ์คํํด์ผํจ โ ์๋์ ์ ํ๋ ์ฌ์ด์ trade-off๊ฐ ์กด์ฌํ๋ค.
- ์์์ ๋ ์ด๋ธ์ ์์ ์ฌ์ฉํ์ง ์๋ ๋ฐฉ๋ฒ
- ๋ ์ด๋ธ๋ง ํ ๋, ๋๋ฉ์ธ ์ ๋ฌธ ์ง์์ ํตํด ๊ฐ๋ฐ๋ ํด๋ฆฌ์คํฑ์ ํ์ฉ
- ๋ ์ด๋ธ๋ง ํจ์(LF) ๊ฐ๋
์ ๊ธฐ๋ฐ์ผ๋ก ํ๋ค.(ํค์๋ ํด๋ฆฌ์คํฑ, ์ ๊ทํํ์, ๋ฐ์ดํฐ๋ฒ ์ด์ค ์กฐํ, ๋ค๋ฅธ ๋ชจ๋ธ์ ์ถ๋ ฅ)
ํ๋ก๊ทธ๋๋ฐ ๋ฐฉ์ ๋ ์ด๋ธ๋ง
์ด๋ผ๊ณ ๋ ํ๋ค.- ex. ๊ฐํธ์ฌ ๋ ธํธ์ '์๊ธ'์ด๋ผ๊ณ ์ ํ์์ผ๋ฉด ์ํ๊ตฐ์ผ๋ก ๋ถ๋ฅ
- ์ฅ์
- ๋ฐ์ดํฐ์ ๊ฐ์ธ ์ ๋ณด ๋ณดํธ ์๊ตฌ ์ฌํญ์ด ์๊ฒฉํ๊ฒ ์ ์ฉ๋ ๋ ํนํ ์ ์ฉํ๋ค.
- ์ผ๋ถ ๋ฐ์ดํฐ๋ง ํ์ธํ์ฌ LF๋ฅผ ์์ฑํ ๋ค ํด๋น ํจ์๋ฅผ ๋๋จธ์ง ๋ฐ์ดํฐ์ ๋น๊ณต๊ฐ๋ก ์ ์ฉํ๋ค.
- ๋๋ฉ์ธ ์ ๋ฌธ ์ง์์ ๋ฒ์ ์ ์ง์ ํ๊ณ ๊ทธ๊ฒ์ ์ฌ์ฌ์ฉํ๊ฑฐ๋ ๊ณต์ ํ ์ ์๋ค.
- ๋ฐ์ดํฐ์ ๊ฐ์ธ ์ ๋ณด ๋ณดํธ ์๊ตฌ ์ฌํญ์ด ์๊ฒฉํ๊ฒ ์ ์ฉ๋ ๋ ํนํ ์ ์ฉํ๋ค.
- ๋จ์ - LF๊ฐ ๋ฐ์ดํฐ ์ํ ์ ์ฒด๋ฅผ ๋ค๋ฃจ์ง ๋ชปํ ์ ์๋ค. ์ด ๊ฒฝ์ฐ, LF๋ก ๋ ์ด๋ธ๋ง ํ ML๋ชจ๋ธ๋ก ํ๋ จํ๊ณ ์ํ์ ํด๋น ๋ชจ๋ธ์ ์ ์ฉํ๋ค. - ์ฝํ ์ง๋ ํ์ต์ผ๋ก ์ป์ ๋ ์ด๋ธ์ ์ค์ ๋ก ์ ์ฉํ๊ธฐ์ ์ก์์ด ๋๋ฌด ๋ง์ ๋๊ฐ ์๋ค.
- ๊ตฌ์กฐ์ ์ธ ๊ฐ์ ์ ํ์ฉํด ์ด๊ธฐ์ ์์งํ ์์์ ๋ ์ด๋ธ์ ๊ธฐ๋ฐ์ผ๋ก ์๋ก์ด ๋ ์ด๋ธ์ ์์ฑํ๋ค.
- ์ด๊ธฐ์๋ ๋ ์ด๋ธ์ด ๋ถ์ ๋ฐ์ดํฐ๊ฐ ํ์ํ๋ค.
- ์ค์ง๋ ํ์ต ๋ฐฉ๋ฒ
- ์๊ฐํ๋ จ(semi-supervised learning)
- ๋จผ์ ๋ ์ด๋ธ์ด ์ง์ ๋ ๊ธฐ์กด ๋ฐ์ดํฐ๋ก ๋ชจ๋ธ ํ์ต์ ์์ํ ๋ค ํด๋น ๋ชจ๋ธ๋ก ๋ ์ด๋ธ์ด ๋ฏธ์ง์ ๋ ์ํ์ ์์ธก์ ์ํํ๋ค.
- ์ํ์ ์์ ํ๋ฅ ์ ์๊ฐ ๋๋ค๋ฉด ์์ธก์ด ์ ํํ๋ค๊ณ ๊ฐ์ ํ๊ณ , ๋์ ํ๋ฅ ๋ก ์์ธกํ ๋ ์ด๋ธ์ ํ๋ จ์ธํธ์ ์ถ๊ฐํ๋ค.
- ํ์ฅํ ํ๋ จ์ธํธ๋ก ์ ๊ท ๋ชจ๋ธ์ ํ๋ จํ๋ค.(๋ฐ๋ณต)
- ์ ์ฌํ ํน์ฑ์ด ์๋ ๋ฐ์ดํฐ ์ํ๋ผ๋ฆฌ๋ ๋ ์ด๋ธ์ด ๋์ผํ๋ค๊ณ ๊ฐ์
- KNN์ด๋ ํด๋ฌ์คํฐ๋ง ๋ฐฉ๋ฒ์ ์ฌ์ฉํ์ฌ ๋์ผํ ํด๋ฌ์คํฐ์ ์ํ๋ ์ํ์ ์ฐพ์๋ธ๋ค.
- ์๊ฐํ๋ จ(semi-supervised learning)
- ํน์ ์์ ์ ์ํด ๊ฐ๋ฐ๋ ๋ชจ๋ธ์ ์์์ ์ผ๋ก ์ผ์, ํ์ ์์ ์ ์ฌ์ฌ์ฉํ๋ ์ผ๋ จ์ ๋ฐฉ๋ฒ๋ก
- ๊ณผ์
- ๊ธฐ๋ณธ์ ์ธ ์์ ์ ๋์์ผ๋ก ๊ธฐ๋ณธ ๋ชจ๋ธ ํ์ต: ํ๋ จ๋ฐ์ดํฐ ์์ด ๋ง๊ณ ์์ง๋น์ฉ์ด ๋ฎ์ ์์
- ๋ฏธ์ธ์กฐ์ (fine tuning): ํ๋ จ๋ ๋ชจ๋ธ์ ๊ด์ฌ์๋ ๋ค์ด์คํธ๋ฆผ ์์
์ ์ฌ์ฉ.
๊ธฐ๋ณธ ๋ชจ๋ธ์ ํ๋ จ์ ๊ณ์ ์ด์ด๋๊ฐ๋ ๋ฑ ๊ธฐ๋ณธ ๋ชจ๋ธ ์ผ๋ถ๋ฅผ ๋ณ๊ฒฝํ๋ ์ผ
- ๋ฐ์ดํฐ๊ฐ ๋ง์ง ์์ ์์ ์ ์ ํฉ
- ์ฌ์ ํ๋ จํ ๋ชจ๋ธ์ ์ฌ์ฉํ๋ฉด ์ฒ์๋ถํฐ ๋ชจ๋ธ์ ์ง์ ํ๋ จํ๋ ๊ฒ๋ณด๋ค ์ฑ๋ฅ์ด ํฐ ํญ์ผ๋ก ํฅ์๋จ
- ML ๋ชจ๋ธ์ด ํ์ตํ ๋ฐ์ดํฐ ์ํ์ ์ ํํ์ฌ ์ง์ํ๋ฉด, ์ด๋ ธํ ์ดํฐ๊ฐ ๊ทธ๊ฒ์ ๋ ์ด๋ธ์ ์ง์ ํ๋ค.
- ๋ฐ์ดํฐ ์ํ์ ๋ฌด์์๋ก ๊ณจ๋ผ ๋ ์ด๋ธ๋งํ๋ ๊ฒ์ด ์๋, ํน์ ์งํ๋ ํด๋ฆฌ์คํฑ์ ๊ทผ๊ฑฐํด ๋ชจ๋ธ์ ๊ฐ์ฅ ํ์ํ ์ํ์ ์ ํํด ๋ ์ด๋ธ๋งํ๋ค.
- example
- ๋ถํ์ค์ฑ๊ณผ ๊ฐ์ ์์๋ฅผ ์งํ๋ก ์ผ์ผ๋ฉด, ๊ฒฐ์ ๊ฒฝ๊ณ๊ฐ ๋ ์ ํ์ต๋๋ค.
- ๋ค์ํ ํ๋ณด ๋ชจ๋ธ ๊ฐ์ ๋ถ์ผ์น๋ฅผ ๊ธฐ๋ฐ์ผ๋ก, ๋ถ์ผ์น ์ ๋๊ฐ ๊ฐ์ฅ ํฐ ์ํ์ ์ ํํ์ฌ ๋ ์ด๋ธ๋งํ๋ค.
- ๊ทธ๋๋์ธํธ ์ ๋ฐ์ดํธ๊ฐ ๊ฐ์ฅ ํฌ๊ฑฐ๋ ์์ค์ ๊ฐ์ฅ ํฌ๊ฒ ์ค์ด๋ ์ํ์ ์ ํํ์ฌ ๋ ์ด๋ธ๋งํ๋ค.
- ์ฅ์
- ๋ ์ ์ ๋ฐ์ดํฐ๋ก ๋ ๋์ ์ ํ๋๋ฅผ ๋ฌ์ฑํ ์ ์๋ค.
- ๋ฐ์ดํฐ ๋ ์ด๋ธ๋ง ์์ ์ ํจ์จ์ฑ์ ํฅ์ํ๋ค.
- ํ๋ จ ๋ฐ์ดํฐ ๋ด ํด๋์ค๋น ์ํ ๊ฐ์๊ฐ ํฌ๊ฒ ์ฐจ์ด ๋๋ ๋ฌธ์
- ๋ฅ๋ฌ๋์ด ํด๋์ค ๋ถ๊ท ํ์ด ์ฌํ ๊ฒฝ์ฐ์ ์ ์๋ํ์ง ์๋ ์ด์
- ๋๋ฌผ๊ฒ ๋ฐ์ํ๋ ํด๋์ค์ ๋ฐ์ดํฐ ํฌ์ธํธ๊ฐ ํ๋ จ์ ์ ํฌํจ๋์ง ๋ชปํ ์ ์๋ค. ํด๋น ํด๋์ค๊ฐ ์กด์ฌํ์ง ์๋๋ค๊ณ ๊ฐ์ ํ๊ฒ๋๋ค.
- ๋ชจ๋ธ์ด ๋ฐ์ดํฐ์ ๋ด์ฌํ๋ ์ ์ฉํ ํจํด์ ํ์ตํ๋ ๋์ ๋จ์ ํด๋ฆฌ์คํฑ์ ํ์ฉํ๋ ค๋ ๊ฒฝํฅ์ด ๊ฐํด์ ธ, ์ต์ ์ด ์๋ ํด๋ฅผ ๊ณ ์งํ๋ค.
- ๋น๋์นญ์ ์ธ ์ค์ฐจ ๋น์ฉ ๋ฌธ์ ๋ก ์ด์ด์ง๋ค. ๋๋ฌผ๊ฒ ๋ฐ์ํ๋ ํด๋์ค ์ํ์ ์๋ชป ์์ธกํด์ ๋ฐ์ํ๋ ๋น์ฉ์ด ์ผ๋ฐ์ ์ธ ์ํ์ ๋นํด ๋ ํฌ๋ค.
๋๋ค์์ ์์ ์์๋ ๋๋ฌผ๊ฒ ๋ฐ์ํ๋ ์ฌ๊ฑด์ ํ์งํ๋ ์ผ์ด ์ฃผ ๋ชฉ์ ์ด๋ค.(ex. ์ด์๊ฑฐ๋ํ์ง)
- ๋ถ๊ท ํ์ ๋ํ ๋ฏผ๊ฐ๋๊ฐ ๋ฌธ์ ์ ๋ณต์ก๋์ ๋ฐ๋ผ ์ฆ๊ฐํ๋ฉฐ, ๋ณต์ก๋๊ฐ ๋ฎ๊ณ ์ ํ์ผ๋ก ๋ถ๋ฆฌ ๊ฐ๋ฅํ ๋ฌธ์ ๋ ํด๋์ค ๋ถ๊ท ํ ์ ๋์ ์๊ด์์ด ์ํฅ๋ฐ์ง ์๋๋ค.
- ์ ๊ฒฝ๋ง์ด ๋ ํฌ๊ณ ๊ธฐ์ด์ง์๋ก ํด๋์ค ๋ถ๊ท ํ์ ์ผ๋ถ๋ฌ ์์ ํด์๋ ์๋๋ค๋ ์ฃผ์ฅ์ด ์กด์ฌ(์ค ๋ถ๊ท ํ์ ๋ฐ์ํด์ผํ๋ค๋ ์ฃผ์ฅ)
- ์ ํ๋์ ์ค์ฐจ๋น์จ์ ์ฑ๋ฅ์ ๋ณด๊ณ ํ๋ ๋ฐ ์ฌ์ฉํ๋ ์ฃผ๋ ์งํ์ด๋, ๋ถ๊ท ํ ํด๋์ค์ ๋ถ์ ์ (๋ชจ๋ ํด๋์ค๋ฅผ ๋์ผํ๊ฒ ์ทจ๊ธํ๋ฏ๋ก)
- ์ ๋ฐ๋, ์ฌํ์จ, F1, ROC ๊ณก์ ์๋ ๋ฉด์ (AUC)์ ๋น๋์นญ ์งํ์ด๋ค. - ์๊ณ๊ฐ์ ์กฐ์ ํ์ฌ ์ง์์ฑ๋ฅ (์ฌํ์จ), ์์์ฑ๋ฅ (์ค๊ฒฝ๋ณด ํ๋ฅ ) ์กฐ์ ์ด ๊ฐ๋ฅํ๋ค. - F1, ์ฌํ์จ, ROC๋ ์์ฑํด๋์ค์๋ง ์ด์ ์ ๋ง์ถ๊ณ , ๋ชจ๋ธ์ด ์์ฑ ํด๋์ค์์ ์ผ๋ง๋ ์ ์๋ํ๋์ง๋ ๊ด์ฌ์๋ค. - ํด๋์ค ๋ถ๊ท ํ์ด ์ฌํ ๋, ์ด๋ค์ด ๋ ์ ์ฉํ ์ ๋ณด๋ฅผ ๋ด๊ณ ์๋ค๊ณ ๋ณผ ์ ์๋ค.
- ํ๋ จ ๋ฐ์ดํฐ์ ๋ถํฌ๋ฅผ ์์ ํด ๋ถ๊ท ํ ์ ๋๋ฅผ ์ค์ฌ์ ๋ชจ๋ธ ํ์ต์ ๋ ์ฉ์ดํ๊ฒ ๋ง๋๋ ๋ฐฉ๋ฒ
- ํ๋ จ ๋ฐ์ดํฐ๋ฅผ ๋ฆฌ์ํ๋งํ๋ค๋ฉด ๋ฆฌ์ํ๋ง๋ ๋ฐ์ดํฐ์์ ๋ชจ๋ธ์ ํ๊ฐํ์ง ์์์ผํจ โ ๋ฆฌ์ํ๋งํ ๋ถํฌ์ ๋ชจ๋ธ์ด ๊ณผ์ ํฉ๋ ์ ์์
- ์ธ๋์ํ๋ง์ ๋ฐ์ดํฐ ์ ๊ฑฐ ๊ณผ์ ์์ ์ค์ํ ๋ฐ์ดํฐ๊ฐ ์์ค๋ ์ํ์ด ์์ผ๋ฉฐ, ์ค๋ฒ์ํ๋ง์ ํ๋ จ ๋ฐ์ดํฐ์ ๊ณผ์ ํฉ๋ ์ํ์ด ์๋ค.
- ์ ์ฐจ์์ ๋ฐ์ดํฐ๋ฅผ ์ค๋ฒ์ํ๋งํ๋ ๋ฐฉ๋ฒ(์ ์ฐจ์ ๋ฐ์ดํฐ์์๋ง ํจ๊ณผ์ )
- ํ ๋ฉ ๋งํฌ
- ์์ ํด๋์ค ํฉ์ฑ์ ํตํ ์ค๋ฒ์ํ๋ง ๊ธฐ๋ฒ(SMOTE)
- ์ธ๋์ํ๋ง - 2๋จ๊ณ ํ์ต - ๋์ ์ํ๋ง
- ํ์ต ๋ฐ์ดํฐ ๋ถํฌ๋ฅผ ๊ทธ๋๋ก ์ ์งํ๋ฉด์ ํด๋์ค ๋ถ๊ท ํ์ ๋ ๊ฐ๊ฑดํ ์๊ณ ๋ฆฌ์ฆ์ผ๋ก ๋ณ๊ฒฝํ๋ ๊ฒ
- ๋น์ฉ ๋ฏผ๊ฐ ํ์ต: ํด๋์ค ๋ง๋ค ์๋ก ๋ค๋ฅธ ๋น์ฉ์ ๊ณ ๋ คํด ๊ฐ ์์ค๊ฐ์ ์์
- ํด๋์ค ๊ท ํ ์์ค: ๋ถ๊ท ํ ๋ฐ์ดํฐ์
์ผ๋ก ํ๋ จํ ๋ชจ๋ธ์ ๋ค์ ํด๋์ค์ ํธํฅ๋๋ค.
์ด๋ฌํ ํธํฅ์ ๋ฐ๋ก์ก๊ธฐ ์ํด ์์ ํด๋์ค๋ฅผ ์๋ชป ์์ธกํ ๋ชจ๋ธ์ ๋ถ์ด์ต์ ์ค๋ค. - ์ด์ ์์ค: ๋ชจ๋ธ์ด ๋ถ๋ฅํ๊ธฐ ์ด๋ ค์ด ์ํ์ ์ง์ค์ ์ผ๋ก ํ์ตํ๋๋ก ์ธ์ผํฐ๋ธ๋ฅผ ์ค๋ค.
- ๋ ์ด๋ธ์ ์ ์งํ์ฑ ์ด๋ฏธ์ง๋ฅผ ๋ฌด์์๋ก ์์ ํ๋ ๋ฐฉ๋ฒ(์ฌ์ค์ ๊ณ์ฐ๋น์ฉ = 0)
- ๋ ์ด๋ธ์ ๋ณด์กดํ์ง๋ง ์ข ์ข ๋ชจ๋ธ์ด ์๋ชป๋ ์์ธก์ ํ๋๋ก ์์ธ๋ค.
- ์ ๋์ ๊ณต๊ฒฉ: ์ก์์ ๋ฃ์ด ์ ๊ฒฝ๋ง์ด ์๋ชป๋ ์์ธก์ ํ๋๋กํ๋ ๊ฒ
- ๋ชจ๋ธ์ด ํ์ตํ ๊ฒฐ์ ๊ฒฝ๊ณ์์ ์ฝ์ ์ ์ธ์ํ๊ณ ์ฑ๋ฅ์ ๊ฐ์ ํ๋๋ฐ ๋์์ด ๋๋ค.
- ex. ์ด๋ฏธ์ง ํด์๋๊ฐ ๋์ ๊ฒฝ์ฐ
- ์ผ๋ถ ํ๋ จ ๋ฐ์ดํฐ๋ฅผ ํฉ์ฑํ์ฌ ๋ชจ๋ธ ์ฑ๋ฅ์ ๋์ธ๋ค.
- ex. NLP์์ ํ ํ๋ฆฟ์ ์ฌ์ฉํด ๋ฎ์ ๋น์ฉ์ผ๋ก ๋ชจ๋ธ์ ๋ถํธ์คํธ๋ฉํ๋ค.