[ML수업] 4주차 이론: cross validation (교차검증)

1. K-fold cross validation(KFCV)

2. Stractified KFCV

3. Hyperparameter Optimization

 

◼ Hyperparameter Optimization

학습을 수행하기 위해 사전에 설정해야 하는 값인 hyperparameter의 최적값을 탐색하는 문 제. 여기서, 최적값이란 학습이 완료된 러닝 모델의 일반화 성능을 최고 수준으로 발휘하도 록 하는 hyperparameter 값을 의미

◼ Manual Search

◼ Grid Search

탐색의 대상이 되는 특정 구간 내의 후보 hyperparameter 값들을 일정한 간격(grid)을 두고 선정하여, 이들 각각에 대하여 성능 결과를 측정한 후 가장 높은 성능을 발휘했던 hyperparameter 값을 최적값으로 선정하는 방법

◼ Random Search

탐색 대상 구간 내의 후보 hyperparameter 값들을 랜덤 샘플링을 통해 선정. Grid Search에 비해 불필요한 반복 수행 횟수를 대폭 줄이면서 동시에 정해진 간격 사이에 위치한 값들에 대해서도 확률적으로 탐색이 가능하므로, 최적값을 더 빨리 찾을 수 있는 것으로 알려져 있음

◼ Bayesian Optimization

매 회 새로운 hyperparameter 값에 대한 조사를 수행할 때에 "사전 지식"을 충분히 반영 하면서 동시에 전체적인 탐색 과정을 좀 더 체계적으로 수행하는 방법

 

 

4. Shallow Understanding on Bayesian Optimization

: Exploitation(활용:현재까지의 경험 중 최상인 지점)-Exploration(탐색:새 로운 경험이 가장 기대되는 지점) trade-off에 따라, 평균과 분산을 고려하여 다음에 탐색할 지점을 결정함

 

5. Hyperparameter Optimization Workflow