[ML수업] 6주차 이론: measuring model performance(모형평가)

1. 모형 평가

 

◼ 모형평가란

- 고려된 서로 다른 모형들 중 어느 것이 가장 우수한 예측력을 보유하고 있는 지, 선택된 모형이 '임의의 모형(random model)' 보다 우수한지 등을 비교 하고 분석하는 과정을 말한다.

- 이 때 다양한 평가지표와 도식을 활용하는데, 머신러닝 애플리케이션의 목적이나 데이터 특성에 따라 적절한 성능지표(performance measure)를 선 택해야 한다.

◼ 모형 선택 시 고려사항

- (일반화 가능성) 같은 모집단 내의 다른 데이터에 적용하는 경우 얼마나 안 정적인 결과를 제공해 주는가?

- (효율성) 얼마나 적은 feature를 사용하여 모형을 구축했는가?

- (정확성) 모형이 실제 문제에 적용될 수 있을 만큼 충분한 성능이 나오는가?

 

2. 주요 평가 지표

 

3. Confusion Matrix

 

 

 

4. 불확실성을 고려하여 예측성능 높이기