[혼공머신]4주차_트리 알고리즘

[필수과제]

교차검증은 검증세트를 떼어 내어 평가하는 과정을 여러 번 반복하는 과정을 의미한다.

교차 검증을 통해 얻은 점수들의 평균으로 최종 검증 점수를 얻을 수 있다.

일반적을 5-폴드 교차 검증이나 10-폴드 교차검증을 많이 사용하며, 이를 통해 데이터의 80~90%까지 훈련에 사용할 수 있다. 

 

[선택과제]

랜덤 포레스트(Random Forest)

랜덤 포레스트는 가장 대표적인 앙상블 학습 알고리즘으로, 결정 트리를 훈련하기 위해 부스트랩 샘플을 만들고 전체 특성 중 일부를 랜덤하게 선택하여 결정트리를 만든다.

 

엑스트라 트리(Extra Tree)

엑스트라 트리는 랜덤 포레스트와 매우 비슷하지만 부트스트랩 샘플을 사용하지 않고 노드를 분할할 때 최선이 아니라 랜덤하게 분할한다. 따라서 랜덤 포레스트보다 훈련 속도가 빠르지만 보통 더 많은 트리가 필요하다.

 

그레이디언트 부스팅(Gradient Boosting)

그레이디언트 부스팅은 깊이가 얕은 트리를 연속적으로 추가하여 손실 함수를 최소화한다.

 

히스토그램 기반 부스팅 (Histogram - based Boosting)

히스토그램 기반 부스팅은 훈련 데이터를 256개의 구간으로 변환하여 사용하기 때문에 노드 분할 속도가 매우 빠르다.

 

 

---

너무... 덥다! 하지만 이번주만 버티면 럭키비키 방학,,,🥹 벌써 혼자 책을 절반이나 공부했다는게 완전 멋지잖아,,,!  이제 바쁘지도 않으니 방학동안 푹- 쉬고 다시 남은 절반도 잘 마무리해봐야겠다~!