데이터 한 그릇

개요 하이퍼 파라미터 개요 LightGBM의 가장 큰 장점은 XGBoost보다 학습에 걸리는 시간이 훨씬 적다는 점이다. 또한 메모리 사용량도 상대적으로 적다. 하지만 예측 성능에는 큰 차이가 없다. LightGBM의 한 가지 단점으로는 과적합의 위험이 있을 수 있다. LightGBM은 일반 GBM 계열의 트리 분할 방법과 다르게 리프 중심 트리 분할을 택하고 있다. 본래 트리는 트리를 뻗어나갈 때 균형 트리 분할 방식을 사용한다. 최대한 균형 잡힌 트리를 지향하기 때문에 과적합을 방지할 수 있다. 하지만 반대로 균형 잡힌 트리를 만드느라 소요되는 시간이 길다는 단점이 있다. LightGBM은 균형을 잡는데 시간을 많이 소요하지 않고 최대 손실 값을 가지는 리프 노드를 지속적으로 분할하면서 트리의 깊이가..

XGBoost 개요 사이킷런 래퍼 XGBoost 하이퍼 파라미터 XGBoost 개요 xgboost는 트리 기반의 앙상블 학습에서 가장 각광받고 있는 알고리즘 중 하나이다. GBM 대비 빠른 수행 시간을 보이고 있으며 그에 뒤지지 않는 뛰어난 예측 성능을 가지고 있다. xgboost의 핵심 라이브러리는 C/C++ 로 작성돼 있다. XGBoost 개발팀은 파이썬에서도 연동이 되게끔 파이썬 패키지를 제공하고 있다. 파이썬 패키지 안에는 xgboost 전용의 파이썬 패키지와 싸이킷런과 호환되는 래퍼용 xgboost가 존재한다.(파이썬 패키지 내에 1. xgboost 전용, 2. 사이킷런과 호환되는 패키지) 여기서 다룰 것은 사이킷런과 호환되는 xgboost를 살펴보려고 한다. 사이킷런과 호환되는 xgboost같..