데이터 한 그릇

규제 선형 모델의 개요 릿지 회귀 라쏘 회귀 엘라스틱넷 회귀 선형 회귀 모델을 위한 데이터 변환 규제 선형 모델의 개요 앞서 종속 변수와 독립 변수의 관계가 곡선의 관계를 가지고 있을 때, 일차 방정식의 관계로 파악한다면 과소적합하게 모델을 만든 것이라고 할 수 있고, 더 큰 다항식의 관계로 파악하게 되면 모델이 복잡해지고 변동성이 커져서 오히려 예측력이 떨어진다는 것을 살펴봤다. 지금까지의 선형 회귀 모델 같은 경우에는 RSS, 비용 함수를 줄이는 것에 초점을 맞춰서 식을 만들었다. 하지만 RSS를 최소화 하는 것에만 초점을 두어 모델을 만드는 경우, 학습 데이터를 과적합하게 학습하여 모델이 필요 이상의 다항식으로 나아가게 되고 회귀 계수가 커지면서 과적합하게 되는 문제를 가진다. 따라서 새로운 기준이..

다항 회귀 이해 다항 회귀를 이용한 과소적합 및 과적합 이해 다항 회귀 이해 단순 선형 회귀 같은 경우에는 종속변수와 독립변수와의 관계가 일차방정식의 관계를 가진 회귀 모형이였다. 지금부터 알아볼 다항 회귀 같은 경우에는 종속변수와 독립변수의 관계가 일차방정식 이외의 2차 3차 이상의 관계를 가지는 회귀 모형을 알아볼 예정이다. 이를 다항 회귀라고 부른다. 주의해야할 점은 다항 회귀가 일차방정식의 "선"의 모양이 아니기 때문에 선형 회귀가 아니라고 착각할 수 있다는 점이다. 회귀 모형이 선형인지 선형이 아닌지에 대한 판단은 회귀 모형의 변수, 피처에 따라서 나뉘는 것이 아니라 회귀 모형의 계수에 따라서 나뉜다. 만일 y = ax + (a+1) * x^2 라고 했을 때, 변수가 일차 이상의 이차항을 보이고..