ML Study_선형회귀

💡 선형회귀 모델 연습

• 설명 : 선형회귀 모델을 구축하여 통계적으로 해석
• 예측 : 새로운 입력 데이터(X) → 미래 반응변수 값(Y) 예측 및 평가
  

회귀모델의 검정 (참고 자료)

• why? 생성된 모델이 선형회귀의 기본 가정을 따르는지 아닌지는 체크해야한다. 가정을 따르지 않는데 데이터를 선형회귀에 끼워맞춘 결과값은 엉망진창쓰. (확률오차란? 확률오차(잔차) = 타겟값 - 예측값)
  • 확률오차의 정규성 확인 (오차는 정규분포를 따른다는 가정)
  • 확률오차의 등분산성 확인 (오차의 모든 분산이 동일하다는 가정)
  • 독립성 (예측값~잔차 독립성, 독립변수~잔차 독립성, 잔차의 자기 상관성)
• 설명
  • 결정계수 (R-squared) : 모형의 성능 평가
  • coef(ghlrnlrPtn)
  • P-value가 0.05(유의수준)이하일 때 변수가 유의미함

kaggle에 처음 노트북 생성해봤다 >MLstudy_W3

💡 책 <혼자 공부하는 머신러닝+딥러닝 책>

• 지도학습의 알고리즘 : 분류와 회귀
• 회귀는 클래스 중 하나로 분류하는 것이 아니라 임의의 어떤 숫자를 예측하는 문제

1. K-최근접 이웃 회귀

---

• 결정계수 : 분류의 경우, 테스트에 샘플을 정확하게 분류한 개수의 비율을 정확도로 측정한다. 회귀에서 정확한 숫자를 맞힌다는 것이 불가능하기 때문에, 결정계수를 활용하여 평가한다.

knr = KNeighborsRegressor()
knr.fit(train_input, train_target)
print(knr.score(test_input, test_target))

• mean_absolute_error : 사이킷런에서 제공하는 평가지표. 타깃과 예측의 절댓값 오차를 평균하여 반환한다. (*예측이 평균적으로 타깃과 얼마나 차이가 나는지)

from sklearn.metrics import mean_absolute_error
test_prediction = knr.predict(test_input)
mae = mean_absolute_error(test_target, test_prediction)
print(mae)

• 과대적합 vs 과소접합 : 훈련 세트와 테스트 세트의 점수를 비교했을 때, 훈련 세트에서 너무 높으면 과대접합, 그 반대거나 모두 점수가 낮으면 과소접합. 과소접합이 발생하는 이유는, 훈련/테스트 세트의 크기가 매우 작기 때문에 일어난다.
  • 과대접합 → 모델을 덜 복잡하게 만들어야, k값 늘리기
  • 과소접합 → 모델을 더 복잡하게 만들어야, k값 줄이기
• k-최근접 이웃 개수 조정 : 훈련 세트보다 테스트 점수가 높으니 과소접합이 발생했을 때는, 모델을 더 복잡하게 만들면 된다. 훈련 세트에 더 잘 맞게 만들면 테스트 세트의 점수는 조금 낮아진다.

knr.n_neighbors=3
knr.fit(train_input, train_tareg)
print(knr.score(train_input, train_target)

2. 선형회귀

---

• k-최근접 이웃 회귀의 한계 : 새로운 샘플이 훈련 세트의 범위를 벗어나면 엉뚱한 값을 예측한다.

import matplotlib.pyplot as plt
distance, indexes = knr.kneighbors([[50]])
plt.scatter(train_input, train_target)
#이웃만 구하기
plt.scatter(train_input[indexes],train_target[indexes], marker='D')
#50cm 농어 데이터
plt.scatter(50, 1033, marker='^')
plt.show() 

길이가 커질수록 농어의 무게는 증가하지만, 50cm농어는 45cm 근방이라 k-최근접 이웃 알고리즘은 샘플 무게를 평균을 제공함

• 머신러닝 모델은 주기적으로 훈련해야 한다. 시간과 환경이 변화하면서 데이터도 바뀌기 때문에 새로운 훈련 데이터로 반복 훈련을 진행해야 한다.
• 사이킷런의 LinearRegression클래스, fit() score() predict()메소드

from sklearn.linear_model import LinearRegression
lr = LinearRegression()
lr.fit(train_input, train_target)
print(lr.predit([[50]]))
>>[1241.83]

print(lr.coef_, lr.intercept_) #계수(가중치)와 y절편
>>[39.17] -709.01

plt.scatter(train_input, train_target)
plt.plot([15,50], [15*lr.coef_ + lr.intercept_, 50*lr.coef_ + lr.intercept_])
plt.scatter(50, 1241.8, marker='^')
plt.show()

• 다항회귀 : 최적의 직선이 아니라 최적의 곡선을 찾자! column_stack()을 활용하여 길이를 제곱한 항을 추가해주어야 합니다.

train_poly = np.column_stack((train_input**2, train_input))
test_poly = np.column_stack((test_input**2, test_input))
lr=LinearRegression()
lr.fit(train_poly, train_target)
print(lr.coef_, lr.intercept_)
>>[  1.01433211 -21.55792498] 116.0502107827827

#구간별 직선 그리기 위한 정수 배열 만들기
point=np.arange(15,50)
#훈련 세트의 산점도
plt.scatter(train_input, train_target)
#2차 방정식 그래프 그리기
plt.plot(point, 1.01*point**2-21.6*point+116.05)
#50cm 농어 데이터
plt.scatter([50], [1574], marker='^')
plt.show()

3. 다중 회귀

---

• 여러개의 특성을 사용한 선형 회귀를 다중회귀라고 합니다.
• 특성 공학(feature engineering) : 기존의 특성을 사용하여 새로운 특성을 뽑아내는 작업 (농어의 무게를 예측하기 위해 농어의 길이x농어의 높이라는 새로운 특성을 만들 수 있음)
• 데이터 준비 : 판다스 → dataframe → numpy 배열로 변환

import pandas as pd
df=pd.read_csv('<https://bit.ly/perch_csv>')
perch_full=df.to_numpy()

import numpy as np
perch_weight = np.array([5.9, 32.0, 40.0, 51.5, 70.0, 100.0, 78.0, 80.0, 85.0, 85.0, 110.0,
       115.0, 125.0, 130.0, 120.0, 120.0, 130.0, 135.0, 110.0, 130.0,
       150.0, 145.0, 150.0, 170.0, 225.0, 145.0, 188.0, 180.0, 197.0,
       218.0, 300.0, 260.0, 265.0, 250.0, 250.0, 300.0, 320.0, 514.0,
       556.0, 840.0, 685.0, 700.0, 700.0, 690.0, 900.0, 650.0, 820.0,
       850.0, 900.0, 1015.0, 820.0, 1100.0, 1000.0, 1100.0, 1000.0,
       1000.0])

#훈련세트와 데이터 세트 나누기
from sklearn.model_selection import train_test_split
train_input, test_input, train_target, test_target = train_test_split(perch_full, perch_weight, random_state=42)

• 사이킷런의 변환기
  • fit() : 새롭게 만들 특성 조합을 찾습니다.
  • transform() : 실제로 데이터를 변환합니다.

from sklearn.preprocessing import  PolynomialFeatures
poly=PolynomialFeatures(include_bias=False)
poly.fit([[2,3]]) 
print(poly.transform([[2,3]]))
>> [[2.3.4.6.9.]] 
#기본적으로 사이킷런은 각 특성의 제곱항, 특성끼리 곱한 항을 추가한다

poly=PolynomialFeatures(include_bias=False)
poly.fit(train_input)
train_poly=poly.transform(train_input)
print(train_poly.shape)
>> (42,9)

• get_feature_names() : 어떤 입력의 조합으로 만들어졌는지 확인 가능합니다.

poly.get_feature_names()
test_poly.poly.transform(test_input)

• 다중 회귀 모델로 훈련하기

from sklearn.linear_model import LinearRegression
lr=LinearRegression()
lr.fit(train_poly, train_target)

• 특성 추가하기 : PolynomialFeatures 클래스의 degree 매개변수를 사용해서 고차항의 최대 차수를 지정할 수 있습니다. → 특성 개수가 너무 크면, 훈련 세트에 너무 과대적합될 수 있습니다.

poly=PolynomialFeatures(degree=5, include_

• 규제(regularization) : 머신러닝 모델이 훈련 세트를 너무 과도하게 학습하지 못하도록 훼방하는 방법입니다.

159쪽부터 공부 시작하시도록 하시오.

• 릿지 회귀
• 라쏘 회귀