[2025/01/23]내일배움캠프 QA/QC 1기 - 26일차

코드카타(https://essay2892.tistory.com/82)

 

머신러닝 심화 강의 완강

 

통계학 라이브세션 6회 + 머신러닝 오프닝 2회

선형회귀
다중선형회귀

경사하강법
 - 현재 상태에서 조금씩 내려가는 방법
 - 오차가 가장 적게 나오는 가중치를 찾아 업데이트 진행
 - 가장 큰 변화가 일어나는 방향을 따라 더 낮은 지점을 찾음
 - 학습률 : 한번에 얼마나 큰 걸음을 내딛을지 결정
 - 경사 : 가장 가파른 내리막 방향을 계산
 - Local minima 문제에 빠지지 않고 Global minimum 찾아가야함
 - linear_model.SGDRegressor # 확률적 경사하강법 회귀 모델

하이퍼 파라미터 : 모델에 직접적인 영향을 주는 값. 사람이 직접 수치를 조정해야 함.

SGDRRegressor(max_iter = , tol= ) 
# max_iter : 최대 반복 횟수
# tol : 수렴 조건

릿지회귀, 라쏘회귀 현업에서는 사용하지 않음

릿지 회귀(L2 정규화)
 - 선형 회귀에 L2 정규화를 추가
 - 가중치가 너무 커지지 않도록 벌점(penalty)을 추가
 - 가중치값들의 제곱합을 최소화하여 과적합 방지
 - 가중치의 제곱의 합이 특정값(R) 이하가 되도록 규제
 - 람다(알파)(벌점의 강도)가 작을수록 모델이 복잡
 - 과적합 방지, 모델 복잡도 감소
 - 모델 안정성 높임, 

라쏘 회귀(L1 정규화)

단순 선형회귀에 대해서 r2값, mse값이 안좋게 나온다면 다른 변수도 전부 돌려보자. 실제로도 Y값을 찾을때 하나의 변수만으로는 예측이 어려우므로 전체 데이터를 다 쓰거나 r2값, mse값, 상관계수가 높은 데이터만 뽑아서 다중선형회귀 진행해보자. 결과가 꽤 높게 나올 것임.