인프런 커뮤니티 질문&답변

감사합니다!

안녕하십니까,

회귀 계수 값이 어느정도되야 좋은거고 어느정도되야 나쁜건지의 기준을 뭐라 답해야 할지 좀 애매하군요.

feature개수가 하나가 있다면  값이 큰 feature와 값이 작은 target값은 당연히 예측을 회귀계수 x feature 값 = target 값으로 하므로 일반적으로 회귀 계수가 작습니다.

feature가 여러개 일때는 좀 복잡합니다.

회귀 계수값의 좋고 나쁨은 예측 정확성과 예측의 변동성을 기반하여 주로 판단합니다. 때문에 회귀값의 크기가 얼마냐는 이 기준에 정확하게 부합하지는 않습니다. 다만 일반적으로 비 상식적으로 회귀 계수값이 크다면 (십만/백만 단위) 예측의 변동성이 커서 오버피팅이 발생할 수 있습니다.(물론 feature값의 크기들이 작고, target 값의 크기가 크다면 회귀 계수값이 십만/백만 단위가 될 수 있지만 이런 경우는 매우 드물 것입니다.) 

 선형 회귀의 경우는 일반적으로 feature들을 특정값 범위로 scaling을 합니다. 이렇게 scaling 된 값과 target 값을 감안하여 어느 정도 선에서 회귀 계수가 결정되는지 감(?)을 잡을 수 있습니다.

요약하자면 회귀 계수 값 크기 범위만으로 좋은 모델 여부를 판단하기에는 무리가 있습니다. feature값이 작고 target 값이 크면 회귀 계수값이 클 수 밖에 없습니다.  때문에 feature값과 target 값에 따라서 적정한 회귀 계수값이 달라질 수 밖에 없습니다. 하지만 어떤 경우는 feature데이터 세트를 target 값에 무리하게 예측을 맞추기 위해서 개별 회귀 계수값들이 매우 크게 차이가 나는 경우들이 있습니다. 이런 경우는 오버 피팅이 의심되므로 Regularization이나 feature engineering을 보다 적절히 수행하여 회귀 계수값을 조정할 필요가 있습니다.

감사합니다.