Regression의 종류에 대해서

   조회 4390   추천 0    

https://www.analyticsvidhya.com/blog/2015/08/comprehensive-guide-regr… (179)

돌아다니다가 Regression의 종류에 대해서

간략하게 설명 해 놓은 좋은 것이 있어서 가져와 봤습니다.

https://www.analyticsvidhya.com/blog/2015/08/comprehensive-guide-regression/


여기에 나와 있는 것만

Regression의 종류가 7개 입니다.

  • Linear Regression
  • Logistic Regression
  • Polynomial Regression
  • Stepwise Regression
  • Ridge Regression
  • Lasso Regression
  • ElasticNet Regression


학습해서 만들어 내고자 하는 함수의 모양에 따라서

사용해야 하는 함수가 달라집니다.

저는 위에 3개는 사용해 봤는데 아래 4개는 사용해 보지 못했네요

서용환 2017-05
릿지나 라소는 회귀식에 패널티를 추가해서 좀더 강건한 모형을 만드는 방법입니다. 본질적으로 동일한 척학을 공유하죠.
스텝와이즈는 변수 선택에 대한 방법이기 때문에 다른 회귀분석 들과 같은 수준이라고 할 수 없겠네요
     
Linear 와 Polynomial 에도 릿지와 라소를 적용 할 수 있다고 보면 될까요?
          
서용환 2017-05
네. 로지스틱에도 릿지, 라소 적용 가능합니다.
               
감사합니다
NeOpLe 2017-05
개인적으로는 linear regression 말고는 사용해 본적이 없네요.
하셀호프 2017-05
이공계 공부했던 사람들에게는 regression은 data fitting 정도라는 생각이 드는데
혹시 잘못생각한 것이라면 지적 부탁합니다.
     
맞습니다
목표 함수를 찾는 것 이지요
묵묵 2017-06
크게 Linear와 Logistic으로 보시면 되고 Logistic에 독립변수 타입에 따라
binomial과 Polynomial이 있다.. 정도로 이해하시면 될 듯 하고요.

 전통적인 variable selection 방법에 Forward, Backward, Stepwise가 있는거고
Ridge나 Lasso도 처음 만들어졌을 때에는 variable selection의 관점에서 사용되었다 보니 같이 비교를 한 모양입니다.

 Ridge, Lasso는 손실함수나 Likelihood 함수에 Penalty를 추가해서
추정 과정에서 값이 말도 안되는 쪽으로 널뛰지 못하게 막아주는 방법이다.. 라고 이해하시면 됩니다.
Elastic net은 Ridge와 Lasso를 적당히 섞어주는 방법이고요. 둘의 혼합 비율에 해당하는 alpha모수가 추가됩니다.

 수리적으로 penalized estimation은 추정값의 절대값 또는 제곱한 값에 lambda모수를 곱해서 그냥 더한것 뿐입니다.
그러니까 손실함수나 Likelihood 함수를 쓰는 모든 통계적 모형에 다 사용할 수 있죠.
사실 별거 아닌 아이디어인데 통계학 분야에서 내놓은 Lasso가
백혈병 자료에서 SVM을 이겨버리는 바람에 살짝 유명해 졌습니다.
(정확히는 Lasso가 동점을 기록했고 E-net이 오차 0으로 이겼죠.)

Penalty의 종류에 따라서 Bridge, SCAD, MCP, C Lasso, S ridge, M bridge... 등등이 더 있습니다.. 만.
이제 막 도입되다 보니 아직은 춘추전국시대를 겪고 있지 않나 합니다.
이것저것 해 보다가 뭔가 최후의 승자가 나오겠죠.

 ...요즘 논문 주제가 이쪽이라..
지나가다 주절주절 남기고 갑니다.
성기사 2017-06
논문 쓰느라 고등학교 이후에 20년만에 확률, 통계...를...
근데 툴들이 좋아서 개념만 잘 알면 SPSS 같은 툴에서 금방 결과를 주더군요.
해석이 문제...




제목Page 2/4
10-15   774   회원K
2014-04   2321628   회원K
2017-12   4407   sephiroce
2017-12   3636   백만스물하나
2017-11   4889   Kams6052
2017-10   4594   까치98
2017-09   6537   날개
2017-07   6754   백만스물하나
2017-06   6725   백만스물하나
2017-06   6996   백만스물하나
2017-06   5474   노형석
2017-05   5710   김황중
2017-05   4391   백만스물하나
2017-05   3727   띠껑
2017-05   4127   승후니도쿄
2017-05   7027   승후니도쿄
2017-05   5102   blueMango
2017-04   4982   하셀호프
2017-04   4176   베리파잉
2017-04   4381   하셀호프
2017-04   4611   임은천
2017-04   3631   임은천