[경영정보시스템] 2. Regression

Regression

Regression
X와 Y 사이의 relationship을 분석하는 statistical model

X = 하나 이상의 independent/explanatory variables
Y = dependent, target, explanatory variables, 즉 우리가 예측하고 싶은 것

x값의 변화에 따른 Y값을 예측하기 위해, 더 나아가 X와 Y 간의 relationship을 explanation하기 위해!
데이터셋을 학습하여 아직모르는 parameter a, b값을 구해낸다.

예를 들어 Height = a + b(Age) 라고 해보자.

Age가 커질 수록 Height도 어느정도 비례해서 커질 것이다. 실제로 데이터를 사분면 위에 표시해보면 그래프의 기울기가 양수인 형태의 그래프가 그려진다.

즉, X와 Y 사이의 relationship를 일반화하는 pattern을 구하는 것이 regression이다.

그리고 학습을 통해 스스로 relationship function을 찾는 것이 바로 Machine Learning이다.

우리가 하는 것은 Linear regression 이므로 input variable과 output variable 사이의 관계가 linear relationship이라고 가정한다.

Process

1. Hypothesis

우리가 Weight와 Height 사이의 relationship을 찾고자 할 때, 그 둘은 Linear relationship을 가지므로 다음과 같은 basic hypothesis function을 세울 수 있다.
H(x) = Wx + b

1. Learning

최적의 relation function을 찾기 위해 W, b값을 찾아야 한다.
W,b값을 바꿔가며 BEST STRAIGHT LINE(regression function)을 찾는다!

ML 관점에서 보면

• 각 variable X가 outcome Y에 어떻게 영향을 미치는지 보고
• (Prediction) variable과 outcome 사이의 관계보다는 미래의 events를 정확하게 예측하는데 집중한다!

해석하기 쉬워서 대중적으로, 널리 사용되는 기법임!
주로 SPSS, SAS, R Program, Python, Matlab, STATA, Excel 등의 도구를 사용함

Types

• Linear Regression - input variables의 수를 기준으로 나누자
  1. simple linear regression - input variable 하나 (X)
  2. multiple linear regression - input variable 여러개 (X1, X2...)
• Research의 목적을 기준으로 나눠보자
  1. Regression Problem
     • 한 제품이 몇 대나 팔릴까
     • 얼마에 팔릴까
  2. Classification Problem (=Logistic Regression)
     • 고객이 제품을 구매할까 하지 않을까
     • 비가 올까, 오지 않을까

Big Data Analytics

-> Variables과 Records가 매우매우 많을 때!!!! 더 많은 Computations을 해야해서 더욱 powerful한 컴퓨터(CPU, GPU, Memory)가 필요함

얼마나 Big 해야 Big data인가
=> Petabyte

 

하지만 단순히 크기가 큰 것에 대한 개념이 아니라 Phenomenon Descriptive에 대한 개념!!

3Vs : Variety, Velocity, Volume

 

General Procedures

 

cleaning&integration -> [Cleaned data] -> selection&transformation -> [Prepared data] ->data mining -> [Pattern] evaluation  -> [Knowledge]