[인공지능] 13. Probability and Statistics

1. Review of Probabilities and Statics

  1) Elements of Probability 

    - Random experiment : 시행, Nondeterministic

    - Sample space : 전체집합 요소들. Mutually exclusive(배반사건)이고 exhaustive(합집합 = 전체집합) 이다.

    - Events : 사건, Sample space의 부분집합

    - Probability : 확률. the proportion, or relative frequency (비율, 상대적 빈도수) / degree of belief (기댓값)

  2) Axioms of Probability Theory

    - 확률은 0과 1 사이임

    - Sample space의 모든 확률을 더하면 1

    - P(a v b) = P(a) + P(b) - P(a^b)

 3) Random Variable and Probability Density

    - Random variable 

        * Domain : 정의역

        ① Discrete : 이산적 확률변수

        ② Continuous : 연속적 확률변수

     - Probability density function (pdf) : 확률밀도함수

           P(X=x) = P(x) = lim(dx->0) P(x<X<x+dx)/dx

     - Probability mass function (pmf) : 확률질량함수 

          P(X = 3) = P(3) = 1/6

     - Cumulative probability density function(cdf) : 누적분포함수

         Fx(x) = P(X<=x) = ∫P(u)du

  4) 

    - Prior probability (그냥 확률 하나 그 자체) : P(a)

    - Posterior probability (conditional probability, 조건부 확률) : P(a|b) = P(a^b)/P(b)

    - Joint probability (동시에 일어날 확률) : P(a^b) = P(X = a, Y = b)

    - Product rule = P(a^b) = P(a|b) P(b) 

    - Marginal probability 

         P(X) = ∑ P(X , y) = ∑ P(X | y)P(y)

 

    **************P(X ^ Y) = P( X, Y ) = P(X | Y) P(Y) ******************

 

  5) Chain Rule

    P(x1 , x2, x3, ... , xn) = P(xn | x1, ..., xn-1)P(x1, ..., xn-1) = P(xn| x1, ... , xn-1)P(xn-1 | n1, .., xn-2) P(x1 , ... , xn-2)

  = P(xn | x1, ..., xn-1)P(xn-1|x1, ..., xn-2) ... P(x2|x1)P(x1) 

  = ∏P(xi | x1, ... , xi-1)

 

  6) Independence

  - Independence (독립) : P( a|b ) = P(a), P(a ^ b) = P(a)P(b)

  - Conditional independence

     : P(X, Y) != P(X)P(Y) (X와 Y는 독립이 아님)

       P(X,Y|Z) = P(X|Z)P(Y|Z)  (Z가 끼면 X와 Y가 서로 무관, 즉 독립이 됨)

       P(X|Y) != P(X)

       P(X| Y,Z) = P(X|Z)

     ex) X: 팔이 아픔

          Y: 비가 옴

          Z: 우산을 씀

         Z가 없을 때는 Y(비가옴)->(우산을 씀)->X(팔이 아픔) 으로 X와 Y가 Dependence 했으나

         Z가 주어지면 Y(비가옴)->Z(우산을 씀)  // Z(우산을 씀) -> X(팔이 아픔) 으로 X와 Y가 별개가 됨

 

  7) Expectation

   - Expectation : E(X) = ∑ xi P(X=xi) = μx (확률변수의 값 x 확률 의 총 합)

   - Covariance (공분산) : cov(X, Y) = E((X - μx)(Y - μy)) : X가 변함에 따라 Y가 얼마나 변하는지 expectation 

     * 그냥 분산 = E[(X - μx)^2 ] 

   - Covariance matrix ∑  (공분산 행렬)

      : ∑ij = cov(Xi, Xj) = E( (Xi - μx)(Xj - μj ) )

      공분산 행렬의 ( i, j ) 값은 Xi 와 Xj의 공분산

 

  8) Gaussian Distribution ( 정규 분포)

x 가 scalar 값일 때

    * Multivariate Gaussian distribution : 다변량 정규분포

  * 분산 -> vector (covariance matrix)

 

  9) Central limit Theorem ( 중심 극한 정리)

   : n개의 독립 random variable의 평균은 n이 무한대로 가면 gausian distribution을 따른다. 

 

 

 

2. Probabilistic Inference

: 관측한 evidence가 있을 때, 알고 싶은 query proposition이 true일 posterior probability를 구하는 것

 

* Bayes' rule : 베이즈 규칙

  - P(Y | X) = P(X|Y)P(Y) / P(X)

  - P(Y | X, e) = P(X|Y,e)P(Y|e) / P(X|e)

 

Y : cause, 원인, query proposition, 알고 싶은 것

X : 결과, 증상, evidence

 

왜 ? P(Y|X) = P(X,Y)/P(X)

      P(X|Y) = P(X, Y)/P(Y)

 -> P(X,Y) = P(Y|X)P(X) = P(X|Y)P(Y) 

 -> P(Y| X) = P(X|Y)P(Y) / P(X) 

 

또는 P(X, Y) = P(X | Y)P(Y) 

즉 P(Y | X) = P(X, Y)/ P(X) = P(X|Y)P(Y) / P(X)

 

 

* Naive Bayes model

  P(C, E1, E2, ... , En)

  = P(C) P(E1, E2, ... , En|C)

  = P(C) ∏P(Ei|C) (Ei 끼리는 조건부독립임)

 

  P(C | E1, E2, ... , En)

  = P(E1, E2 , ... , En| C)P(C) / P(E1, E2, .. , En)  <- Bayes rule 

  = αP(C) ∏P(Ei|C)

( α = 1 / P(E1, E2, .. , En) )