마르코프 체인(markov chain) - 1

[그림] 마르코프 체인을 설명할때 항상 예제로 거론되는 주식시장 모델

HMM 공부하려 보니 일단 Markov Chain을 공부해야 한다. 

도대체 언제 이걸 다 다 공부하고 적용해 볼 수 있는지 걱정이다.

확률론에서, 마르코프 연쇄(Марков連鎖, 영어: Markov chain)는 메모리를 갖지 않는 이산 시간 확률 과정이다.

마르코프 연쇄는 시간에 따른 계의 상태의 변화를 나타낸다. 매 시간마다 계는 상태를 바꾸거나 같은 상태를 유지한다. 상태의 변화를 전이라 한다. 마르코프 성질은 과거와 현재 상태가 주어졌을 때의 미래 상태의 조건부 확률분포가 과거 상태와는 독립적으로 현재 상태에 의해서만 결정된다는 것을 뜻한다.

출처 https://ko.wikipedia.org/wiki/%EB%A7%88%EB%A5%B4%EC%BD%94%ED%94%84_%EC%97%B0%EC%87%84

뭐 번역이 이상한거 같긴한데 교재에 있는 내용을 봐도 비슷한거 같아서 일단 넘어가기로 한다. 

마르코프는 베르누이 시행을 확장하여 독립적이지 않은 사건에도 적용하려 했고, 여기서 마르코프 체인이 탄생한다. 

아래 예제를 보면 좀더 설명이 쉬울 것 같다.

콩이 든 컵이 두개 있다. 왼쪽 컵에는 검은콩과 흰콩이 1:1비율로 들어있다.

오른쪽 컵에는 검은콩과 흰콩의 비율이 3:7로 들어 있다. 

기존의 베르누이 시행은 한컵에서 콩을 뽑고 다시 넣는 과정을 통해 표본을 추출하는 과정을 독립적으로 시행하고, 

결과적으로 모집단인 컵의 비율대로 콩이 나오는 결과를 얻었다.(참고 : 큰수의 약한법,  weak law of large number)

무수히 많은 시행을 거치면 왼쪽 컵에서는 1:1비율의 결과를 기록할 수 있을 것이고 오른쪽 컵에서는 3:7의 비율을 기록할 수 있을 것이다. 

마르코프는 여기서  한단계 더 나아가서 상태에 따라 다른 시행을 하도록 한다. 

즉, 독립적인 시행이 아닌 앞단계에서의 사건의 결과에 따라 다른 종속적인 시행을 하도록 한다. 

왼쪽 컵에서 흰콩이 나오면 다시 콩을 넣고 왼쪽 컵에서 뽑는다.

왼쪽 컵에서 검은콩이 나오면 다시 콩을 넣고 왼쪽컵에서 뽑는다.

오른쪽컵에서 검은콩이 나오면 다시 콩을 넣고 오른쪽 컵에서 뽑는다.

오른쪽컵에서 흰콩이 나오면 다시 콩을 넣고 왼쪽 컵에서 뽑는다.

아래와 같은 그림처럼 표현 할 수 있을 것이다. 

보통 전이에 대한 확률을 행렬로 표기하곤 하는데 위 그림에 대한 전이확률은 다음과 같다.(천이라는 표현을 쓰곤 하는데 같은 표현이다.)

$$A_{ij} =\begin{bmatrix}0.5 &0.5 \\  0.7&0.3 \end{bmatrix}$$

$$a_{ij} \,:\, i상태에서\, j상태로\, 전이할\, 확률$$

마르코프는 베르누이가 주장한 큰수의 약한법칙이 독립적이지 않은 사건들에도 적용됨을 보이기 위하여 마르코프 체인을 고안하였는데

마르코프 체인은 계속해서 반복하게 되면 일정한 비율을 얻게 된다. 

이를 안정상태라고 한다. 

행렬의 곱셈을 무한히 반복하면 안정상태가 된다는 점을 이용하여 구할 수 있는데, 위의 예제에 대하여 풀어보면 다음과 같은 값을 얻을 수 있다.

흰콩이 나온 비율 : $7\over 12$

검은콩이 나온 비율 : $5 \over 12$