알고리즘 #4 통계적 접근 : 확률과 기댓값 그리고 몬테카를로의 방법

확률(P(A))이란? 

"어떤 사건이 발생할 수 있는 정도"를 수치로 나타낸 것을 의미한다.

확률은 임의적인 추정이기 때문에 항상 같은 결과를 보장하지 않는다. 

확률을 0~100%의 퍼센트를 사용하기도 하지만 0~1 사이의 소수를 사용하여 표현하기도 한다. 

그래서 "20%의 확률"은 "확률 0.2"와 동일한 표현이다 

추가적으로 N가지 패턴이 같은 가능성을 가지고 일어날 때 M가지 패턴의 경우 다음과 같이 표현한다.

P(A) = M/N

기댓값(E[X])이란? 

확률변수 XXX의 장기 평균(분포의 평균).

한 번의 시행 결과가 아니라, 무한히 반복했을 때의 평균값을 뜻한다.

예를 들어 50%의 확률로 4000원을 얻거나 1000원을 얻을 때의 기댓값은

(4000 * 0.5 + 1000 * 0.5)이므로 2500이다.

확률은 통계 추정에 자주 사용된다. 

그런데 시행 횟수가 적은 경우에는

통계 추정에 사용된 케이스가 충분하지 않기 때문에

확률에 의한 기댓값과 실제 시행의 결과가 크게 차이가 나는 경우가 생기게 된다. 

시행 횟수와 추정

• 시행이 적으면 표본 평균이 기댓값과 크게 다를 수 있다(변동성 큼).
• 시행을 늘리면 표본 평균이 기댓값에 수렴한다(대수의 법칙).
• “편차”는 보통 한 관측값과 평균의 차를 말하고, 전체 흩어짐의 크기는 표준편차로 요약한다.

분산(Var(X))과 표준편차 (σ)

평균을 중심으로 표본들의 값이 얼마나 퍼져 있는지를 나타내는 것이다.

분산의 경우 퍼져있는 정도를 제곱하여 시각적으로 더 확실하게 보여주며, 

표준편차의 경우 분산을 다시 제곱근을 구하여 원래의 수치를 되돌려 보여준다.

몬테카를로의 방법

무작위 난수를 사용하여 원하는 값을 근사적으로 계산하기 위한 시뮬레이션 방법이다.

확률이나 테스팅을 진행 할 때 특정 케이스에 대해서만 시뮬레이션하는것이 아니라, 랜덤한 수를 입력 값으로 주어 다양한 결과를 테스트 해보기 위한 기법이라 볼 수 있다.

1. 난수를 발생시켜 다양한 케이스를 실험.
2. 결과를 통계적으로 평균·분석.
3. 시행 횟수가 많아질수록 정확도가 향상됨 (오차 ~ 1/N1/\sqrt{N}1/N​).

활용 예시:

• 원주율 추정
• 적분 근사
• 물리학/금융공학 시뮬레이션
• 머신러닝(특히 베이지안 추론, MCMC)