[중급 24] 베이즈 정리와 추론 - 나주사씨의 친구들은 주사위를 어떻게 추정했을까? (고정된 수익률 분포를 완벽하게 아는 경우)

지난 글에서 나주사씨가 가진 멋진 주사위가 몇 면 주사위인지 친구들이 추측하는 문제를 살펴보았습니다. 나주사씨의 친구들은 주사위가 만든 숫자를 고려하여 가장 확률이 높은 주사위가 무엇인지 예상해 보았습니다. 이러한 문제를 통계학에서는 모집단 또는 모델 추정이라 합니다. 지난 글: [중급 23] 숨겨진 주사위는 몇 면일까? (모집단의 추정)

주사위 문제는 가장 단순한 모델 추정 문제입니다. 가능한 모델이 몇 가지 없고, 각각의 주사위를 가정했을 때 관찰된 현상(evidence)이 발생할 확률을 쉽게 추정할 수 있습니다. 공정한 주사위이고, 개별 사건(event)이 발생할 확률은 독립(independent)이기 때문입니다.

친구들이 관찰을 통해 얻은 현상으로 어떤 주사위인지 추정했던 방식을 통계학에서는 베이즈 추론(Bayesian inference)이라 부릅니다. 베이즈 정리(Bayes' theorem)를 만든 영국의 목사이자 통계학자인 토머스 베이즈(Thomas Bayes)의 이름이 통계학의 한 분야에 붙여진 것입니다.

베이즈 정리에 대해 살펴보고, 이를 이용하여 친구들이 어떠한 논리로 주사위를 추정했는지 살펴봅니다.

주의: 이 글은 특정 상품 또는 특정 전략에 대한 추천의 의도가 없습니다. 이 글에서 제시하는 수치는 과거에 그랬다는 기록이지, 앞으로도 그럴 거라는 예상이 아닙니다. 분석 대상, 기간, 방법에 따라 전혀 다른 결과가 나올 수 있습니다. 데이터 수집, 가공, 해석 단계에서 의도하지 않은 오류가 있을 수 있습니다. 일부 설명은 편의상 현재형으로 기술하지만, 데이터 분석에 대한 설명은 모두 과거형으로 이해해야 합니다.

베이즈 정리(Bayes' theorem)

주사위 숫자는 순서대로 1, 6, 3이 나왔습니다. 관찰한 현상(evidence) E = {1, 6, 3}이라 두겠습니다. 주사위의 경우 개별 사건이 발생할 확률은 서로 아무런 영향을 주지 않는 독립이기에 집합 기호 {}로 표시할 수 있습니다.

주사위가 5면일 거라는 가설을 H₅, 6면일 거라는 가설은 H₆, 7면이라는 가설은 H₇로 표시하겠습니다. H는 hypothesis(가설)의 약자입니다. H₅는 [1 × 20%, 2 × 20%, 3 × 20%, 4 × 20%, 5 × 20%]로 사건(여기서는 주사위 숫자) 발생 확률 분포를 가지는 주사위 모델이 됩니다.

P(H₆ | E)는 현상 E가 주어졌을 때 (관찰되었을 때) H₆일 확률을 의미하는 조건부 확률입니다. 그대로 해석하면 주사위 숫자가 E = {1, 6, 3}일 때, H₆ 즉 6면 주사위일 확률을 의미합니다. 현상을 관찰하여 이를 근거로 추론한다는 말을 확률 형식으로 쓴 수식입니다.

문제는 이 수식으로는 계산을 할 수 없다는 것입니다. 현상을 관찰하여 확률적으로 추론한다는 말을 그대로 쓴 것뿐이기 때문입니다. 계산 즉 추론을 하기 위해서는 수식을 유도해야 합니다.

코스피가 상승 출발하는 사건을 A라 하고, 전일 미국 S&P 500 지수가 상승 마감한 사건을 B라고 하겠습니다. 짐작하겠지만, 두 사건은 꽤 높은 상관성이 있을 것입니다.

P(A | B)는 전일 S&P 500 지수가 상승 마감했을 때 (B), 당일 코스피가 상승 출발하는 (A) 조건부 확률입니다. 만일 충분한 데이터를 가지고 있고, 그 데이터의 경향이 미래에도 변하지 않는다면, P(A | B)를 충분히 정확한 수준으로 추정할 수 있습니다. 참고: 물론 이 가정은 현실적이지 않을 수 있습니다.

P(A | B)는 다음과 같이 풀어쓸 수 있습니다.

(1)  P(A | B) = P(A ∩ B) / P(B)

이 수식은 P(A | B)를 그 의미대로 풀어쓴 것입니다. 사건 B가 발생했을 때, 사건 A도 함께 발생했던 확률이 P(A | B)이기 때문입니다.

A와 B 위치를 바꾸면 다른 수식을 하나 더 만들 수 있습니다.

(2)  P(B | A) = P(B ∩ A) / P(A)

여기에서 사건의 시간상 선후나 인과 관계는 확률에 변화를 만들지 않습니다. 헷갈리면, 같은 시각에 개장하는 코스피와 니케이 증시를 A와 B로 두면 됩니다. 인과 관계는 해석의 영역에 가깝습니다. 참고: 우산이 많이 보이면 비가 올까? (상관관계와 인과관계, 그리고 화물 신앙)

(1)의 양변에 P(B)를 곱하고 자리를 수식 (3)이 됩니다.

(3)  P(A ∩ B) = P(A | B) × P(B)

마찬가지로 (2)의 양변에 P(A)를 곱하고 자리를 바꾸면 수식 (4)가 됩니다.

(4)  P(B ∩ A) = P(B | A) × P(A)

수식 (3)과 (4)의 좌변은 동일합니다. P(A ∩ B) = P(B ∩ A)이기 때문입니다. 공통인 P(A ∩ B)를 이용하면, 다음과 같은 수식으로 바꿔 쓸 수 있습니다.

(5)  P(A | B)  × P(B) = P(B | A) × P(A)

(6)  P(A | B) = P(B | A) × P(A) / P(B)

이 수식의 전개 과정이 베이즈 정리입니다. 수식의 전개 자체는 간단합니다.

베이즈 정리를 이용한 주사위 추측

A 자리에 H₆를 B 자리에 E를 넣으면, 다음과 같은 수식이 됩니다.

(7)  P(H₆ | E) = P(E | H₆) × P(H₆) / P(E)

그게 그것처럼 보이지만 해석해 보면 오묘합니다. 주사위를 굴려 E가 관찰되었을 때 주사위가  H₆일 확률 P(H₆ | E)는 친구들이 구하고 싶은 값입니다. 이 값은 직접 계산할 수 없지만, 주사위가 H₆라면, 주사위 값 E가 나올 확률 P(E | H₆)은 계산할 수 있습니다. 6면 주사위이니 1, 6, 3이 나올 확률은 1 / 6 × 1 / 6 × 1 / 6 = 1 / 216입니다.

세 가지 항 중에서 P(E | H₆)는 구했습니다. 두 번째 항인  P(H₆)는 사전 확률(prior probability)이라고 하는데, 아무런 정보가 주어지지 않았을 때, 5면, 6면, 7면 주사위 중에서 6면 주사위일 확률입니다. 무난하게 각각 동일한 1 / 3이라 두면 P(H₆) = 1 / 3이 됩니다. 만일 사건 A에 관한 것이라면, (코스피가 상승 출발했던 거래일수) / (코스피 거래일수)가 사전 확률 P(A)가 됩니다. 

남은 마지막 항 P(E)는 바로 구할 수 없습니다. 하지만, 친구들은 주사위가 5면, 6면, 7면 주사위 중에 하나인 것을 이미 알고 있습니다. 따라서 5면 주사위일 확률, 6면 주사위일 확률, 7면 주사위일 확률을 모두 합하면 1 = 100%이 됩니다.

어떤 사건 즉 어떤 주사위 숫자가 나왔더라도, 5면, 6면, 7면 주사위일 확률의 합은 항상 1입니다. 따라서 E가 관찰되었을 때 각각의 주사위일 확률 P(H₅ | E) + P(H₆ | E) + P(H₇ | E) = 1이 됩니다. E는 이미 일어난 사건이고, 주사위는 5면, 6면, 7면 중에 하나여야 하기에, E의 확률은 고려할 필요가 없습니다.

이제 각각의 주사위일 확률을 구할 수 있습니다. P(H₆ | E) = P(E | H₆) × P(H₆) / α입니다. α = P(E | H₅) × P(H₅) + P(E | H₆) × P(H₆) + P(E | H₇) × P(H₇)로 확률의 합을 1로 정규화해 수치입니다. P(E)와 동일한 값입니다.

계산을 해 보겠습니다. P(E | H₅) = 1 / 5 × 0 / 5 × 1 / 5 × 1 / 3 = 0입니다. 앞의 세 숫자는 5면 주사위일 때 {1, 6, 3}이 나올 확률이고, 마지막 1 / 3은 아무런 정보가 주어지지 않았을 때 5면 주사위일 확률입니다. 동일한 방식으로 P(E | H₆) = 1 / 6 × 1 / 6 × 1 / 6 × 1 / 3 = 1 / 648이며, P(E | H₇) = 1 / 7 × 1 / 7 × 1 / 7 × 1 / 3 = 1 / 1009입니다.

세 값의 합은 1이 되어야 하므로 α = 0 + 1 / 648 + 1 / 1009 ≒ 0.00253 = 0.253% = P(E)입니다. α를 이용하여  P(H₅ | E), P(H₆ | E), P(H₇ | E)을 계산하면 각각, 0%, 약 61%, 약 39%가 나옵니다. 5면 주사위일 가능성은 없고, 약 60%의 확률로 6면, 약 40%의 확률로 7면 주사위인 것입니다. 참고: 간단하게는 [0, 1 / 648, 1/ 1009]를 정규화하연 [0, 61%, 39%]로 계산합니다.

베이즈 정리의 신통방통한 점은 어떻게 계산해야 할지 막막했던 P(H₆ | E)를 계산할 수 있게 바꾸어 준다는 점입니다.

정리하며

확률을 이용하여 모델을 추정하는 베이즈 추론의 기본이 되는 베이즈 정리에 대해 살펴보았습니다. 재미는 있어 보이지만, 주사위 추측 이외에 어디에 쓸모가 있는지 아리송할 수 있습니다. 베이즈 추론은 정말 쓸모가 많은 도구입니다. 스팸(spam) 필터링부터 상품 추천에 이르기까지 다양한 용도로 활용 가능합니다.

베이즈 추론에 대한 가장 쉽고 재미 읽게 읽을 수 있는 책으로는 코지마 히로유키의 《세상에서 가장 쉬운 베이즈 통계학 입문》을 추천드립니다.

투자는 어떻까요? 각각의 자산마다 어떤 수익률 모델이 있고, 주사위를 굴리면 숫자가 나오듯, 수익률이 매일, 매달, 또는 매년 하나씩 나온다고 상상해도 될까요?

잡담: 어쩌다 보니 베이즈 추론으로 이야기가 흘렀습니다. 주사위 추측 이야기를 꺼낼 때는 앞으로 이어질 투자 성과 비교와 연결할 수 있을 거라 생각해서 시작했는데, 글을 쓰면서 곰곰이 생각해 보니 방향이 약간 엇나간 듯합니다.

참고 도서:

• 왜 위험한 주식에 투자하라는 걸까 - 장기 투자와 분산 투자에 대한 통계학적 시각
• 파이썬으로 그려보는 투자 포트폴리오 분석 - 정량적 투자 분석을 위한 입문서

이어지는 글: [중급 25] 투자할 자산의 선택과 최적화 (수익률 분포를 완벽하게 알더라도 발생하는 불확실성과 주관성)

목차: [연재글 목차] 투자 성과 분석 (기초편, 초급편, 중급편): 순서대로 차근차근 읽으면 좀 더 이해가 쉽습니다.

함께 읽으면 좋은 글 (최신 글)

1. [중급 22] 투자 정보의 가치는 얼마일까? (누군가 내일의 주가 수익률을 알려준다면 초모험씨는 얼마나 지불할 수 있을까?)
2. [중급 21] 섀넌의 도깨비(Shannon's Demon) - 현실에서는 왜 찾기 어려울까?
3. 파이썬으로 그려보는 투자 포트폴리오 분석 (정량적 투자 분석을 위한 입문서) 출간에 부쳐 (샘플북 포함)
4. [중급 20] 켈리 공식(켈리 방정식) (가장 단순한 분산 투자 모델)
5. 은퇴 후 현금 흐름 마련을 위한 커버드콜 투자를 말리는 이유

함께 읽으면 좋은 글 (인기 글)

1. 구글 제미나이(Gemini)를 이용한 그림 생성하기 (vs. 마이크로소프트 이미지 크리에이터의 이미지 생성 AI)
2. 챗GPT(ChatGPT)로 사진을 지브리 만화 스타일로 변환하기
3. 커버드콜과 노벨상 (커버드콜에 투자하면 안 되는 간단하고 명확한 이유 + 노벨상을 받는 손쉬운 방법)
4. 외화 RP는 위험한가? (증권사가 RP를 운용하는 방법)
5. 해외 ETF는 세금이 어떻게 부과될까? (배당소득세와 양도소득세)