투자 성과 분석의 핵심 주제의 하나인 투자 전략 비교와 신뢰성 평가에 대해 조금 자세히 이야기해 보겠습니다. 어떤 투자자가 지난 20년간의 데이터로 백테스트(backtest) 하여 시장 수익률 대비 연 5% 복리 수익률이 높은 자산, 포트폴리오, 또는 전략을 발견했습니다. 미래에도 그 정도 차이가 이어질 거라 얼마나 신뢰할 수 있을까요?
이와 관련해서 근본적으로는 신뢰하기 어렵다는 뉘앙스의 글을 몇 편 연재했습니다.
- [중급 30] 두 자산의 미래 수익률이 같다는 것을 알 수 있을까? (정말 다른지 판별할 수 있을까?)
- [중급 31] 장기 경향이 비슷하면서 수익률 차이가 난다면 다르다고 판단할 수 있을까? (정말 동일하다고 판별할 수 있을까?)
- [중급 32] 놀랍다고 말할 수 있는 정도는 어떻게 계산할 수 있을까? (그리고 정말 신기한걸까?)
- [중급 33] 투자 성과는 왜 예측하기 어려울까? (중심 극한 정리가 성립하지 않는 투자 수익률)
그 이유는 투자 수익률에 대해 중심 극한 정리(central limit theorem; CLT)가 성립한다고 보기 어렵기 때문입니다. 수익률 모집단이 고정된 확률 분포를 따른다고 가정할 수 없으며, 과거 데이터 역시 그러한 모집단에서 임의로(독립으로) 추출된 표본이라 보기 어렵습니다. 여기에 투자자가 평가하고자 하는 투자 전략도 임의로 만든 것이 아닐 가능성이 높습니다.
투자 성과를 통계적으로 비교하고 그 차이를 분석하는 방법을 살펴보기 전에 이에 대해 먼저 살펴봅니다.
주의: 이 글은 특정 상품 또는 특정 전략에 대한 추천의 의도가 없습니다. 이 글에서 제시하는 수치는 과거에 그랬다는 기록이지, 앞으로도 그럴 거라는 예상이 아닙니다. 분석 대상, 기간, 방법에 따라 전혀 다른 결과가 나올 수 있습니다. 데이터 수집, 가공, 해석 단계에서 의도하지 않은 오류가 있을 수 있습니다. 일부 설명은 편의상 현재형으로 기술하지만, 데이터 분석에 대한 설명은 모두 과거형으로 이해해야 합니다.
검정 결과의 의미는 무엇일까?
모집단의 확률 분포가 고정되어 있고, 각각의 샘플은 모집단에서 임의 추출된다는 가정을 투자 전략을 포함한 통계적 분석에서 전제하는 경우가 많습니다. 이러한 가정은 현실에서 근사적으로 유효한 경우가 많고, 수학적으로 분석이 가능해지고 계산도 간단해지기에 널리 사용됩니다.
투자에서는 흔히 대응 표본 t-검정(paired t-test)과 같은 검정 방법을 통해 두 전략(자산 또는 포트폴리오로도 볼 수 있습니다) 간에 통계적으로 유의미한 차이가 있었는지 평가합니다. 이는 과거 데이터에 대해 중심 극한 정리가 근사적으로 성립했다는 가정하에, 그 차이가 유의미한지 과거 데이터로 평가하는 것입니다.
통계적으로 유의미한 차이가 있었던 것으로 분석되었다고 해서, 미래에도 동일한 현상이 발생한다는 보장은 없습니다. 미래에도 같은 경향이 유지되기 위해서는 과거와 동일한 수준으로 중심 극한 정리가 성립해야 합니다. 즉, 미래에도 수익률이 과거와 동일한 고정된 분포에서 독립으로 생성된다는 가정을 충족해야 합니다.
시간 축에서 데이터의 위치가 과거에서 미래로 넘어가는 순간, 과거 데이터에 대한 분석은 미래에 대한 예측으로 문제의 본질이 바뀌게 됩니다. 검정 결과를 미래에 적용하는 것은 과거에 성립했던 어떤 현상이 미래에도 나타날 거라는 가정을 전제하는 것입니다.
현실에서 통계적 검정은 유용하며 많이 활용되고 있습니다. 슈퍼 바이오라는 기업에서 새로운 다이어트 약을 개발했다고 하겠습니다. 몇 단계의 임상 실험을 거쳐야 시판할 수 있습니다. 검정 방법은 다양하지만, 확인하고자 하는 것은 동일하다고 볼 수 있습니다. 새로운 다이어트 약의 효능과 안정성을 과학적으로 검증하는 것입니다.
어떤 통계적 검정 방법을 사용해서 4주 복용 시 5kg의 통계적으로 유의미한 감량 효과가 있음을 발견했다고 하겠습니다. 과거에 대한 분석입니다. 미래에도 그럴 거라 예측할 수 있을까요?
임상 실험을 섬세하게 설계했다면 미래에도 동일한 효과가 나타날 가능성이 높습니다. 체중과 관련한 사람의 생물학적 시스템이 변하지 않을 거라 믿기 때문입니다. 생물학적 시스템이 단기적으로 크게 변하지 않을 거라 예상하기에 검정 결과를 미래 예측에 적용 가능한 것입니다.
투자는 어떻까요? 과거 데이터에 대한 분석은 어렵지 않습니다. 통계 관련 지식이 충분하지 않더라도 각종 툴을 이용하면, 손쉽게 분석 결과를 도출할 수 있습니다.
하지만, 그 결과가 미래에도 재현될 거라 기대하는 것은 다른 차원의 문제입니다. 통계적 검정은 과거 데이터에서 나타난 경향의 유의성을 평가하는 것이지, 그 결과가 미래에도 동일하게 반복될지 여부를 보장하거나 예측하는 것은 아닙니다.
연재에서 여러 번 이야기했지만, 퀀트 투자(quant investment)를 종종 ‘데이터만 보고 자동으로 투자하는 방식’으로 알고 있지만, 실제로는 그렇지 않습니다. 과거 데이터를 면밀하게 분석하고, 그 분석 결과가 경제적, 구조적으로 의미 있는지를 판단하여, 미래 적용 가능성을 신중히 고려한 뒤 투자 결정을 내리는 접근이 퀀트 투자입니다.
투자자는 전략을 임의로 생성하는 것일까?
주사위 수집가인 나주사씨는 신기한 주사위를 찾아다닙니다. 주말에 주사위를 전문으로 파는 한 가게에 들렀더니 수천개의 새로운 주사위가 있습니다. 하나씩 꺼내 10번씩 굴려 봅니다. 1,000개의 주사위를 테스트했더니 모두 4 이상 즉, 4, 5, 6만 나온 주사위 하나를 발견했습니다. 이 주사위는 신기한 주사위이기에 나주사씨에게 수집 가치가 있을까요?
나주사씨가 임의로 주사위 하나를 꺼내 10번을 굴려 모두 4 이상의 값이 나올 확률은 (1 / 2)¹⁰ ≒ 0.1%입니다. 공정한 주사위라고 가정했을 때, 10번 굴려 모두 4 이상이 나올 확률과 동일합니다. 참고: 예로 든 주사위 선택 문제에서는 이러한 주사위가 발견될 확률이 t-검정으로 찾은 p-값(p-value)과 동일합니다.
나주사씨가 1,000개의 주사위를 테스트했다면, 확률적으로 평균 1개의 이런 주사위를 발견할 수 있습니다. 그렇다면, 그 주사위는 신기한 주사위일까요? 나주사씨가 단 1개 또는 10개만 테스트해서 이런 주사위를 발견했다면, 신기해 할 수 있겠지만, 1,000개나 테스트했다면 그렇지 않을 것입니다. 충분히 우연일 수 있기 때문입니다. 참고: 통계학에서 다중 검정 문제라고 불립니다.
투자에서도 동일한 현상이 발생합니다. 최적화씨는 퀀트 투자자입니다. 새로운 투자 전략 개발을 위해 투자 전략의 파라미터(parameter)를 이리저리 바꿔봅니다. 포트폴리오에 편입할 종목에 적용하는 최소 ROE(return on equity, 자기자본이익률)도 조정해 보고, 52주 최저가 대비 현재 주가 비율도 변경해 봅니다. 시총도 고려해 보고, 최근 5일 외국인 매수율도 적용해 봅니다.
이런저런 여러 가지 조합으로 1,000개의 전략을 만들어서 테스트했더니, 그중에서 시장 대비 5% CAGR이 높은 투자 전략을 발견했습니다. 이 전략은 통계적으로 유의미한 전략일까요? 이 전략을 표본 t-검정(paired t-test)과 같은 검정 방법으로 평가하면 p-값이 충분히 낮은, 즉 임의로 만들어지기 어려운 신기한 전략으로 판별될 수 있습니다.
하지만, 최적화씨는 이미 1,000개의 전략을 평가했기에, 꽤 신기한 전략을 발견하기란 어렵지 않을 것입니다. 더욱이 최적화씨가 지난 10년간의 증시 변화에 대한 전반적인 경향을 알고 있다면, 이보다 훨씬 적은 수의 시도로도 신기해 보이는 전략을 만들 수 있습니다. 테스트에 사용한 기간 동안 높은 수익률을 보였던 종목들을 가능한 편입 하도록 투자 전략을 세우면 되기 때문입니다.
미래의 수익률은 과거와 동일한 수익률 분포에서 임의로 생성된다는 보장도 없습니다. 그러니 최적화씨가 만든 투자 전략은 대개 통계적 분석의 추정 결과보다 신비하지 않습니다.
정리하며
투자 전략에 대해 통계적 검정을 하면, 비교 대상(주로 시장) 대비 높은 우연성을 나타내는 낮은 p-값을 가진 전략을 얻을 수도 있습니다. 이런 p-값을 가진 전략을 찾게 되면, 해당 전략이 미래에도 유용하다는 의미로 받아들일 수 있지만, 통계적 검정은 과거 데이터 그 자체에 대한 분석일 뿐입니다. 미래에도 동일한 경향이 나타날 수 있다는 합리적인 근거를 추가로 마련해야 적용이 가능합니다.
또한 다양한 시도를 하면 이렇게 높은 우연성을 가진 전략을 발견하는 것이 쉬워지며, 여기에 투자자의 유효한 선별적 전략 생성이 가미되면, 낮은 p-값을 가진 전략이라도 정말 우연인지 판단하기 어려워집니다.
참고 도서:
이어지는 글: [중급 46] 검정은 어떤 원리일까? (대응 표본 t-검정; paired t-test) - 검정은 미래를 예측하는 분석이 아니다
목차: [연재글 목차] 투자 성과 분석 (기초편, 초급편, 중급편): 순서대로 차근차근 읽으면 좀 더 이해가 쉽습니다.
'주식투자' 카테고리의 다른 글
