과적합(overfitting)과 경향(trend) 변화 - 문제 출제 경향이 바뀌어서 성적이 떨어졌어요.

제가 대학 입학시험을 보았을 때쯤, 영어 문제 출제 경향이 바뀌었습니다. 이전에 비해 독해 특히 긴 지문이 주어지는 문제의 비중이 늘어났습니다. 이전까지는 단어와 문법 문제의 비중이 높았기에 수험생들은 단어와 문법 공부에 많은 시간을 할애했습니다. 저는 외우는 것을 싫어하고 단어와 문법에는 흥미가 없었습니다. 상대적으로 재미있는 독해 문제를 많이 풀었습니다.

결과적으로 운이지만, 그 해 영어 시험은 독해 문제 비중이 높았기에 모의고사 때보다 조금 높은 점수를 받았습니다. 아마 단어와 문법 위주로 공부한 수험생들은 시험 문제지를 받고 당황하지 않았을까 싶습니다.

독해 문제를 빠르고 정확하게 푸는 방법은 단어나 문법 문제를 효율적으로 푸는 방법과 다릅니다. 지문을 읽기 전에 문제와 객관식 답을 먼저 살펴보아야 합니다. 긴 지문 하나에 5개 문제가 주어졌다면, 문제를 먼저 읽어야 합니다. 그러면 지문에서 어떤 부분을 중심으로 읽어야 하는지 윤곽을 잡을 수 있습니다.

TOEIC과 같은 영어 능력 시험을 칠 때에도 마찬가지입니다. 듣기 평가 문제가 있다면 문제와 객관식 답을 먼저 보는 것이 좋습니다. 그러면 조금 더 신경 써서 들어야 하는 부분이 눈에 들어옵니다.

독해 문제는 단어와 문법 문제에 비해 암기의 중요성이 낮습니다. 얼마나 많은 단어와 예외적인 문법을 정확하게 알고 있느냐보다는, 얼마나 상식(?)을 많이 알고 있느냐가 중요합니다.

지구가 둥글다고 주장한 여러 과학자의 업적을 요약한 지문이 있다고 하겠습니다. 무슨 이야기인지 이미 알고 있다면, 영어 독해 문제는 국어 독해 문제로 바뀌게 됩니다. 알고 있는 내용이 영어로 제시된 것뿐이기 때문입니다.

영어로 된 글이지만, 평소에 책을 많이 읽어서 무슨 내용인지 짐작할 수 있는 수험생은 영어 독해 문제에 유리해집니다. 단어 몇 개 몰라도, 복잡한 문법을 충분히 알지 못해도 글의 내용을 이해하는데 별다른 문제가 없습니다. 전체 이야기를 알고 있기 때문에, 모르는 단어나 문법은 끼워 맞추면 되기 때문입니다.

영어 문제 출제 경향이 바뀌면, 모의고사 점수와 대입 시험 점수의 차이가 커질 수 있습니다. 어떤 수험생은 모의고사보다 높은 점수를 받게 되고, 또 다른 수험생은 모의고사보다 낮은 점수를 받게 됩니다. 그 근본 원인은 대입 시험의 출제 경향이 모의고사와 달라졌기 때문입니다.

퀀트 투자와 과적합

퀀트 투자에서 과적합(overfitting; 과대적합, 과최적화)은 다양한 요인에 의해 발생할 수 있습니다. 이전 두 편의 글에서 기억 효과에 의한 과적합과 우연에 의한 과적합을 소개하였습니다.

• 과적합(overfitting)은 왜 발생하는 것일까? - 공부를 너무 많이 했더니 성적이 떨어졌어요.
  
• 과적합(overfitting)과 우연 - 시험을 자주 쳤더니 1등도 해 보네요, 철수와 평행우주
  

이 두 가지 과적합 요인은 통계학에서 말하는 표본 추출(sampling)과 관련이 있습니다. 주의: 이 글은 학술적으로 정확한 설명을 하는 것은 아닙니다.

영어 시험 문제를 문제 은행 방식으로 출제한다고 하겠습니다. 총 1만개의 문제가 문제 은행에 있습니다. 이 중에서 임의로 9,900개의 문제를 정답과 함께 공개했습니다. 기출문제가 된 것입니다. 나머지 공개되지 않은 100개의 문제로 시험을 치른다고 하겠습니다. 참고: 상당수 국가 자격증 시험은 문제 은행 방식으로 관리됩니다.

전체 문제 대비 공개 문제의 비중이 높고, 임의로 공개할 문제를 선정했기에, 과적합의 주요 요인은 기억 효과가 됩니다. 극단적으로 9,900개의 문제와 답을 달달 외우면, 모의고사는 만점을 받겠지만, 실제 시험에서는 하나도 맞출 수 없습니다.

공개된 9,900개의 문제 중에서 1,000개의 문제만 공부해서 시험을 치면 어떻게 될까요? 기억 효과에 의한 과적합이 여전히 존재하지만, 우연에 의한 과적합이 발생할 가능성이 이전보다 높아지게 됩니다.

경향의 변화로 인한 과적합

시험 주관 기관에서 문제를 공개한 후 새로운 1만개의 문제를 만들고, 여기에서 100개의 문제를 뽑아 시험을 치면 어떤 상황이 발생할까요? 이전과 동일한 경향으로 문제를 만들었다면, 여전히 기억 효과와 우연이 과적합의 주요 요인이 됩니다.

출제 경향이 바뀌지 않았다면, 총 2만개의 문제 중에서 9,900개를 공개하고, 나머지 10,100개 중에서 100개를 골라 시험을 치는 것과 동일합니다. 공개 비중이 99%에서 49.5%로 줄은 것뿐입니다.

1만개의 새로운 문제를 출제 경향을 바꾸어서 만들었다면 어떻게 될까요? 앞서 제가 치른 영어 시험처럼 독해 문제의 비중이 늘어났다면, 이전 출제 경향을 고려해서 단어와 문법 위주로 공부한 수험생의 성적은 상대적으로 낮아지게 됩니다.

성장주와 가치주

아래는 S&P 500 지수를 추종하는 SPY 대비 성장주 ETF인 VUG와 가치주 ETF인 VTV의 250거래일 상대 자산비입니다. 데이터 출처: 성장주와 가치주의 수익률 대칭성 (VTV와 VUG가 만드는 데칼코마니)

SPY 대비 VUG, VTV의 250거래일 상대 자산비

2020년 이전까지는 성장주와 가치주가 엎치락뒤치락하지만 성과 차이가 크지 않습니다. 2020년부터 성장주의 우위가 2년 정도 지속되다, 가치주의 우위가 1년 반 정도 나타납니다. 이후 1년간 다시 성장주의 우위가 나타납니다.

그래프를 보면 대략 짐작할 수 있겠지만, 최근 몇 년 동안 수익률이 높았던 ETF에 투자했다면, 시장(SPY)보다 성과 높을 거라 예상하기는 어렵습니다. 성장주가 좋아서 투자했더니 가치주가 오르고, 가치주로 바꾸었더니 성장주가 오를 수 있습니다.

성장주 ETF에 투자할지, 가치주 ETF에 투자할지 결정하는 퀀트 투자 전략을 2019년까지의 데이터로 수립한다면, 어디에 투자해도 비슷하다고 나올 수 있습니다. 데이터를 보는 기간에 따라 성장주가 약간 우세하다거나 가치주가 조금 낫다고 나오게 됩니다.

2년을 더 본 2021년까지의 데이터로 분석하면, 성장주에 투자하는 것이 확실히 조금 더 낫다고 나올 가능성이 높습니다. 1년 반을 더 보면, 크게 차이가 나지 않는 것처럼 보일 수 있고, 여기에 1년을 덧붙이면 역시 성장주가 낫다고 나올 가능성이 높습니다.

무엇이 맞는 것일까요? 성장주와 가치주는 장기적으로 수익률 차이가 거의 없는 것일까요? 아니면 성장주의 수익률이 조금 더 높은 것일까요?

20년치 정도의 데이터로 본다면, 합리적인 퀀트 투자 전략을 수립할 수 있을 거라 생각할 수 있습니다. 해당 기간 동안 성장주와 가치주의 상대적인 우위 변동 주기가 짧아서 눈에 띄는 것일 뿐입니다. 앞으로 다시 가치주의 우위가 나타날지, 아니면 성장주의 우위가 지속될지 예상하기는 쉽지 않습니다.

동일가중과 시총가중

S&P 500 지수의 2009년까지 84년간의 데이터로 분석한 결과를 보면, 동일가중으로 투자하는 것이 시총가중으로 투자한 것보다 수익률이 조금 더 높습니다. 참고: 월가의 퀀트 투자 바이블 (제임스 오쇼너시) - 기본 지표와 기본 지표 조합 전략으로 긴 기간에 대한 미국 주식 백테스트 결과를 정리한 책 (서평)

아래는 S&P 500 지수에 대해 동일가중으로 투자하는 RSP와 시총가중으로 투자하는 SPY의 지난 21년간의 투자 성과입니다. 데이터 출처: RSP vs SPY

RSP vs SPY

최근 21년간의 데이터를 보면 동일가중이 시총가중보다 성과가 좋다고 말하기 어렵습니다. 10년전에 동일가중이 더 나을 거라 기대하고 투자했다면, 지금은 시총가중보다 20% 정도 수익률이 낮을 것입니다. 참고: 하단 보조 그래프를 보면 누적 성과의 변화를 살펴볼 수 있습니다.

84년간의 데이터로는 동일가중이 우위에 있고, 최근 21년간의 데이터로는 별 차이가 없다면, 어떻게 평가하는 것이 좋을까요? 오랜 기간 동일가중이 우위에 있었지만, 이제는 그 우위가 사라졌다고 보아야 할까요? 아니면 일시적인 현상으로 보는 것이 합리적일까요?

무엇이 정답인지는 알기 어렵습니다.

정리하며

과적합을 만드는 요인은 여러 가지가 있습니다. 기억 효과와 우연에 의한 과적합은 상대적으로 관리하기 어렵지 않습니다. 세심하게 퀀트 투자 전략을 설계하고 결과에 대한 유의성 검증을 통해 상당 부분 파악하거나 피할 수 있습니다. 참고: 쉽다는 의미는 아닙니다.

경향이 변하여 발생하는 과적합은 다루기 어렵습니다. 경향 자체가 변할 수 있음을 인지하고, 그 변화 패턴을 파악해야 합니다. 문제는 꽤 긴 기간의 데이터로도 경향의 변화를 충분히 파악할 수 없다는 데 있습니다.

20년간 소형주와 대형주가 번갈아가며 10년간 시장 대비 수익률이 높았다고 해서, 앞으로도 같은 패턴이 반복되다는 보장은 없습니다. 어떤 상황에서 경향이 변했는지 파악하기도 어렵습니다. 20년간 단 1회의 변화만 발생한 것이기 때문입니다.

한 때 유용했던 퀀트 투자 전략이 시간이 지남에 따라 효용이 떨어지는 현상은 꽤 자주 발생합니다. 경향이 변했기 때문일 수도 있고, 우연히 그 당시 효과가 좋았던 1회성 이벤트였을 수도 있습니다. 해당 전략이 널려 알려져서 알파가 감소했기 때문일 수도 있습니다.

그러므로, 투자자는 상호 보완이 가능한 퀀트 투자 전략을 여럿 마련하고, 이런 질문을 던질 필요가 있습니다.

이 퀀트 투자 전략은 왜 유용했던 것일까?

함께 읽으면 좋은 글:

• 과적합(overfitting)과 우연 - 시험을 자주 쳤더니 1등도 해 보네요, 철수와 평행우주
• 과적합(overfitting)은 왜 발생하는 것일까? - 공부를 너무 많이 했더니 성적이 떨어졌어요.
• 나는 당신이 주식 공부를 시작했으면 좋겠습니다 (이효석) - 무얼 공부하라는 것인지 알 수 없는 책 (서평)
• 삼성 S&P500 ETN - ETF보다 제가 조금 더 잘하거든요.
• 숫자에 약한 사람들을 위한 통계학 수업 (데이비드 스피겔할터) - 현실에서 통계란 무엇인지 설명하는 책 (서평)
• QQQ5(QQQ 5배 레버리지)는 1년간 얼마나 녹았을까?
• 외화 RP는 위험한가? (증권사가 RP를 운용하는 방법)
• S&P 500 지수 추종 국내 ETF는 무엇이 좋을까? (국내 상장 ETF 9종 비교)  
• 초단기 채권 ETF가 좋을까? RP/발행어음이 좋을까? (파킹용 단기 자금)
• 한국인도 ROC(Return of Capital) 비과세 적용을 받을 수 있습니다. (배당소득재분류에 따른 현지 배당세 환급 및 국내 배당세 징수)