5. 실제 결과와의 비교

지금까지 KBO 리그 포스트시즌 진출 확률을 어떻게 게산 하는지 네 편을 통해 설명드렸습니다. 사실 그 네 편에서 설명드린 과정을 거친 결과를 가지고 몬테 카를로 시뮬레이션을 더 해야 포스트시즌 진출 확률을 계산할 수 있습니다. 하지만 몬테 카를로 시뮬레이션은 관련된 자료과 워낙에 많고 제가 계산하는 부분이 그런 설명에 벗어나지 않기 때문에 굳이 제가 더 설명할 필요는 없다고 생각합니다. 그러니 남은 건 과연 제가 계산한 결과가 얼마나 믿을 수 있는지에 대한 설명일 겁니다.

그렇다면 PS Odds 사이트에서 얼마나 좋은 시뮬레이션을 하는지 확인할 수 있을까요? 먼저 지금까지 시뮬레이션한 결과가 있을 겁니다. 2001 시즌부터 2021 시즌까지 매일매일의 결과들입니다. 또한 실제로 얼마나 많은 팀이 포스트시즌에 진출했는지도 확인할 수 있을 겁니다. 하지만 50% 정도의 팀이라도 일부는 포스트시즌에 진출할 것이고, 일부는 아닐 것이기 때문에 그대로 그래프에 옮기고 커브 피팅을 해 봤자 $r^{2}$ 정도만 구할 수 있을 것이고, 좋은 결과를 낼 수 없을 겁니다. 그렇기에 저는 다른 작업을 할 겁니다. 먼저 포스트시즌 진출 확률의 모든 날짜에 대한 시뮬레이션 결과를 0%~100%까지 101개의 그룹으로 나눕니다. 만약 n이 101보다 작은 정수라면 n번째 그룹은 시뮬레이션 결과가 $n\%<=x<(n+1)\%$ 인 결과들을 모아놓고 평균을 내는 겁니다. 101번째 그룹은 100%인 결과만 모아 놓고요. 그리고 그 결과를 그래프로 그리고 그 결과가 $W_{obs}=W_{sim}$ 선과 얼마나 일치하는지 확인해 보는 겁니다. 이는 팬그래프에서도 사용한 방법이기도 합니다.(How Well Do Our Playoff Odds Work?) 아래 Fig. 1이 그 결과입니다.

Figure 1. 시뮬레이션 된 PS 확률(x축)과 실제 PS 확률에 대한 그래프. 검은 선은 시뮬레이션과 실제 PS 진출 확률이 같은 수준에 대한 선입니다. 각각의 시뮬레이션 결과와 실제 결과를 비교하는 파란 점들은 101개의 시뮬레이션된 PS 진출 확률 그룹으로 실제 결과와 시뮬레이션된 결과가 잘 일치하고 있음을 확인할 수 있습니다.

결과를 보자면, 전반적으로 우리가 원했던 결과를 잘 따라간다는 걸 확인할 수 있습니다. 각 퍼센티지에 해당하는 점들이 $W_{obs}=W_{sim}$ 선을 잘 따라가는 걸 확인할 수 있습니다. 더해서 몇 가지 세부적인 사항을 적자면 다음과 같습니다.

1. 시뮬레이션된 포스트 시즌 진출 확률이 35~65%인 팀들에 대해서, 시뮬레이션 결과가 원래의 포텐셜을 과소평가하는 경향이 있습니다. 시뮬레이션 결과가 35~65%인 팀들의 평균 시뮬레이션 PS 진출 확률은 48.0%인 반면 실제 포스트시즌을 진출 확률은 49.8%로 평균 2% 이내의 차이가 있었습니다.

2. 시뮬레이션 결과가 90% 정도로 굉장히 높아지게 될 때는 50% 부근과는 다르게 시뮬레이션 결과가 과대평가되는 결과가 있습니다. 시뮬레이션 결과가 65%~100% 일 때 시뮬레이션 평균은 91.3%이지만 실제 포스트시즌 진출 확률은 89.6%로 평균 2% 이내의 차이입니다.

위에서 볼 수 있듯이 시뮬레이션에서 약간의 과대/과소평가 경향이 있을 수 있지만 전반적으로 그 결과가 너무 차이가 나서 통계적으로 해석할 수 없을 정도의 결과는 아니며, 이 정도면 시뮬레이션이 실제 결과를 잘 반영하고 있다고 생각해도 될 것 같습니다. 팬그래프 결과와도 큰 차이가 없기도 합니다.

그렇다면 이제 다른 확률들도 알아보고 싶을 겁니다. KBO PS Odds 사이트는 PS 진출 확률뿐만 아니라 KS 직행 확률, PO 직행 확률, SP 직행 확률도 제공하니까요. 하지만 아직 그 결과가 얼마나 맞는지를 확인하긴 일러 보입니다. 일례로, Fig. 2는 PS Odds 사이트에서 제공하는 KS Odds를 Fig. 1과 똑같은 방식으로 그린 그래프입니다. 보시면 알겠지만 우리가 원하는 $W_{obs}=W_{sim}$ 선에서 좀 벗어나는 점들을 보실 수 있을 겁니다. 이는 PS 확률과는 달리 KS 확률은 만족할 만큼 많은 데이터를 얻기 힘들기 때문입니다. 정확히는 KS 진출 확률 10% 부근과 그 이하에 대한 데이터는 많이 얻을 수 있습니다. 왜냐 하면 시즌 시작 전 KS에 직행할 확률은 모든 팀이 공평하게 10% 일 것이니까요. 하지만 그 확률이 차차 올라갈수록 한 시즌에 그 정도를 성취할 팀들은 점점 적어지고 100%에 가까워지면 거의 모든 시즌이 한 팀이 될 겁니다. 그만큼 KS Odds가 높아질수록 얻을 수 있는 데이터가 적어지며, 그렇기에 KS Odds를 Fig. 1과 같이 처리할 수 없습니다. 아쉽지만 그 부분은 이 글에서 다룰 수 없습니다.

Figure 2. 시뮬레이션 된 KS 직행 확률(x축)과 실제 KS 직행 확률에 대한 그래프. 검은 선은 시뮬레이션과 실제 KS 직행 확률이 같은 수준에 대한 선으로, FIg. 1과 같은 그래프를 KS 직행 확률에 대해 그린 그래프입니다. KS 직행 확률이 낮은 경우 실제 결과와 시뮬레이션된 결과가 잘 일치하는 것으로 보이지만, 시뮬레이션된 KS 직행 확률이 높아질수록 실제 결과와의 차이가 커지게 되는 걸 볼 수 있습니다. 이는 PO 직행 확률, SP 직행 확률에서도 동일하게 보이는 현상입니다.

지금까지 다섯 편의 글을 통해 PS Odds 사이트가 어떤 과정을 거쳐서 피타고리안 기대 승률을 구하고 그 기록을 처리하여 어떻게 시뮬레이션하는지 이야기했습니다. 그리고 마지막 편을 통해서 그 방식으로 계산한 시뮬레이션 결과가 실제 포스트시즌 진출 확률을 잘 설명한다는 확인 했습니다. 앞으로는 많은 분들이 팬그래프를 이용하는 것처럼 PS Odds 사이트를 활용할 수 있는 날이 왔으면 좋겠습니다. 마지막으로, 지금까지 다섯 편의 긴 글들을 읽어 주셔서 감사합니다.

KBO PS Odds 바로가기