chess.com에서 게임 리뷰를 돌리면 "정확도 87.3%" 같은 퍼센트가 나오고, lichess나 수상한 수 같은 도구에서는 ACPL이라는 숫자가 나옵니다. 둘 다 "얼마나 정확하게 뒀는가"를 재는 지표인데, 같은 게임을 넣어도 서로 다른 이야기를 하는 것처럼 보일 때가 많습니다. 이 글에서는 두 지표가 각각 어떻게 만들어지는지, 왜 수치가 어긋나는지, 그리고 "정확도 95%가 나왔으니 치팅"이라는 흔한 결론이 왜 성립하지 않는지를 정리합니다.
chess.com 정확도의 정체: CAPS2
chess.com의 정확도 %는 CAPS2(Computer Aggregated Precision Score)라는 자체 알고리즘의 산출물입니다. 정확한 공식은 공개되어 있지 않지만, 핵심 아이디어는 알려져 있습니다. 각 수가 센티폰 평가값을 얼마나 깎았는지가 아니라, 승률 기대값(win probability)을 얼마나 깎았는지를 기준으로 수의 품질을 매기고, 이를 게임 전체에 걸쳐 0~100%의 점수로 종합하는 방식입니다.
승률 기반 접근의 장점은 포지션의 맥락이 반영된다는 것입니다. 평가값이 0.00인 균형 포지션에서 -1.00으로 떨어지는 실수는 승률을 크게 깎지만, 이미 +8로 이기고 있는 포지션에서 +7로 떨어지는 수는 승률에 거의 영향이 없습니다. 센티폰 손실로는 둘 다 "100 손실"로 똑같이 기록되지만, CAPS2는 앞의 실수만 크게 벌점을 주는 셈입니다.
게임 리뷰에서 수마다 붙는 "최선", "훌륭한 수", "실수", "블런더" 같은 라벨도 같은 원리로 매겨집니다. 즉 chess.com의 정확도는 하나의 고정된 수학 공식이라기보다, 승률 모델 위에 chess.com이 정한 등급 기준을 얹은 제품에 가까운 지표입니다. 내부 기준은 업데이트 때마다 조금씩 바뀌어 왔고, 과거 게임을 다시 분석하면 예전과 다른 정확도가 나오는 것도 이 때문입니다.
lichess의 정확도 계산
lichess도 컴퓨터 분석 결과에 정확도 %를 표시하는데, 이쪽은 계산 방식과 코드가 완전히 공개되어 있습니다. Stockfish의 센티폰 평가값을 시그모이드 형태의 공식으로 0~100%의 승률로 변환한 뒤, 각 수가 이 승률을 얼마나 떨어뜨렸는지를 다시 지수 함수에 통과시켜 수별 정확도를 매기고, 이를 게임 단위로 종합합니다. 승률 변환의 성질상 평가값 0 근처에서는 작은 센티폰 변화도 승률을 크게 움직이고, ±5를 넘어간 구간에서는 큰 변화도 승률에 거의 반영되지 않습니다. 출발점이 센티폰이라는 점은 ACPL과 같지만, 승률이라는 비선형 척도를 한 번 통과시킨다는 점에서 chess.com과 같은 계열의 지표입니다.
그래서 lichess의 정확도와 chess.com의 정확도는 철학이 비슷할 뿐 숫자가 일치하지는 않습니다. 변환 공식, 사용하는 엔진 버전, 분석 깊이가 모두 다르기 때문입니다.
ACPL과 정확도 %: 각각의 장단점
| 구분 | ACPL | 정확도 % |
|---|---|---|
| 척도 | 센티폰 손실의 산술 평균 (선형) | 승률 변화 기반 점수 (비선형) |
| 극단값 | 블런더 한 번에 평균이 크게 튐 | 이미 결판난 국면의 손실은 완충됨 |
| 해석 | 계산이 투명하고 도구 간 원리가 같음 | 직관적이지만 내부 공식이 제각각 |
| 비교 | 같은 조건이면 게임 간 비교 용이 | 플랫폼이 다르면 직접 비교 불가 |
ACPL은 선형 평균이라서 극단값에 민감합니다. 59수를 완벽하게 두고 마지막에 퀸을 헌납한 게임은 ACPL이 15 안팎으로 치솟지만, 정확도 %로는 여전히 90%대가 나올 수 있습니다. 반대로 정확도 %는 포지션 맥락을 반영해주는 대신, 도구마다 공식이 달라서 "정확도 92%"라는 숫자 자체는 어느 플랫폼에서 나온 것인지 모르면 해석할 수 없습니다. 어느 쪽이 우월하다기보다, 재는 각도가 다른 두 개의 자입니다.
왜 같은 게임인데 수치가 다른가
같은 기보를 chess.com 게임 리뷰, lichess 분석, 수상한 수에 각각 넣으면 서로 다른 숫자가 나옵니다. 버그가 아니라 구조적인 차이입니다.
- 엔진 버전: Stockfish 15와 17은 같은 포지션에 다른 평가값을 내놓습니다. 최선 수 자체가 달라지는 경우도 있습니다.
- 분석 깊이(depth): depth 12의 "최선 수"가 depth 25에서는 3위 수로 밀리기도 합니다. 깊이가 얕을수록 인간의 자연스러운 수가 최선으로 판정되는 경향이 있어, 수치가 후하게 나옵니다.
- 캡과 필터 처리: 평가값 상한(예: ±1000 캡), 오프닝 북 구간 제외, 결판난 국면 제외 같은 전처리 규칙이 도구마다 다릅니다. 어떤 수를 계산에 포함하느냐가 다르면 평균도 달라집니다.
예를 들어 chess.com에서 정확도 88%가 나온 게임을 lichess에 올리면 82%가 나오고, 수상한 수에서는 ACPL 45가 찍히는 식의 상황은 지극히 정상입니다. 세 도구가 서로 다른 엔진, 다른 깊이, 다른 전처리 규칙으로 같은 기보를 각자의 자로 잰 것뿐입니다. 셋 중 어느 하나가 "틀린" 것이 아닙니다.
그래서 서로 다른 도구의 수치를 섞어 비교하는 것은 의미가 없고, 한 도구 안에서 같은 조건으로 잰 값들끼리 비교하는 것이 원칙입니다. 수상한 수가 대상 유저의 여러 게임을 동일한 엔진·동일한 깊이로 분석해 자체 기준선과 대조하는 것도 이 때문입니다.
"정확도 95%면 치팅인가?"
커뮤니티에서 가장 자주 보이는 오해입니다. 결론부터 말하면, 단일 게임의 정확도 95%는 어느 레이팅대에서든 드물지 않게 나옵니다. 20수 만에 상대가 무너진 게임, 아는 오프닝이 15수까지 그대로 나온 게임, 되잡기와 체크 응수 같은 강제수가 이어진 게임에서는 특별히 잘 두지 않아도 정확도가 90%대 중반까지 올라갑니다. 정확도를 끌어내리는 것은 어려운 갈림길에서의 실수인데, 애초에 어려운 갈림길이 몇 번 없었던 게임이라면 깎일 일도 없기 때문입니다.
실제로 1200점대 플레이어의 최근 100판을 뽑아보면 정확도 90% 이상인 판이 몇 판씩은 섞여 있는 것이 보통입니다. 상대 실수 덕에 이긴 짧은 게임들이 그 자리를 채웁니다. 반대로 마스터가 난전 끝에 이긴 명국이 정확도 80%로 찍히기도 합니다. 단일 게임의 정확도는 그만큼 게임의 성격에 좌우되는 숫자입니다.
이것은 엔진 일치율 가이드에서 다룬 논리와 정확히 같습니다. 강제수와 뻔한 수가 많은 게임은 일치율도, 정확도도, ACPL도 모두 좋게 나옵니다. 세 지표가 결국 같은 엔진 평가값이라는 하나의 원천에서 나오기 때문에, 한 게임 안에서는 서로 독립적인 증거가 되지 못한다는 점도 기억할 필요가 있습니다. 의미 있는 질문은 "이 판의 정확도가 몇 %인가"가 아니라 "이 계정이 여러 판에 걸쳐, 어려운 포지션에서도, 레이팅 기대치를 얼마나 벗어난 성능을 유지하는가"입니다. 그 기대치가 실력대별로 어떻게 형성되는지는 레이팅별 기대 성능 글에서 정리했습니다.
지표를 볼 때의 실용적 우선순위
정리하면, 계정 하나를 들여다볼 때 권장하는 순서는 이렇습니다. 먼저 여러 게임의 ACPL 추세를 레이팅 기대치와 대조합니다. 계산이 투명하고 게임 간 비교가 되는 지표이기 때문에 기준선 역할로 가장 적합합니다. 다음으로 엔진 일치율과 수 시간 패턴 같은 독립적인 신호가 같은 방향을 가리키는지 확인합니다. 서로 다른 원리로 계산되는 신호들이 일제히 같은 쪽을 가리킬 때에만 "통계적으로 이례적"이라는 표현이 의미를 갖습니다. 정확도 %는 개별 게임의 인상을 빠르게 요약하는 보조 지표로 쓰되, 플랫폼이 다른 수치와 섞지 않습니다.
단일 게임의 단일 숫자에서 결론으로 점프하는 것이 이 분야에서 가장 흔한 오독입니다. 자기 실력 점검이 목적이라면 블런더를 줄이는 훈련 가이드에서 다룬 것처럼 자기 ACPL 추이를 추적하는 쪽이 훨씬 생산적입니다.