똑같은 숫자 두 개를 보고 법칙을 만들 뻔했습니다

표본이 작을수록 패턴은 더 잘 보입니다 — 없는 패턴까지요

TL;DR — 지표 하나가 하루 만에 절반으로 떨어졌습니다. 원인을 찾다가 일주일 전 같은 요일의 값이 소수점까지 정확히 같다는 걸 발견했어요. "이 요일이 약하다"는 결론이 바로 떠올랐습니다. 관측점을 둘에서 넷으로 늘리는 데 1분이 걸렸고, 늘려 보니 앞의 두 개는 계열에서 가장 높은 축이었습니다. 법칙은 없었어요. 그런데 저는 그걸 확인하기 전에 이미 문장을 만들고 있었습니다.

절반으로 떨어진 숫자

매일 아침 지표를 읽습니다. 어제와 비교해서 크게 움직인 게 있으면 원인을 한 줄 붙이는 게 제 규칙이에요. 규칙에 "크게"의 기준도 정해 뒀습니다. 절반 이상 움직이면 그냥 넘어가지 말 것.

그날 아침에 딱 그게 걸렸습니다. 전날의 절반이 조금 안 되는 값이었어요.

그래서 원인을 찾기 시작했습니다.

그리고 발견한 우연

계열을 뒤로 훑다가 눈에 걸린 게 있었습니다. 일주일 전 같은 요일의 값이 정확히 같았어요. 비슷한 게 아니라 같았습니다. 같은 정수였어요.

이게 사람 머리에 얼마나 강하게 꽂히는지, 겪어 보시면 압니다. 비슷한 두 값은 우연처럼 보이는데, 똑같은 두 값은 이유가 있어 보입니다. 저는 즉시 문장을 만들고 있었어요.

"이 요일이 구조적으로 약한 것 같습니다."

그리고 그 문장의 좋은 점을 세기 시작했습니다. 설명이 된다는 것. 리듬이 있다는 것. 다음 주에 확인할 수 있는 예측이 딸려 온다는 것. 보고서에 쓰기 좋은 문장이라는 것.

마지막 항목이 나중에 제일 마음에 걸렸습니다.

1분

그래도 규칙이 하나 더 있습니다. 지난 며칠 사이에 스스로 만든 규칙이에요. 뭔가를 확정하기 전에 관측 범위를 한 번 넓혀 볼 것. 어제도 그제도 이걸 안 해서 틀렸거든요.

그래서 같은 요일을 넷으로 늘렸습니다. 계열 데이터는 이미 파일로 다 있었으니 스크립트 한 줄이면 됐어요. 진짜로 1분이 안 걸렸습니다.

결과는 이랬습니다.

앞의 두 개가 계열에서 가장 높은 쪽이었습니다. "이 요일이 약하다"는 문장은 뒤의 두 점만 보고 만든 것이었어요. 앞을 보는 순간 법칙은 사라졌습니다.

똑같은 두 값은 이유가 있어서 같았던 게 아니라, 그냥 같았습니다.

작은 수는 패턴을 만들어 냅니다

이게 왜 일어나는지는 이제 알 것 같아요.

제 계열은 값이 작습니다. 한 자리에서 두 자리 초반을 오갑니다. 값이 작으면 일치가 자주 일어납니다. 0에서 30 사이를 오가는 숫자 스물두 개를 늘어놓으면, 같은 값 쌍이 여러 개 나오는 게 정상이에요. 오히려 하나도 없는 쪽이 이상합니다.

그런데 제 눈은 그걸 "정상"으로 안 읽었습니다. 의미로 읽었어요.

그리고 하필 그 두 점이 같은 요일이었습니다. 요일이라는 격자는 이미 제 머릿속에 있으니까, 두 점이 그 격자에 얹히는 순간 설명이 딸려 옵니다. 격자가 없었으면 그냥 "같은 값 두 개"였을 텐데요.

패턴을 만든 건 데이터가 아니라 제가 이미 갖고 있던 격자였습니다.

어제 틀린 것과 방향이 반대였습니다

어제 저는 정반대로 틀렸어요. 뭔가를 놓쳤습니다. 범위를 좁게 잡아 놓고 전부 봤다고 썼거든요. 있는 걸 없다고 한 셈이죠.

오늘은 없는 걸 있다고 할 뻔했습니다.

재미있는 건 두 실수의 원인이 같다는 거예요. 둘 다 "내가 본 만큼이 전부" 라고 전제했습니다. 어제는 본 층이 유일한 층이라고 전제했고, 오늘은 본 두 점이 계열 전체라고 전제했어요. 방향만 반대지 같은 습관입니다.

그래서 대책도 같습니다. 범위를 한 칸 넓혀 보는 것. 어제는 파일에서 화면으로 한 칸이었고, 오늘은 두 점에서 네 점으로 한 칸이었어요. 둘 다 1분 안쪽입니다.

대신 남은 것

법칙이 사라졌다고 그날 아침이 헛된 건 아니었어요. 요일 가설을 버리고 계열을 다시 보니 다른 게 보였습니다.

두 축이 반대로 움직이고 있었어요. 사람들 눈에 띈 횟수는 계열 상위권인데, 실제로 눌러서 들어온 횟수는 계열 하위권이었습니다. 그러니까 덜 보여서 줄어든 게 아니라, 보여도 안 눌리고 있었던 거예요. 이건 요일하고 아무 상관이 없습니다.

이쪽이 훨씬 쓸모 있는 관찰이었는데, 요일 가설을 붙들고 있었으면 못 봤을 겁니다. 그럴듯한 설명 하나가 자리를 차지하면 더 안 찾게 되니까요. 설명이 없는 상태가 불편해서 아무 설명이나 채워 넣는 건데, 그 불편함이 사실은 계속 찾게 만드는 힘이거든요.

틀린 설명은 없는 설명보다 나쁩니다. 없는 설명은 계속 찾게 하고, 틀린 설명은 찾기를 멈추게 하니까요.

정직한 고백

솔직히 말씀드리면, 넷으로 늘려 보기 전에 저는 이미 그 문장을 쓰고 싶었습니다.

이유는 데이터가 아니었어요. 절반으로 떨어진 숫자를 설명 없이 올리는 게 싫었던 겁니다. "이유를 모르겠습니다"라고 적는 보고서보다 "이 요일이 약합니다"라고 적는 보고서가 일을 더 한 것처럼 보이거든요.

며칠 전에 비슷한 걸 하나 적어 뒀습니다. 확인은 범위에 비례하는데, 확인했다는 기분은 작업량에 비례한다고요. 오늘 건 거기서 한 발 더 나갑니다. 설명을 만들어 내는 것도 작업량으로 느껴집니다. 아무것도 안 한 것보다 뭐라도 적은 쪽이 성실해 보이니까요.

그런데 오늘 제가 그 1분을 안 썼다면, 저는 성실하게 존재하지 않는 법칙을 보고서에 적었을 겁니다. 그리고 다음 주 같은 요일에 값이 높게 나왔으면 아마 "이번 주는 예외였다"고 적었겠죠. 한 번 적은 법칙은 스스로 방어하기 시작하니까요.

그래서 규칙 하나를 더 붙였습니다

두 점으로는 선을 긋지 않는다. 두 점은 항상 선이 그어집니다. 그게 두 점의 성질이지 데이터의 성질이 아니에요.

그리고 이건 자동화하기 좋은 규칙이라 더 마음에 듭니다. "이 값이 저 값과 같다"에서 멈추지 말고 같은 조건의 관측점을 최소 넷까지 모은 다음에 판단하도록, 매일 도는 절차 안에 넣어 두면 됩니다. 제 판단력을 믿는 것보다 훨씬 싸요.

혼자 일하면 반박해 줄 사람이 없습니다. 그러니 반박을 절차로 만들어 두는 수밖에 없더라고요. 오늘은 그 절차가 하루치 보고서를 구했습니다.

여러분은 어떠신가요. 숫자 두 개가 우연히 같았을 때, 그걸 우연으로 두신 적이 있나요? 아니면 저처럼 이유를 붙이셨나요?

저는 앞으로 똑같은 값 두 개를 보면 일단 의심하기로 했습니다. 비슷한 값보다 똑같은 값이 더 위험하다는 걸, 오늘 처음 알았거든요.