신호와 소음

오바마 재선 당시, 50개 주의 결과를 모두 맞힌 ‘예측의 천재’ 네이트 실버의 슈퍼 베스트셀러! 2012년 치러진 미국 대통령 선거의 영웅은 당연히 오바마지만 또 한 사람을 꼽으라면 단연 통계학자이자 정치 예측가인 네이트 실버(Nate Silver)다. 선거 결과에 대한 그의 예측은 타의 추종을 불허할 정도로 정확했다. 유명한 정치 평론가나 정치학자들도 그의 예측 기술에 놀랐으며 심지어 그의 예측을 불신했던 것에 대해 공개적으로 사과하기도 했다. 네이트 실버가 자신의 예측 방법론을 총정리한 《신호와 소음(The Signal and The Noise》도 하룻밤에 베스트셀러가 되었다. 《뉴욕타임스》에서 15주 연속 베스트셀러에 올랐으며, <아마존>에서는 ‘올해의 책(논픽션 부문)’으로 선정되었다. 《신호와 소음》은 통계학을 기반으로 어떻게 잘못된 정보(‘소음’)을 거르고 진짜 의미 있는 정보(‘신호’)를 찾을 것인지에 대한 책이다. 네이트 실버는 정치, 경제, 스포츠, 기후, 전쟁, 테러, 전염병, 도박 등 다양한 분야에 걸쳐 ‘미래’를 제대로 예측하는 방법에 대해서 설명하고 있다. 정보가 엄청나게 늘어난 ‘빅 데이터’ 시대일수록 오히려 가치 있는 정보를 발견하기 어렵다는 저자의 통찰은 갈수록 불확실성이 커지는 세상을 살고 있는 한국인들에게도 큰 도움이 될 것이다. 엄청난 정보망을 자랑하는 미국은 왜 진주만 공습과 9.11테러를 예측하지 못했을까? 왜 내로라하는 경제학자들도 경제 위기의 무수한 신호들을 무시했을까? 낯선 속옷이 발견됐을 때, 배우자가 바람을 피우고 있을 확률은 얼마나 될까? 선거 결과는 왜 항상 언론과 전문가의 예측을 벗어날까? 빅 데이터가 당신의 눈을 가리고 있다 진짜 ‘신호’에 귀를 열어라 시카고대학에서 경제학을 전공한 네이트 실버는 2002년 회계컨설팅회사인 KPMG에 입사했지만 엉뚱한 일을 벌이기 시작했다. 자신이 좋아하는 메이저리그 야구선수의 성적을 예측하는 시스템인 페코타(PECOTA)를 개발한 것이다. 놀라운 적중률로 명성을 얻은 실버는 통계확률기법을 카지노에서 전략적으로 이용해 단번에 1만 5000달러를 따고 회사를 그만뒀다. 이후 포커판에서 수십만 달러를 긁어모았고, 그동안 쌓인 통계학과 예측의 노하우를 활용해, 정치 예측을 하는 블로그인 파이브서티에이트(FiveThirtyEight.com)를 2008년에 개설했다. 《뉴욕타임스》의 자매 블로그가 된 파이브서티에이트는, 2008년 대선에서 미국의 50개 주 중 49개 주의 결과를 정확히 예측했고, 총선에서도 상원 당선자 35명 전원을 맞혔다. 네이트 실버는 엄청난 유명세를 탔고 많은 사람들이 그의 예측에 주목하기 시작했다. 그러다 보니 2012년 미국의 대선에서는 그가 블로그에 글을 올릴 때마다 공화당과 민주당이 비중 있는 논평을 내놓기에 바빴다. 오바마와 롬니가 박빙으로 경쟁하는 와중에 첫 후보 간 토론회가 열렸고 그 뒤엔 여론조사기관 대부분이 롬니의 승리를 예측했다. 그러나 실버는 오바마의 승리를 점쳤고, 결과는 50개 주의 결과를 모두 맞힌 그의 승리로 끝났다. 대통령 선거, 월드컵 우승, 주식의 등락… 미래 예측의 패러다임을 바꾼 새로운 통찰! 슈퍼스타가 된 네이트 실버는 단 한 권의 책을 썼는데, 그것이 바로 《신호와 소음》이다. 이 책은 2008년 금융 위기와 유명한 정치 전문가의 선거 결과 오판 등 예측 실패 사례들을 분석한다. 또한 정치, 경제, 스포츠, 기후, 전쟁, 테러, 전염병, 도박 등 여러 분야를 분석하며 (매일 엄청난 데이터가 생성되는) ‘빅 데이터’ 시대에 왜 그렇게 많은 예측들이 빗나가는지 묻는다. 저자는 정보가 많다고 예측이 쉬워지는 것은 아니라고 말한다. 이는 정확한 정보인 ‘신호’와 이를 방해하는 ‘소음’을 잘 분리해 잡아내지 못하기 때문이다. 그는 사전 확률을 도출한 뒤 새 정보가 나오면 가장 가능성 있는 것을 골라 적용해 사후 확률을 개선해 나가는 ‘베이즈 정리’ 등 자신만의 예측 비법을 소개하고 이를 실제 현장에서 활용하는 법도 자세히 설명한다. 실버는 자잘한 것을 무시한 채 커다란 아이디어를 추구하는 사람보다는 여러 분야의 지식을 아우르며 다양한 시도를 하는 사람, 실수를 인정하고 복잡한 상황과 정보를 잘 견디며 이론보다는 관찰을 중시하는 사람이 더 정확하게 미래를 예측할 수 있다고 말한다. 빅 데이터 시대… 넘치는 정보 속에서 움직이는 과녁을 맞히는 예측의 비법 《신호와 소음》에 대한 반응은 놀라웠다. 《뉴욕타임스》, 《월스트리트저널》, 《가디언》 등이 극찬했으며, 《뉴욕타임스》에서 15주 연속 베스트셀러에 오르고, <아마존>에서는 ‘올해의 책(논픽션 부문)’으로 선정되었다. 많은 한국 독자들도 이 책을 오랫동안 기다려 왔는데, 최윤식(미래학자, 《2030 대담한 미래》 《미래학자의 통찰법》 저자), 송길영(다음소프트 부사장, 《여기에 당신의 욕망이 보인다》 저자), 이종대(트리움 이사), 한상기(소셜컴퓨팅연구소 대표) 등 미래학과 경제, IT계의 내로라하는 명사들이 한국어판의 출간을 반기며 추천해 주었다. 여러 경제연구소나 정당, 기업에서도 《신호와 소음》의 한국어판 출간에 대해서 큰 관심을 보였는데, “북한과의 관계 및 미국, 유럽의 경제 상황에 따라 늘 요동치는 환경에 사는 한국인이 꼭 읽어야 할 필독서”라는 미래학자 최윤식의 추천사처럼, 정보가 엄청나게 늘어난 ‘빅 데이터’ 시대일수록 오히려 가치 있는 정보를 발견하기 어렵다는 저자의 통찰은 갈수록 불확실성이 커지는 세상을 살고 있는 한국인들에게도 큰 도움이 될 것이다.