신호와 소음

“지난 10년간 가장 중요한 책 중 하나” _《뉴욕타임스》 당신이 만날 미래는 “예측의 질”에 달려 있다 움직이는 과녁을 맞히는 예측의 과학과 기술 돌아온 예측 천재의 ‘더 정확한 예측을 위한 제안’ 2012년 미국 대선에서 오바마가 승리한 직후, 정치 예측 블로그 파이브서티에이트FiveThirtyEight.com를 운영하는 네이트 실버의 화제작 《신호와 소음》은 일약 베스트셀러로 떠오른다. 통계와 확률의 세계를 파고들어 미래예측의 패러다임을 뒤흔든 이 책에서, 네이트 실버는 데이터가 폭발적으로 늘어나고 소음으로 가득한 이 세상에서 진짜 신호를 가려내는 방법을 다양한 분야에서 탐사한다. 수많은 사람이 갖가지 예측을 쏟아놓지만, 이들 예측 대다수는 사회에 엄청난 비용만 안긴 채 실패로 돌아간다. 이유는 간단하다. 우리 대다수가 확률과 불확실성을 제대로 이해하지 못하기 때문이다. 인간은 신호를 포착하려고 애쓰지만 ‘자신감 넘치는 예측’을 ‘더 정확한 예측’으로 착각한다. 하지만 때로 자기과신은 실패의 원인이 된다. 불확실성을 지금보다 더 온전하게 이해한다면, 우리의 예측은 한결 정확해질 것이다. 족집게 같은 예측을 선보이며 ‘예측의 천재’로 급부상한 네이트 실버도 2016년 트럼프의 대선 승리로 그 명성이 한차례 흔들렸다. 힐러리를 공개 지지하던 실버는 타 매체나 조사기관에 비해 트럼프의 당선 가능성을 상대적으로 높게(28.6%) 예측하며 끊임없이 ‘트럼프가 판을 뒤집을 가능성’을 경고했으나 극적인 반전을 결정적으로 내다보지는 못했다. 이번 개정판의 서문에는 당시의 과정과 더불어 본격적인 팬데믹의 시기에 예측 전문가로서 갖는 소회와 성찰, 각오가 드러나 있다. 2020년에 이르러 전 세계를 휩쓴 코로나19 팬데믹을 목도하며, 실버는 다시 한번 뼈아프게 《신호와 소음》 초판에 담았던 예의 질문을 던진다. “전문가의 예측은 왜 이토록 자주 빗나가며, 어떻게 하면 좀 더 신뢰할 수 있는 예측이 가능할까?” 이어 개정판 서문을 통해 ‘좀 더 나은 확률적 사고’에 필요한 것으로 ‘느리게 생각하기thinking slow’와 ‘대세 편승을 경계하기’라는 두 가지 역량을 꼽는다. 예측은 역설적이다. 자신의 예측 능력을 겸손하게 생각하면 할수록, 그리고 자기가 저지르는 실수에서 기꺼이 더 많은 것을 배우려는 마음먹을수록, 더 많은 정보를 지식으로 바꿀 수 있고 우리 손에 있는 데이터는 미래를 내다보는 통찰로 바뀔 것이라고 네이트 실버는 다시 한번 강조한다. 분명하게 밝히지만 내가 이 책에서 주장하려는 것은 누군가가 나서서 코로나19가 전 세계적인 팬데믹 재앙이 될 것임을 여러 달 전에 예측했어야 한다거나 트럼프의 승리가 확실하다고 예측했어야 한다는 게 아니다. 매우 중요한 결과가 빚어질 일들이 일어날 가능성이 상당히 높은데도 이런 리스크들이 거의 대부분 무시되고 만다는 것이 내가 주장하려는 점이다. 이렇게 되는 이유가 뭘까? 정치, 경제, 스포츠, 기후, 전쟁, 테러, 전염병, 도박… 소음이 가득한 세상에서 의미 있는 신호를 찾아라 경제위기 대처에서 질병퇴치 역량의 확보에 이르기까지, 이제 모든 것은 미래를 얼마나 정확하게 예측할 수 있느냐, 즉 예측의 질이 얼마나 향상될 수 있느냐에 달려 있다. 삶의 속도가 점점 빨라지고 예상을 뛰어넘는 사건이 늘어날수록 우리는 예전보다 더 자주, 더 신속하게 계획과 전략을 세워야 한다. 네이트 실버는 ‘더 나은’ 즉 더 정확한 예측을 한 사람들에게 공통으로 나타나는 요소를 파악하기 위해 국립기상연구소에서 메이저리그 야구장으로, 포커판에서 주식시장으로, 국회의사당에서 NBA 경기장으로 다양한 분야를 누비며 예측의 성공 사례뿐 아니라 실패 사례까지 찾아간다. 이 책을 쓰기 위해 노벨 경제학상 수상자 조지 애컬로프, 래리 서머스 전 재무장관, 도널드 럼스펠드 전 국방장관 등 미국을 움직이는 리더들을 인터뷰했고, 프로 도박사나 스카우터., 기상예보관, 전염병 전문가 등의 전문인들을 심도 있게 취재했으며, 관련 분야 논문과 기사들을 샅샅이 찾아 공부했다(엄청난 분량의 주註를 참고하기 바란다). COVID-19 팬데믹, 2016년 미국 대선에서 우리가 놓친 것은 무엇인가? 지구온난화와 기상이변 같은 21세기의 과제를 확률적 사고로 해결할 수 있을까? 프로 스포츠와 포커판의 예측 고수들에게 어떤 예측 기술을 배울 수 있을까? 주식이나 부동산 시장에서 거품은 왜 그렇게 잘 깨지지 않는가? 각 분야의 선구자들이 남긴 혁신의 성과가 설혹 미미하더라도 우리는 그들이 구사한 방법론들로부터 많은 것을 얻을 수 있다. 어떻게 하면 확률적으로 생각하는 법을 익힐 수 있을까? 베이즈라는 18세기 영국인의 통찰을 응용해서 지구온난화와 기상이변 같은 21세기의 과제를 해결할 수 있을까? 미래에 대해서 더 많이 알게 되면, 현재의 의사결정을 더 현명하게 할 수 있을까? 움직이는 과녁을 맞히는 예측의 과학과 기술 “수많은 예측이 실패하는데 왜 어떤 예측은 적중할까?” 날마다 엄청난 데이터가 생성되는 ‘빅데이터’ 시대에 왜 많은 예측이 그토록 심하게 빗나갈까? ‘빅데이터 시대’를 맞아 인류는 엄청난 양의 데이터와 맞닥뜨렸지만, 그만큼 쓸모없는 ‘소음’도 어마어마하게 많아졌기 때문이다. 《신호와 소음: 불확실성 시대, 미래를 포착하는 예측의 비밀》에서 말하는 데이터 분석의 관건이란, 이 ‘소음’들을 효과적으로 제거해 의미 있는 ‘신호’를 찾아내는 것이다. 책은 크게 두 부분으로 나뉜다. 1부와 2부에서는 예측에 따르는 문제를 진단하고, 3부와 4부에서는 베이즈주의적 해법을 적용하고 탐구한다. 1부에서는 최근의 금융위기를 둘러싼 예측의 실패, 야구 분야의 예측 성공, 접근방법론에 따라 예측의 성공과 실패가 갈리는 정치 분야를 다룬다. ‘예측’에 내재하는 가장 근본적인 몇 가지 의문을 깊이 탐구한다. 2부에서는 기상 변화, 지진 예측, 경제 동향, 전염병 확산 등을 둘러싸고 몇 가지 역동적 체계를 하나씩 들여다본다. 내로라하는 과학자들이 오랜 시간에 걸쳐 이 체계들을 연구하고 있지만, 체계 자체가 역동적인 까닭에 예측은 한층 어렵고 까다롭다. 그런 만큼 이들 분야에서 예측이 언제나 잘 맞을 수는 없다. 3부에서는 통계 확률 기법을 이용한 해결책에 주목한다. 네이트 실버가 신호와 소음을 구분하기 위해 사용하는 도구 중 가장 중요한 것은 통계학의 ‘베이즈 정리(Bayes’s theorem)’다. 이는 사전 확률을 도출한 뒤 새 정보가 나오면 가장 가능성 있는 것을 골라 적용해 사후 확률을 개선해 나가는 방법이다. 베이즈 정리를 활용해서 승승장구하는 프로 스포츠 도박사를 소개하는 데 이어 체스와 포커 게임을 다룬다. 스포츠와 게임은 명확한 규칙을 따른다는 점에서 우리의 여러 예측 기술을 검증하는 실험실 역할을 톡톡히 해낸다. 우리는 이들 분야를 통해 무작위성과 불확실성을 좀 더 온전하게 이해하고, 정보를 지식으로 변환하는 방식도 통찰할 수 있을 것이다. 4부에서는 베이즈 정리를 좀 더 실존적인 유형의 문제에 적용하여 지구온난화, 테러, 금융시장 거품 문제를 다룬다. 이들은 사회 전체에 위협적인 과제임은 물론 예측 전문가들에게는 까다로운 과제다. 해결방법이 전혀 없지는 않다. 이 같은 과제에 기꺼이 맞설 각오가 서 있기만 하다면, 우리가 사는 나라와 우리의 경제권 그리고 우리의 지구는 지금보다 한층 안전한 곳이 될 수 있다. 이 책은 네이트 실버의 예측 철학과 기법을 보여줌과 동시에 불확실한 미래를 어떻게 받아들이고 대응해야 하는지에 대해 깊은 성찰을 던져준다. 세상의 지각변동을 가져오는 모든 요소를 시시각각 눈여겨보는 오피니언 리더와 끝없이 시장과 소비자의 욕망을 예측해야 하는 기업가는 물론, 사회 변동에 깊은 관심을 가진 독자, ‘빅데이터’ 시대의 실상과 그에 맞춰 ‘살아남는’ 법에 관심 있는 모든