데이터가 폭발하는 거대한 변화의 소용돌이 속에서 우리는 어떻게 살아갈 것인가? 제3의 물결을 잇는 가치와 혁신의 원천, 경제.사회.과학.기술 분야를 지배하는 새로운 패러다임, 빅 데이터! 일하고 생각하는 방식이 바뀌고 있다. 빅 데이터를 통해 우리는 이전에 알 수 없었던 것들을 찾아내고, 거시적인 통찰력을 갖추고, 패턴이나 상관성을 읽어내어 데이터 스스로 진실을 드러내게 할 수 있다. 모든 것의 데이터화는 그동안 정보로 취급하지 않았던 것들까지 새로운 방식으로 활용할 수 있게 해준다. 이제 빅 데이터는 우리의 경제 상황과 사회, 그리고 삶을 급속도로 변화시키고 있다. 불확실하지만 스마트한 정보가 넘치는 시대에 우리는 무엇을 어떻게 준비할 것인가. 빅 데이터 혁명에 관한 긍정적이고 실용적인 시각 엄청나게 많은 복잡하고 헝클어진 정보들을 이용해 쇼핑 패턴부터 독감 발병에 이르기까지 수많은 예측을 가능하게 하는 놀라운 방법들! 중고차 중에서 어떤 색깔의 차량이 가장 상태가 좋을까? 뉴욕의 공무원들은 폭발 위험이 가장 높은 맨홀 뚜껑을 어떻게 알아낼까? 구글은 대체 어떻게 신종 플루의 발병을 예측했을까? 이런 질문에, 그리고 훨씬 더 많은 질문에 답하기 위한 핵심 열쇠가 바로 ‘빅 데이터’다. 빅 데이터란 방대한 양의 정보를 고속 처리하여 즉시 분석하고, 그로부터 놀라운 결론을 도출해내는 능력이다. 이 능력이 알려진 것은 얼마 되지 않았다. 이 새로운 방법을 사용하면 항공권 가격부터 수백만 권의 책까지 무수한 현상을 검색 가능한 형태로 바꿀 수 있다. 빅 데이터는 급성장한 컴퓨터 연산능력을 이용해 지금까지 한 번도 알지 못한 것들을 알게 해준다. 인터넷의 발명, 심지어 인쇄기의 발명에 견줄 만한 혁명이 시작된 것이다. 앞으로 몇 년 동안 빅 데이터는 비즈니스, 정치, 교육, 건강, 혁신을 생각하는 방식을 바꿔놓을 것이다. 빅 데이터는 새로운 위협이 될 수도 있다. 지금과 같은 사생활은 사라지고 빅 데이터가 제시하는 미래 행동 예측에 기초하여 아직 저지르지도 않은 일에 대해 처벌받게 될지도 모른다. 빅 데이터에 정통한 두 전문가는 이 책에서 빅 데이터가 무엇이며, 그것이 우리의 삶을 어떻게 바꿔놓을지에 관해 분명하고 놀라운 설명을 한다. 빅 데이터가 가져올 위험으로부터 우리를 지킬 수 있는 방법은 무엇일까? 이 책은 차세대 빅 트렌드를 명쾌하고 재미있게 읽어내는 첫 대작이다. 빅 데이터가 갖는 과학적.사회적 가치뿐만 아니라 빅 데이터가 어느 정도의 경제적 가치의 원천이 될 수 있을까? 빅 데이터 세상은 다양한 방식으로 비즈니스와 과학 분야뿐만 아니라 헬스케어, 정부, 교육, 경제, 인문, 사회에 이르기까지 모든 분야를 뒤흔들 것이라는 예측은 이제 우리의 현실이 되었다. 물론 아직은 빅 데이터의 여명기이지만. 그렇다면 우리는 적극적으로 변화의 시대를 맞이할 준비를 서둘러야 한다. 빅 데이터의 핵심은 예측에 있다. 빅 데이터를 인공지능이라는 컴퓨터 과학이나 기계 학습의 일부로 설명하는 사람들도 있다. 하지만 그것은 잘못된 판단이다. 빅 데이터는 엄청난 양의 데이터에 수학을 적용해 확률을 추론하려는 노력이다. 어떤 이메일이 스팸 메일일지, 무단횡단 중인 사람의 궤도와 속도로 보아 그 사람이 제때 길을 건널지, 무인 자동차가 언제 속도를 살짝 늦춰야 할지 등과 같은 것들이다. 이런 시스템이 잘 작동하는 것은 예측에 필요한 데이터를 많이 공급받기 때문이다. 시스템이 스스로 개선될 수 있도록, 더 많은 데이터가 들어오면 어느 것이 최상의 신호이고 패턴인지 기록해나가게끔 설계되어 있기 때문이다. 미래에, 어쩌면 생각보다 빠른 미래에 지금은 순전히 인간의 판단 영역에 속하는 것들이 컴퓨터 시스템에 의해 보강되거나 대체될 것이다. 운전이나 데이트 상대 고르기뿐만 아니라 훨씬 더 복잡한 일들까지도. 지금도 아마존은 우리에게 맞는 책을 추천해주고, 구글은 가장 적절한 웹사이트부터 순서대로 보여준다. 페이스북은 나의 선호를 알고 있고, 링크드인은 내가 누구와 연줄이 닿는지 꿰뚫고 있다. 똑같은 기술이 질병 진단과 치료법 추천에도 적용될 것이다. 어쩌면 실제 범죄가 일어나기도 전에 ‘범죄자’를 찾아내게 될지도 모른다. 인터넷이 컴퓨터에 통신 기능을 부가하여 세상을 완전히 바꿔놓았듯, 빅 데이터도 컴퓨터에 지금까지와는 차원이 다른 양적 측면을 부가해 우리 생활의 기본 양상을 바꿔놓을 것이다. 원인을 알 필요는 없다, 데이터 스스로 진실을 드러내게 하라! 원인 대신 패턴이나 상관성을 찾아내어 새로운 이해와 통찰의 세계로 데려다놓는 빅 데이터 시대 빅 데이터는 세상을 수량화하여 이해하고 싶은 인류의 탐험에 큰 진전이 이루게 해줄 것이다. 이전에는 측정.저장.공유.분석할 수 없었던 것들이 끊임없이 데이터화되고 있다. 조그만 일부분이 아니라 방대한 양의 데이터, 덜 정밀하지만 더 많은 데이터를 이용한다면 새로운 이해의 길이 열린다. 사회는 오랫동안 선호되어온 인과관계를 버리고 상관관계의 편익에 의존할 것이다. 인과관계의 메커니즘을 이해하고 싶은 인류의 이상은 자기만족적 환상이며 빅 데이터는 이 환상을 뒤집어엎을 것이다. 우리가 굳게 믿고 있던 확실성이 또 한 번 바뀌고 있다. 이번에는 더 확실한 증거에 의해 기존의 확실성이 대체되고 있다. 그렇다면 이제 직관과 신념, 불확실성에게는 무슨 역할이 남을까? 증거에 반해 행동하고 경험에서 배우는 일은 이제 다시 일어나지 않을까? 지금의 사회와 인간관, 진보는 이성을 기초로 한 것이다. 인과성에서 상관성으로 세상이 바뀌는데 이런 것들의 기반이 송두리째 흔들리지 않고서야 다음으로 넘어갈 수 없을 것이다. 지금 우리는 어디쯤 서 있는지, 어떻게 여기까지 왔는지를 설명하고 우리 앞에 놓인 혜택과 위험에 대한 시급한 가이드를 제공하는 것이 이 책의 목적이다. 앞으로 빅 데이터는 새로운 경제적 가치와 혁신의 원천이 된다. 빅 데이터의 부상은 곧 정보 분석 방법의 변화를 불러오고 우리가 사회를 이해하고 조직하는 방법을 바꿔놓을 것이다. 새로운 세상은 더 많은 데이터를 분석할 수 있다. 이전의 샘플링 방식으로 도저히 알아낼 수 없는 하위 범주와 하위 시장들을 찾게 되는 것이다. 두 번째 변화는 방대한 데이터를 들여다보게 됨으로써 정밀성에 대한 욕구가 줄어들 것이다. 빅 데이터는 들쭉날쭉하고, 속성이 서로 다르며, 전 세계 수많은 서버에 산재해 있는 경우가 많다. 그래서 빅 데이터를 사용할 때는 센티미터 단위, 원 단위, 분자 단위까지 현상을 이해하기보다 일반적 방향성으로 만족해야 할 때도 많을 것이다. 이것은 정밀성을 전부 내다버린다는 것이 아니라 정밀성만 고집하지 않는다는 뜻이다. 미시적 차원의 정확성을 잃는 대신 거시적 차원의 통찰력을 얻는 것이다. 이러한 변화에서 ‘인과관계 추구’라는 오래된 습관에서 멀어지는 결과를 낳는다. 빅 데이터 세상에서는 인과관계에 얽매일 필요가 없다. 패턴이나 상관성을 찾아내어 새로운 이해와 귀중한 통찰을 얻으면 된다. 상관성은 어떤 일이 정확히 왜 벌어지고 있는지를 설명하지 못할지도 모르지만 그 일이 지금 일어나는 중이라고 경고해줄 수는 있다. 어떤 현상의 원인을 항상 알아야 할 필요는 없다. 데이터 스스로 진실을 드러내게 하면 된다. 왜 그런 결정을 내리게 되었는지 이유를 설명할 수 없다고? 누가 범죄를 저지르고, 심장마비에 걸릴 것인지를 알아내는 알고리즘이 등장하고 비즈니스와 시장, 사회의 본질이 변화하면서 새로운 제도와 규칙 마련해야 인간은 수천 년 동안 데이터를 분석해왔다. 고대 메소포타미아에서 글이 발달한 것은 관리들이 정보를 파악하고 기록할 효율적 도구가 필요했기 때문이다. 성서 시대 이후 여러 정부는 주민들에 관한 데이터를 수집하기 위해 인구조사를 실시했다. 지난 200년간 보험 계리사들은 리스크를 알아내거나 피하기 위해 많은 데이터를 수집했다. 그러나