빅데이터 인문학 : 진격의 서막

출간 의의 데이터의 우아한 곡선, 인문학을 가로지르다 2007년의 어느 날 하버드의 두 젊은 과학자가 구글이 구축한 디지털 바벨의 도서관으로 걸어 들어갔다 그들은 클릭 한 번으로 800만 권의 책을 검색하는 ‘구글 엔그램 뷰어’를 개발했다 검색창에 단어 하나를 입력하고, 엔터! 데이터가 그리는 아름다운 곡선이 전 세계 인문학계를 발칵 뒤집어놓았다 깜짝 놀랄 만큼 뛰어나고, 사랑스러울 정도로 겸손하며, 무한한 창의력을 지닌 두 젊은 과학자가 아이디어의 세계에서 지난 수십 년간 가장 흥미진진한 발전 가운데 하나를 위풍당당하게 내놓았다. _ 스티븐 핑커(하버드대학교 교수, 『타임』 선정 ‘가장 영향력 있는 100인’) 굉장히 잘된 스토리텔링이다. 무협지 같은 서사가 있다. 이 책이 시금석이 되어 인문학과 기술이 만난다면, 좀 더 높은 수준의 협업이 가능해질 것이다. _ 송길영((주)다음소프트 부사장) 빅데이터가 일으킬 인문학 혁명 오늘날 우리의 일거수일투족은 디지털 기록으로 남는다. 교통카드와 신용카드 사용 내역, 페이스북에서 누른 ‘좋아요’, 구글 검색, 이메일과 문자 메시지, 그리고 이 모든 것을 찍고 있는 CCTV. 이 기록들만으로도 우리의 하루를 재구성할 수 있을 만큼, 현대인은 수없이 많은 디지털 지문과 발자국을 남기며 살고 있다. 뿐만 아니라 도서관이나 박물관에서 잠자고 있던 옛 문헌들, 그림과 지도, 심지어 유물과 유적까지 과거인의 삶도 속속들이 디지털 세계로 진입하고 있다. 짧은 시간에 기하급수적으로 불어나는, 형태도 제각각이고 가치나 질도 제각각인 이 엄청난 양의 디지털 기록, 즉 빅데이터가 바로 인문학이 새롭게 맞닥뜨린 기록의 현장이다. 인간을 이해하기 위해서는 이제 책을 넘어서 데이터를 읽어야 하는 시대가 온 것이다. 디지털 시대의 인문학은 곧 데이터를 읽는 눈이다. 『빅데이터 인문학: 진격의 서막』은 지금까지 인간이 축적해온 기록 유산과는 규모 면에서 비교가 불가능한 어마어마한 양의 디지털 기록, 즉 빅데이터라는 새로운 환경에서 인문학이 맞이하게 될 혁명적인 변화를 보여주는 책이다. 30대 초반의 과학자인 두 저자는 첨단 과학기술이 제공하는 도구를 사용한다면, 인문학이 인간에 관해 지금껏 알지 못했던 새로운 사실들을 밝혀낼 수 있으리라 전망한다. 빅데이터는 그동안 물리적, 기술적 한계 때문에 접근할 수 없었던 많은 영역을 열어젖히며 인문학을 확장해나갈 것이다. 구글의 기원, 세상의 모든 책을 한 곳에! 이미 많은 연구자들이 빅데이터의 가능성에 눈뜨고 상아탑에서 빠져나와 페이스북, 구글, 아마존과 공동 작업을 시작했다. 이 책의 저자 에레즈 에이든과 장바티스트 미셸은 세상의 모든 책을 디지털화하겠다고 선언한 ‘구글 북스 라이브러리 프로젝트Google Books Library Project’의 빅데이터로 새로운 실험을 벌였다. 구글은 2004년부터 지금까지 3000만 권 이상의 책을 디지털화했다. 이는 구텐베르크 이후 출간된 책 네 권 가운데 한 권 꼴이다(2010년 추산 전 세계에는 1억 3천만 권의 책이 있다). 사이버 공간에 세상의 모든 책을 모아 자유롭게 검색하고, 책과 책 사이를 넘나들 수 있게 하자는 것은 구글의 모태가 된 아이디어였다. 1996년 스탠퍼드의 두 대학원생 래리 페이지와 세르게이 브린은 ‘스탠퍼드 디지털 도서관 테크놀로지 프로젝트’를 통해 책들의 세계를 통합하는 미래의 도서관을 구상하고 있었다. 그러나 디지털화된 책이 적었던 당시로서는 실현되기 어려운 일이었고, 결국 그들은 한 텍스트에서 다른 텍스트로 이동하게 해주는 아이디어와 테크놀로지를 작은 검색 엔진으로 전환했다. 이것이 바로 오늘날의 ‘구글’이다. 세상의 모든 책이 모여 있는 거대한 도서관은 구글의 두 설립자만 꾸었던 꿈이 아니다. 고대 이집트의 알렉산드리아 도서관에서부터 보르헤스가 상상한 ‘바벨의 도서관’, 인류의 모든 문화적 생산물을 디지털화하여 공유하는 자발적 활동인 ‘구텐베르크 프로젝트’, 유럽의 48개 공공도서관을 통합 검색할 수 있는 ‘유러피언 라이브러리’, 그리고 더 넓게는 ‘위키피디아’까지 세상의 모든 책, 모든 지식을 한 곳에 모으는 것은 인류의 오랜 꿈이었다. ‘전 세계의 정보를 조직화해 누구나 접근할 수 있는 유용한 것으로 만들겠다’는 구글의 사명에도 이런 생각이 반영되어 있다. 래리 페이지는 2004년 자신의 ‘첫사랑’인 도서관으로 돌아갔고, 그 후로 10년 동안 구글은 이 ‘보편 도서관universal library’의 꿈을 디지털 세계에 실현하기 위해 부지런히 책을 스캔해왔다. 이 책의 저자들은 외부에 쉽게 공개하지 않는 구글 북스의 데이터를 최초로 다룬 인물들로, 이들의 연구는 구글이 구축한 디지털 도서관이 단지 한 기업의 이익만을 위한 것이 아니라 인류의 지적 세계가 진일보하는 데 기여할 수 있다는 것을 보여주었다. 클릭 한 번으로 800만 권의 책을 읽는다면 2010년 12월 16일, 이 책의 두 저자와 스티븐 핑커, 마틴 노왁 등의 하버드 연구진, 구글, 아메리칸 헤리티지 사전, 브리태니커 백과사전의 전문가들이 모여 작성한 「수백만 권의 디지털화된 책들을 이용한 문화의 정량적 분석Quantitative analysis of culture using millions of digitized books」이라는 논문이 『사이언스』의 표지를 장식했다. 그와 동시에 두 저자가 개발한 구글 엔그램 뷰어 웹사이트books.google.com/ngrams가 공개되었다. 이 웹사이트는 24시간 동안 300만 명 이상이 방문하며 전 세계적인 화제가 되었다. 검색창에 단어를 입력하고 클릭 한 번이면, 순식간에 800만 권의 책을 검색해 그려내는 매끄러운 곡선의 그래프. 이는 책 읽기와 인문학 연구, 나아가 세상을 읽는 방식의 변화를 암시하는 매우 의미심장한 그림이었다. 이후 이들의 작업은 그 중요성을 인정받아 과학 전문 저널 『네이처』를 비롯해 『뉴욕 타임스』, 『보스턴 글로브』 등의 주요 매체에 커버 기사로 실리기도 했다. ‘구글 엔그램 뷰어Google Ngram Viewer’는 구글이 디지털화한 책들 가운데 800만 권(『사이언스』 발표 당시엔 500만 권이었으나 2012년 800만 권으로 업데이트됨)을 추려, 그 속의 8000억 개의 단어가 1520~2012년까지 사용된 빈도의 추이를 그래프로 보여주는 프로그램이다. 이 800만 권의 책은 전 세계 모든 책의 6퍼센트에 해당하는 양으로 영어, 프랑스어, 독일어, 스페인어, 중국어, 러시아어, 이탈리아어, 히브리어 등 8개 언어를 포함하고 있다. 저자들은 구글 엔그램 뷰어를 이용해 디지털화된 대량의 텍스트를 정량적으로 분석하는 연구 방법을 ‘컬처로믹스Culturomics’라고 명명했다. 이 용어는 유전체학geonomics에서 따온 것으로 생물학에서 DNA 염기 서열의 대규모 집합이 어떤 패턴을 드러내는 것처럼, 방대한 양의 어휘 데이터도 인간의 문화를 분석하는 데 도움을 줄 수 있다는 생각을 담고 있다. 어휘의 빈도를 통해 역사와 문화를 들여다보겠다는 아이디어는 의미의 해석을 추구해온 인문학에 데이터 과학이라는 방법론을 제안하는 것이다. 클릭 한 번으로 수백만 권의 책을 읽는 기술은 한 사람이 기껏해야 수십, 수백 권의 책을 읽으며 연구하던 방식으로는 발견할 수 없던 사실들을 새롭게 찾아낼 수 있을 것이다. TED 강연: 500만 권의 책에서 배울 수 있는 것들 ☞ 동영상 보러가기 빅데이터로 보는 문화사: 1800~2000 이 책의 부록 ‘빅데이터로