15-08 슈퍼크런처 - 불확실한 미래를 데이터로 꿰뚫는 힘

"우리는 직관과 개인적 경험 그리고 철학적 성향이 숫자라는 잔인한 군대와의 전쟁에서 안간힘을 쓰는 광경을 목격하고 있다."

이 한문장이 슈처크런처 전체를 요약하는 말인듯 싶다.

전산을 업으로 삼았었었고 여러분야에 걸친 숫자나 통계의 힘을 익히 들어서 알고 있지만 '짜여진 각본에 따라서 교육하는것이 더 효율적'이라는 분석결과 앞에서 나 역시 동의 하기 어렵다는 생각이 먼저 들었다. 

정말 직관과 경험, 그리고 철학이 숫자을 통해서 보여지는 확실한 상황앞에서 무용지물이 되는것인가?? 아니면 숫자들이 무언가 중요한 직관적 요소를 놓치고 있는건가???

이 책에서 이야기하는 용어중 생소한 용어 두가지

'슈퍼크런처'란 [대규모 데이터세트를 분석해서 외관상 무관한 일들 사이의 경험적 상관관계를 발견하는 새로운 부류의 넘버크런처]라고 정의 하고 있다. (그럼 넘버 크런처는 뭐냐고???)

초대형 수치분석, 즉 수퍼크런칭(Super Crunching)이란 무엇인가? 그것은 한마디로 현실세계의 결정에 영향을 미치는 통계학적 분석을 뜻한다.

수치분석, 데이터마이닝, 빅데이터, 슈퍼크런칭같은 용어들은 이 분야에 무지한 나로서는 거의 대동소이한 개념으로 보인다.

처음 부분은 크게 전문지식 없이도 공감하면서 읽을 수 있는 내용으로 구성되어 있고 책의 후반으로 갈수록 지루함과 무언가 생각(고찰이 아닌 논리적 타당서을 고민하게 하는)을 요구하는 내용들이 나오고 있다. 

도입부에 나오는 와인평론가의 미각과 날씨를 분석해서 와인가격을 예측하는 슈퍼크런칭의 대결이나 야구스카우터 vs 데이터를 통해 스카우트할 선수를 찾는 내용들은 그냥 쉽게읽어 줄만 했지만 5장쯤에 나오는 "정규분포 변수가 그 평균치의 +-2 표준편차 내에 존재할 확율은 95%이다"와 같은 문장은 조금 생각하면서 읽기 귀찮았던것 같다. 인용을 하다보니 자주 등장하는 여러 사람들의 이름과 약력도 책의 뒷부분을 읽기 힘들게 했던것 같다. (여론조사의 오차률에 관해서 한번 자세히 본적이 있음에도 표준편차 같은 용어 자체가 주는 무게감이 머리를 피곤케 한다.)

전문용어들이 피곤하다면 그냥 편하게 띄엄띄엄 읽어도 전체 문맥을 이해하는데는 무리가 없기는 했다.

2007년도 발행된 책이니 발간된지 10년이 되어가는데 아직도 여러가지 흥미를 끄는 내용들로 구성된 알찬 책 같다.

잠깐 검색해 보니 요약본도 여러가지가 나와있는것 같다. 빅데이터나 수치분석에 관심 있으신 분들은 요약본 먼저 간단히 살펴 보아도 충분히 흥미를 느끼실 수 있으리라 생각한다.

요약본 보기 ==> http://credu.bookzip.co.kr/resource/foreign/pdf/ac10203.pdf