�����

거짓말을 파는 스페셜리스트

전문가들의 혼란스러운 조언

복잡하고 혼란스러운 전문가의 조언

흔히 우리가 얻는 전문적인 조언이라는 것은 결국 여러 종류의 전문가들이 제시한 복잡하고 혼란스러운 내용들이다. 예를 들어 연구저널에 발표된 과학적인 결론은 종종 우리 주변의 전문가들이 적용하는 원리가 된다. 그리고 주변의 전문가 집단들이 특정 이론이나 방법에 대해 논쟁을 하거나 의견을 수렴하는 과정에서 나온 그들의 견해가 정부 관리, 기업의 리더, 산업계 전문가들이 말하는 내용의 근거가 된다. 이런 전문지식이 공식적 · 비공식적인 전문가와 우리 주변의 전문가들 사이에서 돌아다니는 동안, 그중 많은 부분이 주변의 전문가에게 직접 듣든, 정부나 단체의 웹사이트에서 찾든, 대중매체의 기사에서 얻든 간에 필연코 우리에게도 전달된다. 그 내용은 일반적으로 매우 혼란스럽고, 아마도 상당히 잘못된 조언일 것이다.

전문지식의 오류가 어디에서 비롯되는지를 이해하기 위해 우리는 이러한 다양한 전문지식들을 구분할 필요가 있다. 이를 위해서는 과학적인 연구 결과와 대중매체에 실리는 전문지식, 그리고 전문가 집단의 상호 교류, 의심스러운 전문지식의 생산과 소비 과정에서 우리 자신의 역할을 비롯하여 모든 종류의 전문적인 조언과 그 메커니즘을 자세히 들여다볼 것이다.

전문가들의 함정에 빠지는 6가지 패턴

비록 그들이 정말로 좋은 자료를 갖고 있다 해도 비공식적인 전문가들은 그것을 잘못 이용할 가능성이 높다. 왜냐하면 그들은 과학자들과 신뢰도가 높은 전문가들이 저지를 것이라고 거의 상상하지 못하는 다양한 함정에 빠지기 때문이다. 첫째는 편견과 부패이다. 의사들이 환자를 부추겨서 불필요하거나 값비싼 검사를 받게 하고, 정부 관리들이 호의와 상납을 받고, 중개인들이 수수료를 더 많이 받기 위해 고객의 계정에서 필요 이상으로 거래를 자주 한다는 등의 이야기가 끊임없이 들린다. 뻔뻔스럽고 부적절한 그런 행동은 비공식적인 전문가들에게만 나타나는 일반적인 행태가 아니며, 다른 전문가들에게도 역시 드물지 않게 나타난다.

둘째는 비합리적인 사고이다. 어떤 이론이 자료와 명백하게 모순되거나, 그것이 기존에 진리로 확실히 입증된 것과 충돌하거나, 그것이 터무니없는 가정을 요구하거나, 그것이 단지 이해되지 않을 경우 그 이론은 과학계에서 쉽게 받아들여지지 않는다. 주식 선택을 생각해보자. 지난 반세기 동안 많은 비과학적 금융 전문가들뿐만 아니라 다양한 경제학자들과 수학자들이 어떤 기법을 사용하여 주식을 선택하더라도 (내부 정보가 부족한 경우) 시장에서 승리할 가능성은 블랙잭에 당첨될 확률과 비슷하다는 것을 확실히 입증해왔다. 많은 사람들이 주식의 움직임에 대해 특별한 지식이 있다고 주장하는 TV 출연자의 선동적이고, 허풍스럽고, 충격적인 조언을 아직도 신뢰한다는 사실은, 내가 생각하기에 어떻게 일부 전문가들이 노골적인 비합리성을 이용하여 개인적으로 큰 성공을 거두고 있는지를 잘 보여준다.

셋째는 청중에 대한 고려이다. 때로 전문가들은 제대로 효과가 있는지 깊이 생각해보지도 않고 우리의 요구에 맞추어 황당할 정도로 신뢰하기 힘든 조언을 해준다는 것이다. 넷째는 능력부족, 다섯째는 감독의 부재 그리고 마지막은 연습을 통해 개발되며, 신중하게 생각하지 않고도 어떤 것을 파악하거나 할 수 있는 자동적인 대응 능력이다.

과학자들의 문제 1

"전문가에 따르면"

과학자와 과학 저널리스트는 일관성이 없는 과학 연구 결과를 아직 근거가 빈약한 연구 결과로 종종 간단히 처리해버린다. 그러나 아주 신뢰성이 높은 연구 결과조차 서로 상충되거나 오류로 판명되는 경우도 흔하다. 간단한 이유를 들어보자. 연구자들은 보통 연구 결론을 내린 다음 그 결론이 옳다는 것을 우리에게 설득할 때 결함이 있는 증거를 사용한다. 달리 말하면, 과학자들은 종종 자료를 측정하고 분석할 때 기만적일 정도로 엉성하다. 이런 사실에도 불구하고 좋은 자료는 높은 수준의 존경받는 전문가와 고집 센 아마추어, 대중적인 스승, 교묘한 허풍쟁이, 말 많은 지식인, 사이비 과학자들을 구별하는 핵심적인 요소이다. 겉으로 보기에 아주 훌륭한 자료가 우리가 가장 신뢰하는 전문가들에게 오용될 수 있는 것이다.

중요하지 않은 사항에 대한 측정

제대로 된 결과를 얻을 수 있는 방식보다는 상대적으로 손쉬운 방식으로 연구하는 것이 어리석은 선택이라는 점은 쉽게 이해할 수 있다. 그러나 전문가들은 진리를 연구할 때마다 항상 그렇게 한다. 심장발작 환자들을 위한 항부정맥 약품의 경우, 심장학자들이 정말 알고 싶은 것은 생존율이었다. 그러나 생존율을 측정하는 것은 시간이 오래 걸리고, 비교적 복잡하다. 불규칙적인 심장박동과 사망 사이의 명확한 연관성을 관찰했기 때문에 불규칙적인 심장박동의 빈도가 줄어들면 사망률도 떨어진다는 가정 하에 심장학자들은 불규칙한 심장박동을 타당한 측정 자료로 간주하는 것이 합리적이라고 생각했다. 의사들은 불규칙한 심장박동을 측정하고, 항부정맥 약물이 그것을 성공적으로 억제하는 것을 확인했다. 그러나 불규칙한 심장박동 억제가 심장발작 환자들의 생존을 가능하게 할 것이라는 판단은 틀린 것이었고, 그것도 아주 치명적인 오류였다.

확실성의 원리

오즈의 마법사 효과

우리에게 거의 진리처럼 느껴지는 수많은 전문가의 귀중한 조언들은 허점투성이다. 자신의 개인적인 경험, 상식, 몇 분 동안 실제적인 증거조사를 통해 그런 조언이 오류일 가능성을 충분히 파악할 수 있는데도 우리는 왜 이런 조언에 끌리는 걸까?

때로 우리는 전문가 자체에 푹 빠진다. 전문가의 평판, 자격증, 스타일이 우리가 조언을 받아들이는 데 영향을 미친다. 대부분 일부 대중적인 전문가들을 기꺼이 신뢰한다. 물론 그것은 당연하다. 우리는 이른바, 오즈의 마법사 효과라는 주문을 들으며 자랐다. 이 주문은 우리 부모에게서 시작하여 그 다음 교사에게로, 교사들이 교과서에서 우리에게 소개하는 권위 있는 사람의 말로, 부모들이 신문이나 TV에서 기다리는 대중적인 전문가에게로 이어졌다. 우리는 자라면서 내내 세상에는 우리보다 훨씬 더 많이 알고 있는 사람들이 있으며, 그들이 하는 말은 무엇이든지 옳기 때문에 그들의 말을 받아들여야 한다는 생각을 점차 갖게 되었다. 우리의 두뇌는 전문가를 신뢰하도록 진화해왔는지도 모른다.

대중의 어리석음

콩도르세의 배심원 이론

18세기 프랑스의 니콜라 드 콩도르세는 배심원단이 개인보다 올바른 평결을 할 가능성이 더 높은지에 관해 곰곰이 생각했다. 그는 약간의 수학을 이용하여 배심원단이 개인보다 올바른 평결을 내릴 확률이 더 높다고 말했다. 동전을 던질 때 앞면이 51%가 나오게끔 동전이 만들어졌다고 상상해보자. 대부분의 실제 상황에서 이 동전은 앞면과 뒷면이 나올 확률에 거의 차이가 없을 것이다. 그러나 동전을 1000번 던진다면, 1%의 차이는 확실히 나타나 앞면이 뒷면보다 나오는 횟수가 훨씬 많을 것이다. 이른바 콩도르세의 배심원이론(Condorcet jury theorem)은 약간의 좋은 판단력을 가진 한 개인은 옳은 결정을 내릴 확률이 적지만 그런 사람들이 함께 모여 집단을 이루면 그 확률이 크게 높아진다는 점을 보여준다.

이런 결론은 대부분 우리들의 세계관과 아주 잘 들어맞는다. 즉, 우리는 집단이 개인보다 더 올바른 판단을 할 것이라고 기대한다. 일반적으로 말해 우리는 백지장도 맞들면 낫고, 단체정신이 개인의 능력보다 낫고, 여러 사람들에게 권한을 더 많이 줄수록 좋다는 생각을 배운다. 오류에 빠진 사람과 어리석은 사람, 악한 사람들도 항상 있지만 충분히 함께 힘을 모으면, 제임스 서로위키가 자신의 베스트셀러『대중의 지혜(The Wisdom of Crowds)』라는 책 제목에서 훌륭하게 표현했듯, 우리는 그런 지혜를 얻을 수 있다.

대부분은 아닐지라도 많은 전문가들이 편견을 갖고 있고, 오류가 있거나 왜곡되어 있다고 해도 속임수를 쓰는 것이 아니라면 크게 문제가 될 것이 무엇인가? 수많은 공동 연구자, 감독자, 지원자, 조언 제공자, 조언 청취자들(이들 속에서 신뢰하기 어려운 전문가들도 활동한다) 가운데에는 날카롭고, 객관적이고, 정직하고, 신중한 사람들도 분명히 있다. 이런 상황을 감안한다면 대중의 지혜는 신뢰할 수 없는 조언을 해결하기 위한 확실한 대책이 된다.

그런데 한 가지 문제가 있다. 집단, 협동 작업, 공동 협력, 합의의 일반적인 효과는 대부분 신화라는 것이다. 대중은 믿을 수 있을 정도로 현명한 것이 아니라, 탁월한 연구 결과의 생산과 보급을 강조하는 만큼 방해하고 억압하는 데도 능하며 최악의 연구 결과들 중 일부를 최고의 것으로 만들기도 한다. 전문가들이 우리에게 끼치는 영향을 훨씬 넘어서는 아주 새로운 문제를 일으킨다. 대중은 전문가들의 나쁜 조언에 대한 해결책이 아니다. 그들은 오히려 문제를 일으키는 큰 요인이 된다.

과학자들의 문제 2

과학 분야의 연구 조작 사례들

2004년, 런던의 「타임스」는 "과학자들, 인간 줄기세포 연구에서 획기적인 성과를 달성하다"라고 대서특필했다. 이 기사는 한국의 생물의학 연구자인 황우석 박사의 연구를 전한 것이었다. 「사이언스」는 인간 배아줄기세포(광범위한 질병을 치료할 수 있는 새로운 방법을 개발하는 데 아주 중요한 것으로 간주되는 세포)의 복제에 관한 놀라운 성공을 자세하게 발표했다. 2005년, 황 박사는 다시 국제적으로 언론의 주목을 받았다. 이번에는 복제 연구 자료를 조작했다는 혐의로 기소되었다는 보도였다(「타임스」: 복제 연구의 선구자 "나는 세포 연구를 조작했다"고 인정하다). 그 후 황 박사는 서울대 교수직에서 쫓겨났고, 인간복제 연구를 금지당했다.

이런 연구 조작은 황 박사만의 문제가 아니었다. 프톨레미, 갈릴레오, 뉴턴을 비롯한 과학사에서 가장 탁월했던 일부 인물들은 그들의 일부 관찰 결과가 실제 세계와는 일치하지 않는다는 이유로 연구 결과를 조작한 것으로 지목되고 있다. 그들은 분명 자료의 일부를 수정했거나, 자신의 이론을 지지하지 않는 자료를 버리는 방식으로 자료를 완전히 삭제 했다.

황우석 박사의 복제 조작 사건 후 발표된 2007년 「네이처」의 편집자는 학회지 논설에서 이렇게 지적했다. "노골적인 연구 조작과 관련하여 과학계는 두 가지 중요한 사항(연구 조작이 드물지만, 그것을 심각하게 받아들여야 한다)에 대해 폭넓은 합의가 이루어지고 있다." 그러나 조작이 정말 드문 일인가? 그리고 정말 심각하게 받아들이고 있는가? 널리 발표된 사례에 비추어볼 때 이 말을 사실이라고 주장하는 것은 찰스 맨슨(1960년대 수많은 범죄를 저지른 흉악한 살인범으로 범죄조직을 이끌었다-옮긴이)을 투옥시키고 난 후 더 이상 범죄 문제가 없다고 발표하는 것과 비슷하다.

사실과 이론이 맞지 않을 경우 사실을 바꾸어라

왜 논문이 권위 있는 저널에 실리지 못할까? 대체로 연구 결과가 흥미롭지 않거나 중요하지 않다고 평가받았기 때문이다. 가령 「네이처」의 편집자들은 제출된 논문 중 60%를 그런 이유로 거부한다. 통계학자이며 영국 옥스퍼드 의과대학 통계센터 책임자인 더글러스 올트먼은 나에게 말했다. "논문 발표에 영향을 미치는 요소는 많습니다. 하지만 제일 중요한 요소는 연구 주제가 얼마나 흥미로운가 하는 것입니다."

그렇다면 어떤 연구가 흥미 있거나 중요한 것일까? 확실하게 정해진 기준은 없지만 편집자와 연구자들은 일반적으로 연구 결과가 새로운 영역을 개척했거나, 다른 연구자들의 연구에 영향을 줄 가능성이 있거나, 중요한 질병 치료제와 같이 현실에 응용될 수 있는 것이라고 말한다. 또한 학계에서 널리 받아들여지는 내용은, 다른 조건이 동일할 경우 저널이 긍정적인 연구 결과를 상당히 선호한다는 것이다.

아인슈타인은 한때 이렇게 말했다. "사실이 이론과 맞지 않을 경우, 사실을 바꾸어라." 물론 아인슈타인이 부정행위를 부추기려고 한 것은 아니지만, 밝혀진 거의 모든 연구 부정 사건에서는 이런 일이 벌어지고 있으며, 조사에 따르면 응답자들은 보고된 것보다 훨씬 더 자주 이런 일이 일어난다고 말한다.

전문가와 조직

혁신 피로감을 낳을 뿐인 경영이론 열풍

많은 운동들이 경영학자, 경영컨설턴트, 기업 저널리스트, 또는 이들이 함께 쓴 베스트셀러 책을 통해 세상에 소개되었다. 이 책들은 보통 두 가지 형식 중 한 가지에 해당된다. 첫 번째 형식은 저자들이 수많은 성공기업이나 최고경영자를 세밀하게 조사하여 이런 성공 기업이 따르는 경영원리를 뽑아내는 것이다. 다른 형식의 책에서는 저자들이 미래 기업들이 성공을 거둘 수 있는 새로운 전략, 트렌드, 경영기법을 관찰하거나 도출해내고 또 이미 성공을 거둔 기업들이 어떻게 새로운 사고를 활용하고 있는지를 소개한다.

책을 통해 자극을 받는 것 외에 베스트셀러 경영서의 독자들은 무엇을 얻을 것 같은가? 스탠포드대학 경영학과 교수이며 어떻게 경영학 이론이 오용되는지를 전문적으로 연구하는 저커 덴렐에 따르면, 경영서 독자들은 오도당할 가능성이 있다. 그는 나에게 말했다. "매년 500권 정도 출판되는데 이 책들은 한결 같이 놀라울 정도로 높은 수익을 올리는 기업을 만드는 궁극적인 해답을 갖고 있다고 주장합니다. 엉터리입니다. 웃기는 얘깁니다. 공항에서 구입한 책 한 권이 지금까지 풀지 못한 경영 문제를 궁극적으로 해결할 수 있다고 말하는 것과 같습니다." 덴렐은 대부분 저자들이 자신의 조언을 따르는 회사들은 성공할 수 있는 것처럼 암시한다고 지적한다.

경영이론 열풍이 비록 약속한 효과를 가져다주지 않는다고 해서 전적으로 나쁘다거나 쓸모없다는 것은 아니다. 일부 사람들은 비합리적인 열풍조차 받아들이는 것이 조직의 신진대사를 촉진시키는 활력소로 작용하여 새로운 열정과 더 높은 수준의 활동을 불러일으키고, 시간이 흘러 그 활력이 서서히 사라지면 다음의 경영이론이 그것을 대체할 수 있다고 말한다. 2005년 「품질경영저널(Quality Management Journal)」에 발표된 한 논문은 "경영이론 열풍이 계획한 대로 효과가 나지 않은 경우에도 기업의 집단지식을 증가시킴으로써 계속 효과를 낸다"고 지적했다.

그러나 유행처럼 바뀌는 경영이론에는 부정적인 측면도 있다. 컬럼비아대학 경영학과 교수로서 경영이론 열풍을 연구하고 내가 이전에 쓴 책의 공동저자인 에릭 애브라함슨은 반복적인 여러 가지 경영이론들이 혁신 피로감을 낳을 수 있다고 주장한다. 곧 직원들의 사기를 저하시켜 기업이 정작 변화가 필요할 때 보다 의미 있는 변화를 이루어내지 못할 수 있다.

인터넷과 전문기술

지식격차 가설

인터넷 덕분에 이론적으로 볼 때 모든 사람이 자신에게 필요한 전문적인 조언을 정확하게 얻을 수 있고, 그런 조언을 제공하는 전문가가 될 수 있다. 수많은 인터넷 애용자들도 그렇게 주장한다. 그들은 대학, 연구기관, 컨설턴트, 대기업, 정부기관, 주류 언론 등 엘리트들의 손에 놓여 있는 전문지식을 장악하고, 그것을 인터넷을 통해 지구상 수십억 명의 사람들에게 전달함으로써 전문지식의 유용성, 타당성, 비용효율성, 신뢰성을 높일 수 있다고 주장한다. 하지만 우리가 올바른 전문지식에 정확하게 연결될 수 있다는 개념에는 상당히 비현실적인 생각이 내포되어 있다

이 점은 구글이 해결하려고 노력하는 부분이다. 다른 검색엔진이 많지만 미국에서는 전체 인터넷 검색의 3분의 2가 구글을 통해 이루어지고, 대부분의 서구 유럽 국가에서는 이 비율이 더 높으며, 다른 검색엔진들은 나머지 검색 이용률을 놓고 경쟁하고 있다.

구글이 아주 유용한 정보원임에는 의문의 여지가 없지만 흔히 간과하는 점은 구글이 종종 필요한 정보를 전달하는 역할을 잘 수행하지 못하며, 그런 실패는 우리가 복잡한 주제에 대해 신뢰할 만한 전문적인 조언을 찾을 때 더욱 심하다는 것이다. 사실 구글이 전문지식 검색에서 보여주는 결과는 관련성이 없거나 틀린 경우가 많다. 구글의 최고경영자인 에릭 슈미트는 어떤 사람보다도 그 문제를 더 명확하고 간결하게 설명할 수 있을 것이다. 그는 공개적으로 이렇게 말했다. "인터넷은 거짓과 잘못된 정보의 더러운 웅덩이가 될 위험이 있습니다. 모든 사람이 자신이 원하는 것을 온라인상에 올릴 수 있고, 자격증을 제시할 필요도 없고, 편집자나 다른 사람의 기준을 맞출 필요도 없습니다. 구글은 「뉴욕타임스」의 기사처럼 인터넷 자료를 의무적으로, 그리고 민주적으로 색인 작업을 할 것입니다." 그 결과 구글은 쓸모없고, 오류가 있고, 일반적으로 보통 수준 이하의 자료들이 좋은 자료들보다 비교할 수 없을 정도로 많다는 것을 확인했다.

온라인상의 전문적 조언에 대한 나의 약간 비판적인 관점에 균형을 맞추기 위해 나는 옥스퍼드대학 인터넷연구소 책임자 윌리엄 듀턴을 방문했다. 듀턴은 온라인상에서 전문지식에 대한 검색은 절대적인 기준이 아니라 오프라인에서 제공되는 전문지식의 질과의 상대적 기준으로 평가해야 한다고 말했다. 그는 온라인뿐만 아니라 오프라인에서도 쓰레기 정보 속에서 더 나은 정보를 얻으려면 비판적인 독서 기술이 있어야 한다고 주장했다. 그는 구글을 검색할 때도 기존 잡지의 내용에 비해 더 좋은 정보보다는 쓰레기 정보가 훨씬 더 많기 때문에 비판적 독서 기술이 더 중요해진다는 점에 동의했다.

이러한 내용(듀턴과 다른 학자들은 지식격차 가설 이라고 부른다)은 직관적으로 볼 때 대중매체의 민주화가 사람들에게 점점 더 많은 지식을 제공하지 못한다는 것을 보여준다. 수준 높은 교육을 받은 사람은 정보를 더 잘 활용할 수 있기 때문에 더 많은 정보를 이용하는 반면, 다른 사람들은 저질 정보의 바다에 익사할 가능성이 더 늘어난다.

인터넷을 활용해 전문지식을 향상시키는 방법

인터넷을 이용하여 전문지식을 향상시킬 수 있는 한 가지 확실한 방법은 저널 출판 시스템의 결함을 보완하는 것이다. 전문적인 연구 결과에 나타나는 많은 편견과 왜곡, 부정들은 유명한 학회지에 논문을 게재하려는 치열한 경쟁에서 비롯된다.

다소 전통적인 관련 전문가 리뷰 방식을 사용하며(기술적으로 결함이 있는 연구만 걸러낸다) 일반적으로 좋은 평가를 받는 온라인 연구 학회지인 「플로스원」이 한 가지 가능한 해결책을 제시했다. 플로스원[플로스는 공공과학도서관(Public Library of Science)을 뜻한다] 학회지에 제출된 모든 논문은 명백한 방법론적 오류가 없는 경우 연구 결과가 긍정적이냐 또는 흥미 있는 것이냐의 여부나 그 영향에 개의치 않고 발표된다. 이것은 그렇지 않았다면 파일 서랍에 잠자고 있거나 거의 아무도 읽지 않는 무영의 저널에만 실릴 수천 편의 논문들이 많은 사람들이 쉽게 이용할 수 있는 저널에 발표될 수 있는 기회가 생겼다는 의미다. 물론 거의 모든 논문을 게재해주는 저널에 논문을 발표하기 때문에 전문가들에게 높은 평가를 받지 못한다는 단점이 있다.

적어도 연구 결과를 소비만 하는 우리들은 온라인을 통해 다양한 형태의 연구 결과를 과거와 달리 인터넷 접속 비용 이외에 큰 비용을 들이지 않고 저렴하게 이용할 수 있다. 아울러 이런 상황 덕분에 우리는 아주 명망이 높은 전문가의 주장도 더 비판적으로 살펴볼 수 있게 되었다. 옥스퍼드대학의 듀턴은 나에게 말했다. "내 학생들은 내가 그들에게 강의할 동안 온라인에 떠 있는 나의 과거 연구 내용을 확인합니다. 그들은 나의 주장과 모순되는 견해를 찾아내어 나에게 도전적인 질문을 합니다. 그것 때문에 수업이 훨씬 더 역동적으로 변했고, 강의 내용을 더 신중히 준비하게 되었습니다."

물론 옥스퍼드대학 학생들의 구글 검색 능력과 보통 사람들의 검색 능력 차이는 감안해야 한다. 달리 말하면 대부분의 일반 대중이 인터넷에서 고급 정보를 검색할 능력을 갖추었는가 하는 문제다. 옥스퍼드대학 학생들과 반대로 일반 대중들은 그럴듯해 보이지만 사실은 쓰레기 같은 조언밖에 얻지 못할 수 있다.

전문가의 오류를 피하기 위한 간단한 철칙

콜린스의 이미테이션 게임

해리 콜린스는 웨일즈의 카디프대학의 약간 고리타분한 사무실에서 퀴즈쇼를 진행한다. 이미테이션 게임방식(영국의 컴퓨터과학자이며 수학자 튜링이 컴퓨터의 지능을 검사한 방법으로 서로 격리되어 있는 컴퓨터와 사람이 동일한 질문에 대답하게 하고, 심판자가 그 대답을 듣고 컴퓨터와 사람을 구별하게 한다. 이때 컴퓨터와 사람을 구분하지 못하면 컴퓨터가 지능이 있는 것으로 판별한다-옮긴이)을 사용하기 때문에 그의 퀴즈쇼는 마치 경쟁적인 스포츠 같다. 이 게임의 규칙은 간단하다. 한 명의 게임 참가자와 말 없는 전문가가 다른 장소에 배치되고 서로 볼 수 없다. 여기에서 말 없는이란 단어는 콜린스의 광범위한 전문지식 분류체계에 따르면, 수년간 어떤 영역에 적극적으로 몰두해야만 획득할 수 있는 일종의 능력이다. 이미테이션 게임은 흔히 우리가 인정하는 일반적인 전문지식을 다룬다.

콜린스는 이 퀴즈쇼를 개발하여 진짜 전문 분야를 습득한 사람과 겉모습만 그럴듯하게 보일 정도로 아는 사람들을 구분하기가 힘들다는 점을 보여주었다. 달리 말하면, 어떤 사람이 전문가로 행세하기로 마음먹는다면 그 사람이 실제로 자신이 말하는 것을 전혀 모른다고 확신하기가 아주 어렵다. 이런 사실은 다음과 같은 의문을 낳는다. 어떤 전문가가 가짜일 확률이 50%라는 것을 알 때 노골적인 비전문가를 확인하기가 그렇게 어렵다면, 연구 결과가 유명한 연구저널과 주요 신문, 신뢰할 만한 뉴스쇼에 발표되는 아주 훌륭한 학위를 갖춘 진짜 전문가들이 발표한, 별로 좋지 않은 연구 내용과 훌륭한 연구 내용을 어떻게 구별할 수 있을까? 우리는 전문가들의 주장이 신뢰할 만한지 여부를 판단할 근거가 거의 없는 것 같다.

신뢰하기 어려운 전문가 조언의 일반적인 특징

일반적으로 많은 사람들이 조언하는 전문지식은 오류율이 평균 이상이다. 특히 다음의 경우에 해당한다면 더욱 조심해야 한다. 단순하고, 보편적이고, 확정적인 경우. 가장 신중한 연구의 결론도 평균치에 근거했기 때문에 그 결론이 대부분의 사람들에게 그대로 적용될 수 있다고 확신할 수 없다는 점을 잊어서는 안 된다. 단 한 건의 연구 또는 많지만 소규모로 이루어졌거나 부주의한 연구 또는 동물실험 연구에 근거하는 경우 일단 잠정적인 결과로 간주해야 한다.

연구 결과가 획기적인 경우. 이오아니디스와 다른 베이지안학파 통계학자들이 주장하는 단순한 논리에 따르면 새로운 발견은 기존에 명확히 발견되지 않은 것이며, 이전에 분명하게 밝혀지지 않은 일반적인 이유는 그것이 실제 사실이 아니기 때문이다.

기관이 어떤 조언을 하면서 받아들이면 유익하다고 설득하는 경우. 연구의 결과에 따라 이익에 영향을 받는 개인 기업이나 산업 단체에서 직접 연구자금을 지원받았을 경우 특히 더 잠재적인 이해갈등 때문에 부작용을 일으킬 가능성이 많다.

최근의 큰 실패나 위기가 장래에 다시 발생하지 않도록 막아준다는 조언들. 이런 조언은 소 잃고 외양간 고치는 격이다. 가령 음식물에 박테리아가 발생한 후 극히 위생적으로 음식물을 다루라고 조언하거나 또는 전국적인 대출 열풍으로 경제침체가 발생한 후 저축액을 늘려야 한다고 조언한다(전체적인 저축 증가는 경기회복을 가로막을 수 있다).

신뢰도가 더 높은 전문지식의 특징

우리는 단순하지 않고, 대규모로 엄격하게 수행된 여러 연구들이 지지하고, 우리들이 대부분 진리라고 믿는 바와 일치하고, 이해갈등에서 자유롭고, 최근의 위기에 대한 반작용으로 나온 연구가 아닌 전문지식을 더 중요하게 평가해야 한다.

부정적인 연구 결과를 제시하고 연구의 제한사항을 많이 제시하며 연구 결과에 반대되는 증거를 솔직하게 밝히고 또한 연구의 배경을 제공하며 연구 결과에 대해 명확하고, 실제적이고, 핵심적인 의미를 제시하는 등 전문가들의 주장을 평가하는 점검 리스트를 우리 마음 속에 명심하기만 해도 타당성이 적어 보이는 전문지식들을 쉽게 걸러낼 수 있을 것이다.

나는 노벨상 수상자 두 명을 비롯하여 수십 명의 존경받은 과학자들도 자신의 연구 분야이지만 직접적인 관심 분야 밖의 다수의 논문을 이해하기가 힘들다고 말하는 것을 들었다. 그렇지만 저널에 발표된 논문의 잠재적 결점을 찾아내는 것이 항상 그렇게 어려운 것만은 아니다.

아울러 전문지식을 확인하는 법을 열심히 배우면 어떤 연구를 좀 더 검토해보아야 할지에 대해 직관적인 느낌을 점차 발달시킬 수 있을 것이다. 우리는 상식을 항상 신뢰하지는 않으며 좋은 조언을 들을 때 그것을 항상 이해하는 것도 아니다. 그러나 만약 우리가 현명한 방식으로 그렇게 하려고 노력한다면, 대부분 적어도 그런 방향으로 나아갈 수 있을 것이라고 생각한다.

* * *

본 도서 정보는 우수 도서 홍보를 위해 원저작권자로부터 정식인가를 얻어 도서의 내용 일부를 발췌 요약한 것으로, 저작권법에 의하여 원저작권자의 정식인가 없이 무단전재, 무단복제 및 전송을 할 수 없으며, 원본 도서의 모든 출판권과 전송권은 원저작권자에게 있음을 알려드립니다.