ë°ì´í„° 분ì„ì˜ íž˜
Àú   ÀÚ : ì´í†  ê³ ì´ì¹˜ë¡œ(ì—­:ì „ì„ ì˜)
ÃâÆÇ»ç : ì¸í”Œë£¨ì—”ì…œ
ÃâÆÇÀÏ : 2018ë…„ 04ì›”

µµ¼­Á¤º¸

■ 책 소개

 

í­ë°œí•˜ëŠ” ë¹…ë°ì´í„° 시대, ë°ì´í„°ëŠ” 어떻게 ì „ëžµì´ ë˜ëŠ”ê°€

 

2017ë…„ 출간 ì§í›„ ì¼ë³¸ 아마존 경제 1위, ì œ39회 산토리 í•™ì˜ˆìƒ ë° ì œ60회 닛케ì´ê²½ì œë„서문화ìƒì„ ë™ì‹œ 수ìƒí•˜ë©° 학계와 대중으로부터 뜨거운 ê´€ì‹¬ì„ ë°›ì€, ë¹…ë°ì´í„° 시대를 위한 ë°ì´í„° ë¶„ì„ ìž…ë¬¸ì„œ. 듣기만 í•´ë„ ì–´ë ¤ìš´ ë°ì´í„° ë¶„ì„ ì´ë¡ ë“¤ì„ í¥ë¯¸ë¡œìš´ 사례와 함께 설명해 전문가가 ì•„ë‹ˆì–´ë„ ì‰½ê²Œ ì´í•´í•  수 있ë„ë¡ ì¼ë‹¤. ì •ë§ ê·¸ ê´‘ê³ ê°€ ì œí’ˆì˜ ë§¤ì¶œì„ ë†’ì˜€ë‹¤ê³  íŒë‹¨í•  수 있는지, 오바마 대선 캠프는 ì–´ë–¤ ë°ì´í„° 분ì„ì„ í™œìš©í•´ì„œ 6천만 ë‹¬ëŸ¬ì˜ í›„ì›ê¸ˆì„ ‘ë”’ 모았는지, 정부가 ì „ê¸°ìš”ê¸ˆì„ ì–¼ë§ˆë‚˜ ì¸ìƒí•´ì•¼ 절전 효과가 ë°œìƒí•˜ëŠ”지, 구글과 우버는 ë¹…ë°ì´í„°ë¥¼ 활용해 ì–´ë–¤ 비즈니스 ì „ëžµì„ ì´ëŒì–´ëƒˆëŠ”지 등 실제 사례를 통해 ë°ì´í„° 분ì„ì˜ ì„¸ê³„ë¥¼ 경험케 한다. ì´ ì±…ì„ í†µí•´ ì˜ë¯¸ 없는 숫ìžì˜ ë‚˜ì—´ì— ë¶ˆê³¼í•´ ë³´ì´ëŠ” ë°ì´í„°ê°€ 어떻게 똑똑한 ì „ëžµ, 세ìƒì„ 바꾸는 정책으로 진화하게 ë˜ëŠ”지를 ì´í•´í•˜ê²Œ ë  ê²ƒì´ë‹¤.

 

â–  ì €ìž ì´í†  ê³ ì´ì¹˜ë¡œ
ì¤‘êµ­ì˜ ë¯¸ì„¸ë¨¼ì§€, ë™ì¼ë³¸ 지진 후 ì¼ë³¸ ë‚´ ì „ë ¥ 공급 부족 문제 등 뜨거운 ê´€ì‹¬ì´ ìŸì•„지는 환경 ì—너지 ì •ì±… ë¶„ì•¼ì˜ ì‹¤ì¦ ì—°êµ¬ì™€ ë°ì´í„° 분ì„으로 주목받는 ì Šì€ ê²½ì œí•™ìž. 중국ì¸ë“¤ì€ 미세먼지 1마ì´í¬ë¡œê·¸ëž¨ì„ 줄ì´ëŠ”ë° ì–¼ë§ˆë¥¼ 지불할 ìš©ì˜ê°€ 있는지, 부족한 ì „ë ¥ 공급 문제를 해결하기 위해 ì¼ë³¸ 정부가 ì „ë ¥ ê°€ê²©ì„ ì–¼ë§ˆë‚˜ 올려야 절전 효과를 ì–»ì„ ìˆ˜ 있ì„지 ë“±ì˜ ì‹¤í—˜ ë¶„ì„ ê²°ê³¼ë¥¼ 논문으로 발표해 숫ìžì— 불과한 ë°ì´í„°ê°€ 어떻게 똑똑한 전략과 ì •ì±…ì´ ë˜ëŠ”지, 어떻게 세ìƒì„ 바꿀 수 있는지를 몸소 ì¦ëª…하고 있는 현장형 분ì„가다.

 

ì¼ë³¸ì—ì„œ 태어나 êµí† ëŒ€í•™êµ 경제학부를 졸업하고 미국 캘리í¬ë‹ˆì•„ëŒ€í•™êµ ë²„í´ë¦¬ìº í¼ìŠ¤ì—ì„œ ë°•ì‚¬ê³¼ì •ì„ ìˆ˜ë£Œí–ˆë‹¤. 스탠í¼ë“œëŒ€í•™êµ 경제정책연구소 연구ì›, ë³´ìŠ¤í„´ëŒ€í•™êµ ë¹„ì¦ˆë‹ˆìŠ¤ìŠ¤ì¿¨ ì¡°êµìˆ˜ë¥¼ ê±°ì³ 2015년부터 ì‹œì¹´ê³ ëŒ€í•™êµ í•´ë¦¬ìŠ¤ìŠ¤ì¿¨(공공정책대학ì›)ì—ì„œ ê°•ì˜í•˜ê³  있다. 전미경제연구소(NBER) 연구ì›ê³¼ 경제산업연구소(RIETI) 연구ì›ì„ 겸임하고 있으며 전문 분야는 환경ì—너지 경제학, ì‚°ì—…ì¡°ì§ë¡ , ì‘용계량경제학ì´ë‹¤. 시카고대학êµì—서는 환경 ì •ì±…, ì—너지 ì •ì±…ì˜ ì‹¤ì¦ ì—°êµ¬ë¥¼ 수행하는 한편 ë°ì´í„° ë¶„ì„ ì´ë¡ ê³¼ ì‘ìš©ì— ê´€í•œ ê°•ì˜ë¥¼ 하고 있다.

 

2017ë…„ ì¼ë°˜ì¸ì„ 대ìƒìœ¼ë¡œ ì²˜ìŒ ì§‘í•„í•œ ì´ ì±… 《ë°ì´í„° 분ì„ì˜ íž˜ã€‹ìœ¼ë¡œ ë‹¨ë²ˆì— ì œ39회 산토리 학예ìƒê³¼ ì œ60회 닛케ì´ê²½ì œë„서문화ìƒì„ ë™ì‹œ 수ìƒí•˜ë©° 학계와 ëŒ€ì¤‘ì˜ ëœ¨ê±°ìš´ 스í¬íŠ¸ë¼ì´íŠ¸ë¥¼ 받았다. ê¸°ì¡´ì˜ ë°ì´í„° 분ì„서와 다르게 수ì‹ì„ 사용하지 ì•Šê³ ë„ ë°ì´í„° 분ì„ì´ ë¬´ì—‡ì¸ì§€ 파악할 수 있ë„ë¡ ì§‘í•„í•´ ì¼ë³¸ ë‚´ì—ì„œ 8만 부 ì´ìƒ íŒë§¤ë˜ë©° 아마존 재팬 경제 분야 1위, 2017ë…„ ì‹ ì„œëŒ€ìƒ 6ìœ„ì— ì„ ì •ë다.

 

â–  ì—­ìž ì „ì„ ì˜
í•œêµ­ì™¸êµ­ì–´ëŒ€í•™êµ ì¼ë³¸ì–´ê³¼ë¥¼ 졸업하고 현재 ì¶œíŒ ì „ë¬¸ 번역가로 í™œë™ ì¤‘ì´ë‹¤. 옮긴 책으로 《ê°ì •ì ìœ¼ë¡œ 받아들ì´ì§€ 않는 연습》, 《ë„쿄대 êµìˆ˜ê°€ ì œìžë“¤ì—게 주는 쓴소리》, 《쓸ë°ì—†ëŠ” 걱정 따위》, 《카리스마 CEOì˜ í•¨ì •ã€‹, 《ì¼ìƒìƒí™œ ì†ì— 숨어 있는 수학》, 《개ë…부터 다시 시작하는 Reset! 수학》(ì „ 4권) ë“±ì´ ìžˆë‹¤.

 

â–  ê°ìˆ˜ ì´í•™ë°°
ì—°ì„¸ëŒ€í•™êµ ì‘용통계학과(통계학 ì „ê³µ)를 졸업하고 ë™ ëŒ€í•™ì›ì—ì„œ ì„사, 미국 미네소타대학êµì—ì„œ 통계학으로 박사학위를 받았다. 한국통계학회 ì´ì‚¬, ì—°ì„¸ëŒ€í•™êµ ê²½ì œëŒ€í•™ì› ì›ìž¥ ë“±ì„ ì§€ëƒˆë‹¤. 현재 연세대 ì‘용통계학과 êµìˆ˜ë¡œ ìž¬ì§ ì¤‘ì´ë©° 한국ìžë£Œë¶„ì„학회 ë¶€íšŒìž¥ì„ ì—­ìž„í•˜ê³  있다. 국민안전처 ë“±ì˜ ì—¬ëŸ¬ 정부기관ì—ì„œ ë°ì´í„° 분ì„ê³¼ í†µê³„ì— ê´€í•œ ìžë¬¸ì„ 해왔다. ë¹…ë°ì´í„° 분ì„ì— ëŒ€í•œ êµ­ë‚´ ìµœê³ ì˜ ê¶Œìœ„ìžë¡œ ì†ê¼½ížŒë‹¤.

 

■ 차례
ì´ ì±…ì„ ì¶”ì²œí•˜ë©° _ ë¹…ë°ì´í„° 시대를 준비하는 가장 유용한 ì±…ì„ ë§Œë‚˜ë‹¤ _ ì´í•™ë°°
í•œêµ­ì–´íŒ ì„œë¬¸
프롤로그 여기 ë°ì´í„°ê°€ 있습니다. 분ì„í•  줄 아십니까?

 

1장 ì •ë§ ê´‘ê³ ê°€ ì•„ì´ìŠ¤í¬ë¦¼ ë§¤ì¶œì„ ì˜¬ë ¸ì„까 : ë°ì´í„°ì˜ ìƒê´€ê´€ê³„는 ì¸ê³¼ê´€ê³„ê°€ 아니다
ì–´ëŠ íšŒì‚¬ì—ì„œ 광고를 집행했고, ë§¤ì¶œì´ ì˜¬ëžë‹¤. ë§¤ì¶œì´ ìƒìŠ¹í•œ ì›ì¸ì€ ê´‘ê³  때문ì¼ê¹Œ? 그럴 ìˆ˜ë„ ìžˆê³  ì•„ë‹ ìˆ˜ë„ ìžˆë‹¤. 광고와 매출 사ì´ì— ‘ìƒê´€ê´€ê³„’는 있다 í•´ë„ â€˜ì¸ê³¼ê´€ê³„’가 반드시 있는 ê²ƒì€ ì•„ë‹ˆë¼ëŠ” ë§ì´ë‹¤. ê·¸ë™ì•ˆ ë‹¹ì‹ ì´ ì†ì•„ì™”ë˜ ë¬´ìˆ˜í•œ â€˜ìž˜ëª»ëœ ë°ì´í„° 분ì„â€™ì€ ëª¨ë‘ ì´ ì§€ì ì—ì„œ 시작ëœë‹¤.

 

2장 오바마 캠프는 어떻게 후ì›ê¸ˆì„ ‘ë”’ 모았ì„까 : ìµœì„ ì˜ ë°ì´í„° 분ì„법, RCT
2008ë…„ 미국 오바마 대선 캠프는 구글 ì¶œì‹ ì˜ ë°ì´í„° ë¶„ì„ ì „ë¬¸ê°€ë¥¼ ì˜ìž…했다. 그는 후ì›ê¸ˆ 모금 웹페ì´ì§€ë¥¼ 무려 24ê°œì˜ ì¡°í•©ìœ¼ë¡œ 설계했다. ê·¸ ê²°ê³¼ 약 6000만 ë‹¬ëŸ¬ì˜ í›„ì›ê¸ˆì„ ‘추가로’ íšë“했다. 가장 투명하고 가장 확실한 ë°ì´í„° 분ì„법, RCT(무작위비êµì‹œí–‰). 최ì ì˜ ì „ëžµì„ ì´ëŒì–´ë‚´ëŠ” 방법ì´ë‹¤. 단, ë¹„ìš©ì´ ë§Žì´ ë“ ë‹¤!

 

3장 70세가 ë˜ìž 병ì›ì„ ë§Žì´ ê°€ê¸° 시작했다 : 급격한 ë³€í™”ì˜ â€˜ê²½ê³„ì„ â€™ì„ ì°¾ëŠ” RDë””ìžì¸
장수하는 ë…¸ì¸ì´ ë§Žì€ ì¼ë³¸ì—서는 70세를 전후로 ì˜ë£Œì„œë¹„스 ì´ìš©ì´ 급격히 ì í”„한다. 69세와 70세 사ì´ì— 무슨 ‘경계’가 있는 것ì¼ê¹Œ. 본ì¸ì´ 부담하는 ì˜ë£Œë¹„ ë¹„ìœ¨ì´ 70세부터 10%ë¡œ 줄어드는 게 ì´ìœ ì¼ê¹Œ? 그게 ì´ìœ ë¼ëŠ” 걸 어떻게 ìž…ì¦í•  수 있ì„까? 급격한 ë³€í™”ì˜ â€˜ê²½ê³„ì„ â€™ì´ ìžˆëŠ” ë°ì´í„° 분ì„ë²•ì´ RDë””ìžì¸(회귀불연ì†ì„¤ê³„법)ì´ë‹¤.

 

4장 규제 ë•Œë¬¸ì— ìžë™ì°¨ê°€ 무거워졌다고? : ê³„ë‹¨ì‹ ë³€í™”ê°€ 있는 곳엔 집군분ì„
ê°ì¢… 규제나 ì„¸ê¸ˆì„ ì ìš©í•  때는 ì¼ì • êµ¬ê°„ì„ ë¬¶ëŠ” ‘계단ì‹â€™ ì •ì±…ì´ë‚˜ ì œë„ë“¤ì´ ë§Žë‹¤. ì´ë ‡ê²Œ 구간별로 나뉘는 ë°ì´í„°ë“¤ì€ 어떻게 분ì„해야 할까. 특히 ‘ì¸ì„¼í‹°ë¸Œ 제넒가 ì´ë ‡ê²Œ 설계ë˜ì–´ ìžˆì„ ë•ŒëŠ” ì–´ë–¤ 현ìƒì´ 벌어질까. ìžë™ì°¨ 무게와 연비 ê·œì œì˜ ì‚¬ë¡€ë¥¼ 통해, 집군분ì„ì„ ì•Œì•„ë³´ìž.

 

5장 소ë“세를 내리면 ì´ë¯¼ìžê°€ 늘어날까 : ì‹œê°„ì˜ íë¦„ì— ë”°ë¥¸ íŒ¨ë„ ë°ì´í„° 분ì„
1991ë…„ ë´ë§ˆí¬ëŠ” 우수한 ì™¸êµ­ì¸ ë…¸ë™ìžë¥¼ 유입시키기 위해 세제 ê°œí˜ì„ 실시했다. ì´ë¡œ ì¸í•´ ì—°ì†Œë“ 1ì–µ ì´ìƒì˜ ì™¸êµ­ì¸ ë…¸ë™ìžì˜ 소ë“세가 ëŒ€í­ ì¤„ì–´ë“¤ê²Œ ë˜ì—ˆë‹¤. ì´ë¯¼ìžìˆ˜ëŠ” 늘어났ì„까? 과연 세제 ê°œí˜ ë•Œë¬¸ì¼ê¹Œ? íŒ¨ë„ ë°ì´í„° 분ì„ì€ ë°”ë¡œ ë³µìˆ˜ì˜ ì§‘ë‹¨, ë³µìˆ˜ì˜ ê¸°ê°„ì— ëŒ€í•œ ë°ì´í„°ë¥¼ 분ì„í•˜ê¸°ì— ì í•©í•˜ë‹¤.

 

6장 êµ¬ê¸€ì€ 41ê°€ì§€ì˜ íŒŒëž€ìƒ‰ì„ ê³ ë¯¼í–ˆë‹¤ : ë°ì´í„°ëŠ” 어떻게 ì „ëžµì´ ë˜ëŠ”ê°€
실리콘밸리는 ê·¸ ì–´ë–¤ 곳보다 ë°ì´í„° 분ì„ì´ í™œë°œí•œ 지역ì´ë‹¤. 구글, 우버, 페ì´ìŠ¤ë¶ 등 ë§Žì€ ITê¸°ì—…ë“¤ì´ ì—„ì²­ë‚œ ë¹…ë°ì´í„°ë¥¼ 확보하고 ì´ë¥¼ 비즈니스 모ë¸ì— 활용하면서 무한한 시장과 만났다. 비단 ê¸°ì—…ë§Œì˜ ì¼ì´ 아니다. ì „ 세계ì ìœ¼ë¡œ ì •ë¶€ë„ ë¯¼ê°„ì²˜ëŸ¼ ë°ì´í„°ë¥¼ 활용해 효과ì ì¸ ì •ì±… ìž…ì•ˆì„ í•˜ê¸° 시작했다. ë°ì´í„°ê°€ 막강한 전략으로 탈바꿈하고 있다.

 

7장 그럼ì—ë„ ë°ì´í„° 분ì„ì€ ë¶ˆì™„ì „í•˜ë‹¤ : 불량 분ì„ì„ í”¼í•˜ê¸° 위한 방법
ë°ì´í„°ë¥¼ 분ì„하는 ê³¼ì •ì€ ì´ˆë°¥ 장ì¸ì´ ì´ˆë°¥ì„ ë§Œë“œëŠ” 과정과 닮았다. 솜씨 ì¢‹ì€ ìž¥ì¸ì´ ì´ˆë°¥ì„ ë§Œë“¤ë”ë¼ë„ 재료가 형편없으면 ë¨¹ì„ ìˆ˜ 없는 초밥ì´ë“¯ì´, ë°ì´í„° ìžì²´ì— 문제가 있다면 ë¶„ì„ ê¸°ë²•ì´ íƒì›”í•´ë„ ì‹ ë¢°í•  만한 ê²°ë¡ ì„ ë„출해낼 수 없다. ì´ë°–ì— ì™¸ì  íƒ€ë‹¹ì„± 확보 문제나 ì¶œíŒ íŽ¸í–¥ ë“±ì˜ í•œê³„ 등 â€˜ìž˜ëª»ëœ ìž¬ë£Œâ€™ë¥¼ ì„ íƒí•˜ì§€ ì•Šì„ ìˆ˜ 있는 ë°©ë²•ì€ ë¬´ì—‡ì¼ê¹Œ.

 

ì—필로그
ë” ì•Œê³  ì‹¶ì€ ì´ë“¤ì„ 위한 참고ë„ì„œ
부ë¡
참고문헌

µµ¼­¿ä¾à
ë°ì´í„° 분ì„ì˜ íž˜


프롤로그_ 여기 ë°ì´í„°ê°€ 있습니다. 분ì„í•  줄 아십니까?

ì¼ìƒì—ì„œ ë°ì´í„° 분ì„ì´ í•„ìš”í•´ì¡Œë‹¤

ë¹…ë°ì´í„°ë¡œ ìƒì§•ë˜ëŠ” ì •ë³´ê¸°ìˆ ì˜ ë°œì „ê³¼ 통신 í˜ëª…ì´ ëˆˆì•žì— íŽ¼ì³ì§€ê³  있다. ìš°ë¦¬ì˜ ì¼ìƒìƒí™œì´ë‚˜ ë¹„ì¦ˆë‹ˆìŠ¤ì— ëŒ€í•œ 다양한 ì •ë³´ê°€ 매 순간 ë°ì´í„°ë¡œ 기ë¡ëœë‹¤. ì´ëŠ” ê°œì¸ê³¼ 기업, 정부가 비êµì  쉽게 ëŒ€ëŸ‰ì˜ ë°ì´í„°ë¥¼ ì†ì— ë„£ì„ ìˆ˜ 있게 ë˜ì—ˆìŒì„ ì˜ë¯¸í•œë‹¤. ì´ëŸ° 현ìƒì€ 우리 ì‚¶ì— ì–´ë–¤ 변화를 ì¼ìœ¼í‚¬ê¹Œ? ì „ë¬¸ì§ ì¢…ì‚¬ìžë¿ ì•„ë‹ˆë¼ ë‹¤ì–‘í•œ ë¶„ì•¼ì˜ ì§ìž¥ì¸ì—게 ìˆ˜ì—†ì´ ë§Œë“¤ì–´ì§€ëŠ” ë°ì´í„°ë¥¼ ì´í•´í•˜ê³  활용할 줄 아는 힘, 즉 ë°ì´í„° 분ì„ë ¥ì´ í•„ìš”í•´ì¡Œë‹¤ê³  í•  것ì´ë‹¤.


â€œë‹¤ìŒ ë¶„ê¸°ì— ë§¤ì¶œ ì¦ê°€ë¥¼ 위해 ì–´ë–¤ ê´‘ê³  ì „ëžµì„ ì¨ì•¼ 할지 알고 싶군요. 과거 ê´‘ê³ ì˜ ë§¤ì¶œ ë°ì´í„°ë¥¼ 분ì„í•´ì„œ ê´‘ê³ ê°€ ë§¤ì¶œì— ë¯¸ì¹˜ëŠ” ì˜í–¥ì„ 조사해주세요.â€


ì–´ëŠ ê¸°ì—…ì˜ ì˜ì—…부나 마케팅부ì—ì„œ í”히 ë“¤ì„ ìˆ˜ 있는 대화다. ì¸ì‚¬ë¶€ì—ì„œë„ ì´ëŸ° 대화가 오간다. “사ì›ë“¤ì˜ 업무 íš¨ìœ¨ì„ ë†’ì¼ ë°©ë²•ì´ ê¶ê¸ˆí•˜êµ°ìš”. 사ì›ì´ 회사 ë‚´ì—ì„œ 근무한 시간과 ì™¸ê·¼ì— ì‚¬ìš©í•œ 시간 그리고 ì˜ì—… 실ì ì„ ë³´ë©´ ë…¸ë™ì‹œê°„ì´ ì˜ì—… 실ì ì— 미친 ì˜í–¥ì„ ì•Œ 수 있지 ì•Šì„까요?â€


ì´ëŸ° 변화가 찾아온 ê³³ì€ ê¸°ì—…ë§Œì´ ì•„ë‹ˆë‹¤. 관공서나 í•™êµ ë“± 비ì˜ë¦¬ê¸°ê´€ì—ì„œ 근무하는 ì‚¬ëžŒë“¤ë„ ì´ì „보다 훨씬 ë§Žì€ ë°ì´í„°ë¥¼ 접하게 ë˜ë©´ì„œ ì§ì—… ë°ì´í„°ë¥¼ 분ì„하거나 ëˆ„êµ°ê°€ì˜ ë°ì´í„° ë¶„ì„ ê²°ê³¼ë¥¼ ì´ìš©í•  ì¼ì´ 많아졌다. ì¼ë³¸ì˜ 관공서ì—서는 ì´ëŸ° ë§ì„ í”히 ë“¤ì„ ìˆ˜ 있다. â€œìž‘ë…„ì— ì‹¤ì‹œí•œ 보고금 ì •ì±…ì´ ì–´ëŠ ì •ë„ íš¨ê³¼ê°€ 있었는지 분ì„í•´ì„œ ìž¬ë¬´ì„±ì— ë³´ê³ í•´ì•¼ 합니다. 다ìŒì£¼ê¹Œì§€ ë³´ì¡°ê¸ˆì€ ë°›ì€ ê¸°ì—…ì˜ ë°ì´í„°ë¥¼ 분ì„í•´ 주세요.â€


마찬가지로 í•™êµ ê°™ì€ êµìœ¡ 현장ì—ì„œë„ ìˆ˜ì—… í‰ê°€ ë“±ì´ ì¤‘ìš”í•´ì§€ë©´ì„œ ì´ëŸ° ë§ì„ 쉽게 듣게 ë  ê²ƒì´ë‹¤. “어떤 êµìž¬ê°€ 가장 효과가 있었는지 알아ë´ì•¼ê² ì–´ìš”. í•™ìƒë“¤ì˜ ì´í•´ë„ ë°ì´í„°ë¥¼ 모아 분ì„해봅시다.â€


재료가 ê°™ì•„ë„ ìž¥ì¸ì˜ ì´ˆë°¥ì´ ë§›ìžˆëŠ” 까닭

ë°ì´í„° 분ì„ì—는 초밥 장ì¸ê³¼ ê°™ì€ ë§ˆìŒê°€ì§ì´ 필요하다. 맛있는 ì´ˆë°¥ì„ ë§Œë“¤ë ¤ë©´ 세 가지가 필요하다고 한다. 첫 번째는 훌륭한 재료를 준비하는 ì¼ì´ê³  ë‘ ë²ˆì§¸ëŠ” ê·¸ ìž¬ë£Œì˜ ê°ì¹ ë§›ì„ 살릴 칼솜씨를 갖추는 ì¼ì´ë‹¤. 아무리 훌륭한 재료ë¼ë„ ì ì ˆí•œ ê°ë„ë¡œ 잘ë¼ë‚´ëŠ” ê¸°ìˆ ì´ ì—†ìœ¼ë©´ ê°ì¹ ë§›ì´ 나지 않는다고 한다. 마지막 세 번째는 ëˆˆì•žì˜ ì†ë‹˜ì´ ë°”ë¼ëŠ” 맛ì´ë‚˜ 요리를 제공하는 것ì´ë‹¤.


ë°ì´í„° 분ì„ì— ëŒ€í•´ì„œë„ ë˜‘ê°™ì€ ì´ì•¼ê¸°ë¥¼ í•  수 있다. 정보통신 í˜ëª…ì— ì˜í•´ ë§Žì€ ì‚¬ëžŒì´ ë¹„êµì  쉽게 ì¢‹ì€ ë°ì´í„°(재료)를 ì†ì— 넣게 ë˜ì—ˆë‹¤. ì •ë§ ë©‹ì§„ ì¼ì´ë‹¤. 하지만 ë°ì´í„°ë¥¼ ì–´ë–¤ ê°ë„ë¡œ ìžë¥¼ì§€ë¥¼ 결정하는 ê°ê°ì´ë‚˜ ì‚¬ê³ ë²•ì„ ìµížˆì§€ 않으면 ì• ì¨ êµ¬í•œ 재료를 살릴 수가 없게 ëœë‹¤. ë˜ ì•„ë¬´ë¦¬ 멋지게 ë°ì´í„°ë¥¼ 분ì„í–ˆë”ë¼ë„ ì´ëŸ° ì§ˆë¬¸ì— ë‹µì„ ì£¼ì§€ 못한다면 잔뜩 ëª¨ì€ ë°ì´í„°ëŠ” 보기ì—는 ì¢‹ì•„ë„ ì•„ë¬´ 쓸모 없는, 그야ë§ë¡œ ë¹› ì¢‹ì€ ê°œì‚´êµ¬ê°€ ë˜ì–´ë²„린다.



1장 ì •ë§ ê´‘ê³ ê°€ ì•„ì´ìŠ¤í¬ë¦¼ ë§¤ì¶œì„ ì˜¬ë ¸ì„까 : ë°ì´í„°ì˜ ìƒê´€ê´€ê³„는 ì¸ê³¼ê´€ê³„ê°€ 아니다

ë‹¹ì‹ ì´ ì•„ì´ìŠ¤í¬ë¦¼ íšŒì‚¬ì˜ ë§ˆì¼€íŒ…ë¶€ì— ì†Œì†ë˜ì–´ 있다고 하ìž. 현재 회사ì—서는 ë§¤ì¶œì„ ë†’ì´ê¸° 위해 웹사ì´íŠ¸ì— 광고를 ë„우려고 한다. ë‹¹ì‹ ì€ ìƒì‚¬ë¡œë¶€í„° 광고를 집행하면 ë§¤ì¶œì´ ì–¼ë§ˆë‚˜ 오를지 ë°ì´í„°ë¥¼ 분ì„하ë¼ëŠ” 지시를 받았다. ì´ë¥¼ 위해 ê³¼ê±°ì˜ ë°ì´í„°ë¥¼ 살펴본 ë‹¹ì‹ ì€ ë‹¤ìŒê³¼ ê°™ì€ ì‚¬ì‹¤ì„ ì•Œê²Œ ë˜ì—ˆë‹¤.


2010ë…„ 회사가 ì•„ì´ìŠ¤í¬ë¦¼ 광고를 ì¸í„°ë„·ì— ë„웠다. 그랬ë”니 광고를 하지 ì•Šì•˜ë˜ 2009ë…„ì— ë¹„í•´ ë§¤ì¶œì´ 40í¼ì„¼íŠ¸ 늘었다. 그래서 ë‹¹ì‹ ì€ ìƒì‚¬ì—게 다ìŒê³¼ ê°™ì´ ë³´ê³ í–ˆë‹¤. â€œë¶„ì„ ê²°ê³¼, ê´‘ê³  ë•ë¶„ì— 2010ë…„ ë§¤ì¶œì´ 2009ë…„ì— ë¹„í•´ 40í¼ì„¼íŠ¸ ìƒìŠ¹í–ˆìŠµë‹ˆë‹¤.†하지만 ì´ ê²°ë¡ ì€ í‹€ë ¸ì„ ìˆ˜ë„ ìžˆë‹¤. 왜 그럴까? 여기서 문제는 ë‹¹ì‹ ì˜ ë°ì´í„° 분ì„ì—ì„œ 다ìŒê³¼ ê°™ì€ ì¸ê³¼ê´€ê³„(causal relationship í˜¹ì€ causalityë¼ê³  한다)를 ì´ëŒì–´ë‚¼ 수 있ëŠëƒëŠ” 것ì´ë‹¤.


예를 들어 2010ë…„ 여름 날씨가 2009ë…„ 여름보다 훨씬 무ë”웠다면 어떨까? 실제로 ì¼ë³¸ì˜ 경우 2009ë…„ ì—¬ë¦„ì€ í‰ë…„보다 서늘했고 2010ë…„ ì—¬ë¦„ì€ í˜¹ë…하게 ë”웠다. 그렇다면 40í¼ì„¼íŠ¸ì˜ 매출 ìƒìŠ¹ì€ ê´‘ê³ ì˜ ì˜í–¥ì´ ì•„ë‹ˆë¼ ë‹¨ìˆœížˆ 기오니 ë†’ì•˜ë˜ íƒ“ì€ ì•„ë‹ˆì—ˆì„까?


그밖ì—ë„ ë‹¤ì–‘í•œ ì´ìœ ë¥¼ ìƒê°í•  수 있다. ì´ë¥¼í…Œë©´ ì¼ë³¸ì—서는 2008ë…„ 세계 금융위기 ì´í›„ 소비가 얼어붙었다가 2010ë…„ 즈ìŒë¶€í„° 조금씩 회복세를 ë³´ì´ê¸° 시작했다. 그렇다면 40í¼ì„¼íŠ¸ì˜ 매출 ìƒìŠ¹ì€ ê´‘ê³ ì˜ íš¨ê³¼ê°€ ì•„ë‹ˆë¼ ë‹¨ìˆœížˆ ì „ì²´ì ì¸ 경기가 좋아지면서 소비ìžë“¤ì˜ 씀씀ì´ê°€ 늘어난 íƒ“ì€ ì•„ë‹ˆì—ˆì„까?


ì¸ê³¼ê´€ê³„는 ìƒê´€ê´€ê³„와 다르다

ë‘ ê°€ì§€ ë°ì´í„°ê°€ 서로 유기ì ìœ¼ë¡œ 움ì§ì¼ 경우 통계학ì—서는 ‘ìƒê´€ê´€ê³„ê°€ 있다’고 표현한다. 사실 ë°ì´í„°ê°€ 있다면 ìƒê´€ê´€ê³„를 계산하기는 쉽다. 그래프를 그려서 ë‘ ë°ì´í„°ì˜ ê´€ë ¨ì„±ì„ ì¡°ì‚¬í•  ìˆ˜ë„ ìžˆê³  ì—‘ì…€ ê°™ì€ ì†Œí”„íŠ¸ì›¨ì–´ë¡œ ìƒê´€ê´€ê³„ ê°’ì„ ê°„ë‹¨ížˆ 계산할 ìˆ˜ë„ ìžˆë‹¤.


문제는 X와 Yì˜ ìƒê´€ê´€ê³„ê°€ ë°í˜€ì ¸ë„ 그것만으로는 ì¸ê³¼ê´€ê³„ê°€ 있다고 ë§í•  수 없다는 ì ì´ë‹¤.


엉터리 ë°ì´í„° 분ì„ì´ ë„˜ì³ë‚œë‹¤

뉴스나 신문ì—는 ìƒê´€ê´€ê³„와 ì¸ê³¼ê´€ê³„를 혼ë™í•œ 수ìƒí•œ ë¶„ì„ ê²°ê³¼ê°€ 넘ì³ë‚œë‹¤. ë”ìš± 문제는 수ìƒì©ì€ ë¶„ì„ ê²°ê³¼ì— ê·¼ê±°í•œ 단순한 ìƒê´€ê´€ê³„ê°€ 마치 ì¸ê³¼ê´€ê³„처럼 í¬ìž¥ë˜ì–´ 시청ìžë‚˜ ë…ìžë¥¼ ì†ì´ëŠ” 경우가 많다는 ì ì´ë‹¤.


다ìŒì€ í•„ìžê°€ ì½ì€ 신문기사ì—ì„œ 발췌한 것ì´ë‹¤.


ì–´ëŠ ê¸°ì—…ì—서는 ì‚¬ìž¥ì´ ë°”ë€ ë‹¤ìŒ í•´ì— ì£¼ê°€ê°€ ìƒìŠ¹í–ˆë‹¤. ì´ê²ƒì€ 새로운 ì‚¬ìž¥ì˜ ê°œí˜ì´ ì´ë¤„낸 성과다.

-ì‚¬ìž¥ì´ ë°”ë€ ê²ƒ ë§ê³ ë„ 주가가 ìƒìŠ¹í•œ 다른 ìš”ì¸ì´ ìžˆì„ ìˆ˜ 있다.


정부가 수억 ì—”ì˜ ë³´ì¡°ê¸ˆì„ êµë¶€í•œ 후 ê° ì§€ì—­ì˜ ì†Œë¹„ê°€ ì¦ê°€í–ˆë‹¤. ì´ê²ƒì€ ë³´ì¡°ê¸ˆì´ ì§€ì—­ 경제를 활성화한 ì¦ê±°ë‹¤.

-보조금 외ì—ë„ ì†Œë¹„ê°€ ì¦ê°€í•œ 다른 ìš”ì¸ì´ ìžˆì„ ìˆ˜ 있다.


ì–´ëŠ í•™êµê°€ 새로운 êµê³¼ê³¼ì •ì„ ë„입했다. ê·¸ëŸ¬ìž í•™ìƒì˜ ì´í•´ë„와 성ì ì´ ì „ë…„ë„ì— ë¹„í•´ í–¥ìƒë˜ì—ˆë‹¤. ì´ê²ƒì€ 새로운 êµê³¼ê³¼ì •ì´ ê³¼ê±°ì˜ êµê³¼ê³¼ì •ë³´ë‹¤ 우수하다는 ì˜ë¯¸ë‹¤.

-êµê³¼ê³¼ì • ë„ìž… 외ì—ë„ ì„±ì ì— ì˜í–¥ì„ 미칠 만한 다른 변화가 ìžˆì—ˆì„ ìˆ˜ 있다.


ë°ì´í„° ë¶„ì„ ê²°ê³¼ 아파트 ê³ ì¸µì— ì‚¬ëŠ” ì—¬ì„±ì˜ ë¶ˆìž„ë¥ ì´ ë†’ë‹¤ëŠ” ì‚¬ì‹¤ì´ ë°í˜€ì¡Œë‹¤. 그러므로 ì•„ì´ë¥¼ 낳고 ì‹¶ì€ ì—¬ì„±ì€ ì•„íŒŒíŠ¸ ê³ ì¸µì— ì‚´ì§€ 않는 ê²ƒì´ ì¢‹ë‹¤.

-아파트 ê³ ì¸µì— ì‚¬ëŠ” 여성과 ì €ì¸µì— ì‚¬ëŠ” ì—¬ì„±ì€ ì†Œë“, ì—°ë ¹, ì§ì—… 등 다양한 ìš”ì¸ì´ 다를 ê°€ëŠ¥ì„±ì´ ìžˆë‹¤. ë”°ë¼ì„œ ê³ ì¸µì— ì‚¬ëŠ” ê²ƒì´ ì§„ì§œ ë¶ˆìž„ì˜ ì›ì¸ì¸ì§€ëŠ” 분명하지 않다.


ì „ë ¥ ì‹œìž¥ì„ ìžìœ í™”í•œ êµ­ê°€ì˜ ì „ë ¥ ê°€ê²©ì€ ê·¸ë ‡ì§€ ì•Šì€ êµ­ê°€ì— ë¹„í•´ 비싸다. ë”°ë¼ì„œ ì „ë ¥ ì‹œìž¥ì„ ìžìœ í™”하면 ì „ë ¥ ê°€ê²©ì´ ì˜¬ë¼ê°„다.

-ì „ë ¥ ì‹œìž¥ì„ ìžìœ í™”í•œ 국가와 그렇지 ì•Šì€ êµ­ê°€ëŠ” 다양한 ìš”ì¸ì´ 다르므로 ìžìœ í™” ìžì²´ê°€ ì „ë ¥ ê°€ê²©ì— ì˜í–¥ì„ 주었는지는 분명하지 않다. ì• ì´ˆì— ì „ë ¥ ê°€ê²©ì´ ë†’ì€ êµ­ê°€ì¼ìˆ˜ë¡ ìžìœ í™”ì— ì£¼ë ¥í•œë‹¤ëŠ” ì—­ì¸ê³¼ê´€ê³„ë„ ìžˆì„ ìˆ˜ 있다.


ì´ëŸ° 기사를 ì–¼í• ë³´ê³  지나치면 모든 ê²ƒì„ ì¸ê³¼ê´€ê³„ë¡œ 파악하기 쉽다. 그러나 조금만 ìƒê°í•´ë³´ë©´ ‘’Xê°€ Yì— ì˜í–¥ì„ 미쳤다고 결론지었지만 다른 ìš”ì¸ Vë„ ì˜í–¥ì„ 미치지 않았ì„까?, ‘어쩌면 Yê°€ Xì— ì˜í–¥ì„ ë¯¸ì³¤ì„ ìˆ˜ë„ ìžˆì§€ ì•Šì„까?’ 하는 ì˜ë¬¸ì´ ìƒê¸´ë‹¤. 하지만 안타ê¹ê²Œë„ 신문ì´ë‚˜ í…”ë ˆë¹„ì „ì— ë‚˜ì˜¤ëŠ” ë§Žì€ ì£¼ìž¥ì´ ìƒê´€ê´€ê³„를 ì¸ê³¼ê´€ê³„처럼 í¬ìž¥í•˜ê³  있다.


잠복변수 V를 ëª¨ë‘ ì°¾ì„ ìˆ˜ 있ì„까?

ìƒê´€ê´€ê³„와 ì¸ê³¼ê´€ê³„를 구분하는 전통ì ì¸ ë°©ë²•ì´ ìžˆë‹¤. ‘잠복변수 V(분ì„ì—ì„œ 놓치거나 고려하지 ì•Šì€ ë³€ìˆ˜, ì›ì„œì—서는 Vë°ì´í„°ë¼ 표기했으나 학계ì—ì„œ 통용ë˜ëŠ” 잠복변수 lurking variable ã…FH 변역함-옮긴ì´)’를 최대학 ëª¨ì€ ë‹¤ìŒ í†µê³„ë¶„ì„ì— ì˜í•´ Vì˜ ì˜í–¥ì„ 배제하는 것ì´ë‹¤. 문제는 아무리 ë§Žì€ ìž ë³µë³€ìˆ˜ V를 ëª¨ì•„ë„ ë‹¤ë¥¸ ìš”ì¸ì´ ì˜í–¥ì„ ë¯¸ì³¤ì„ ê°€ëŠ¥ì„±ì„ ì™„ì „ížˆ 배제하지 못한다는 ì ì´ë‹¤.


ë˜ ìž ë³µë³€ìˆ˜ Vì—는 ë„저히 ë°ì´í„°ê°€ 입수ë˜ì§€ 않는 ê²ƒë„ ìžˆë‹¤. ì•„ì´ìŠ¤í¬ë¦¼ ì‚¬ë¡€ì˜ ê²½ìš° 기온ì´ë‚˜ 경제활ë™ì˜ 변화는 ë°ì´í„°ë¡œ 수집ë ì§€ 모른다. 하지만 소비ìžì˜ 기호 변화, ì¸í„°ë„· ê´‘ê³ ì˜ ì¡°íšŒìˆ˜ ì¦ê°€ 등 잠복변수 Vì˜ í›„ë³´ëŠ” ê³„ì† ë‚˜ì˜¤ê³  그중ì—는 ë°ì´í„°ë¡œ 존재하지 않는 ê²ƒë„ ë§Žë‹¤.


문제는 ë°ì´í„° 수가 ì•„ë‹ˆë¼ â€˜íŽ¸í–¥â€™ì´ë‹¤

ë¹…ë°ì´í„°ë¡œ ìƒì§•ë˜ëŠ” ì •ë³´í†µì‹ ê¸°ìˆ ì˜ ë°œë‹¬ë¡œ ì´ì „보다 ë§Žì€ ë°ì´í„°ë¥¼ ëª¨ì„ ìˆ˜ 있게 ë˜ì—ˆë‹¤. 그러나 안타ê¹ê²Œë„ ë¹…ë°ì´í„°ëŠ” 지금까지 설명한 ì¸ê³¼ê´€ê³„ì˜ ë¬¸ì œë¥¼ 근본ì ìœ¼ë¡œ 해결해주지 않는다. 지금까지 설명한 ì¸ê³¼ê´€ê³„ì˜ ë¬¸ì œëŠ” 통계학 ìš©ì–´ë¡œ ‘편향(bias)’ì´ë¼ 불린다. ì˜ì–´ ‘바ì´ì–´ìŠ¤(bias)’를 ì§ì—­í•˜ë©´ 분ì„으로 ì–»ì€ ì¶”ì •ì¹˜ì˜ ì¹˜ìš°ì¹¨â€˜ì´ë¼ëŠ” 뜻ì´ë‹¤.


통ìƒì ìœ¼ë¡œ ë°ì´í„° 관측수가 늘어나면 장ì ì´ 많다. 그러나 안타ê¹ê²Œë„ ë°ì´í„° 관측수가 아무리 ëŠ˜ì–´ë‚˜ë„ íŽ¸í–¥ 문제는 í•´ê²°ë˜ì§€ 않는다는 ì‚¬ì‹¤ì´ ìˆ˜í•™ì ìœ¼ë¡œ ì¦ëª…ë˜ì—ˆë‹¤. 그래서 ë¹…ë°ì´í„°ê°€ 모든 ê²ƒì„ í•´ê²°í•´ì¤€ë‹¤ëŠ” ì£¼ìž¥ì€ ì ì–´ë„ ì¸ê³¼ê´€ê³„ 분ì„ì—는 들어맞지 않는다.



오바마 캠프는 어떻게 후ì›ê¸ˆì„ ‘ë”’ 모았ì„까 : ìµœì„ ì˜ ë°ì´í„° 분ì„법, RCT

미국 대통령 선거는 얼마나 ë§Žì€ ì§€ì§€ìžì—게서 후ì›ê¸ˆì„ 모으ëŠëƒì— 승패가 달려 있다고 í•´ë„ ê³¼ì–¸ì´ ì•„ë‹ˆë‹¤. ê·¸ ë•Œë¬¸ì— ê° í›„ë³´ 진ì˜ì€ 다양한 전략으로 후ì›ê¸ˆì„ 모ì€ë‹¤. 2008ë…„ 대통령 ì„ ê±°ì—ì„œ 오바마 캠프는 구글ì—ì„œ 댄 시로커를 ì˜ìž…í•´ 후ì›ê¸ˆ ëª¨ê¸ˆì„ ë§¡ê²¼ë‹¤. 시로커는 구글ì—ì„œ RCT를 ì´ìš©í•œ ë°ì´í„° 분ì„으로 최ì ì˜ ê´‘ê³  ì „ëžµì„ ì§œì™”ë‹¤. 오바마는 ì‹œë¡œì»¤ì˜ ë°ì´í„° ë¶„ì„ ëŠ¥ë ¥ê³¼ êµ¬ê¸€ì˜ RCT노하우가 ì„ ê±° ì „ëžµì— ë„ì›€ì´ ë˜ë¦¬ë¼ ìƒê°í–ˆë‹¤.


시로커는 오바마 í›„ë³´ì˜ ì›¹ì‚¬ì´íŠ¸ ë””ìžì¸ì— ê³µì„ ë“¤ìž„ìœ¼ë¡œì¨ ìˆ˜ë§Žì€ ì›¹ì‚¬ì´íŠ¸ 방문ìžë“¤ì„ ë©”ì¼ë§ë¦¬ìŠ¤íŠ¸ì— 가입시켰다. ì‚¬ëžŒë“¤ì´ ìžì‹ ì˜ ë©”ì¼ ì£¼ì†Œë¥¼ 등ë¡í•´ì£¼ë©´ ê°ì¢… ë©”ì¼ì„ ë³´ë‚´ 후ì›ê¸ˆì„ 효율ì ìœ¼ë¡œ ëª¨ì„ ìˆ˜ 있다.


오바마 캠프는 웹사ì´íŠ¸ì˜ 시작 페ì´ì§€ ì‹œì•ˆì„ ì—¬ì„¯ 개나 준비했다. 시안A는 오바마 후보가 지지ìžë“¤ì—게 둘러싸여 있는 사진, 시안 B는 오바마 í›„ë³´ì˜ ê°€ì¡±ì‚¬ì§„, 시안C는 오바마 í›„ë³´ì˜ ì–¼êµ´ ì‚¬ì§„ì„ ì‹¤ì—ˆê³  시안D는 오바마 í›„ë³´ì˜ ìœ ëª…í•œ 연설 ë™ì˜ì‚¬ì´ 재ìƒë˜ê²Œ 했다. ì´ì™¸ì—ë„ ë‘ ê°€ì§€ ë™ì˜ìƒì´ ë” ì¤€ë¹„ë˜ì—ˆìœ¼ë¯€ë¡œ 화면 ì‹œì•ˆì€ ëª¨ë‘ ì—¬ì„¯ 개였다.


오바마 캠프는 시작 페ì´ì§€ì— 표시ë˜ëŠ” 버튼(í´ë¦­í•˜ë©´ ë©”ì¼ ì£¼ì†Œë¥¼ ì ëŠ” 페ì´ì§€ë¡œ ì´ë™í•œë‹¤)ì—ë„ íŠ¹ë³„í•œ 장치가 필요하다고 ìƒê°í–ˆë‹¤. ê°ê° ‘등ë¡í•˜ì„¸ìš”(Sign UP)’, ‘지금 바로 등ë¡í•˜ì„¸ìš”(Sign UP Now)’, â€˜ë” ì•Œì•„ë³´ê¸°(Leam More)’, ‘지금 바로 가입하세요(Join Us Now)’ë¼ëŠ” 뜻ì´ë‹¤. 여섯 ê°œì˜ í™”ë©´ 시안과 네 ê°œì˜ ë©”ì‹œì§€ ì‹œì•ˆì„ ì¡°í•©í•˜ë©´ ëª¨ë‘ 24ê°œì˜ ì¡°í•©ì´ ë§Œë“¤ì–´ì§„ë‹¤.


그러면 ì–´ëŠ í™”ë©´ 시안과 ë©”ì‹œì§€ì˜ ì¡°í•©ì´ ë©”ì¼ë§ë¦¬ìŠ¤íŠ¸ì˜ ê°€ìž…ë¥ ì„ ë†’ì—¬ì¤„ê¹Œ? 내부 ë…¼ì˜ì™€ 투표 ê²°ê³¼ 시안A와 ‘등ë¡í•˜ì„¸ìš”â€™ì˜ ì¡°í•©ì´ ê°€ìž¥ 효과ì ì¼ 것ì´ë¼ëŠ” ê²°ë¡ ì´ ë‚˜ì™”ë‹¤. ì¼ë°˜ ê¸°ì—…ì˜ ì˜ì‚¬ê²°ì •ì´ì—ˆë‹¤ë©´ â€œë…¼ì˜ ê²°ê³¼ 시안A와 ‘등ë¡í•˜ì„¸ìš”â€™ì˜ ì¡°í•©ì´ ê°€ìž¥ ì¢‹ì„ ë“¯í•˜ë‹¤ëŠ” ê²°ë¡ ì´ ë‚˜ì™”ìœ¼ë¯€ë¡œ ì´ ì•ˆìœ¼ë¡œ 가겠습니다†하고 ë나기 마련ì´ë‹¤. 그러나 êµ¬ê¸€ì— ìž¬ì§í•˜ë©´ì„œ ì‹¤í—˜ì„ ì ê·¹ì ìœ¼ë¡œ ë„ìž…í–ˆë˜ ì‹œë¡œì»¤ëŠ”AB테스트를 í•´ë³´ìžê³  제안했다. AB테스트는 RCT를 지칭한다. 그렇다면 시로커는 ì–´ë–¤ ì‹ì˜ RCT를 실시했ì„까?


2007ë…„ ì¼ì • 기간 ë™ì•ˆ 약 31만 ëª…ì´ ì˜¤ë°”ë§ˆ í›„ë³´ì˜ ì›¹ì‚¬ì´íŠ¸ë¥¼ 방문했다. 캠프틑 그들 í•œ 명 í•œ 명ì—게 24ê°œì˜ ë””ìžì¸ 시안 중 무작위로 뽑힌 하나만 ë³´ì´ê²Œ 했다. 무작위ë¼ëŠ” ë§ì´ 그다지 와닿지 않는다면 ‘제비뽑기’와 ê°™ì€ ê²ƒì´ë¼ê³  ìƒê°í•˜ë©´ ì´í•´ê°€ 쉬울 것ì´ë‹¤. 웹사ì´íŠ¸ 방문ìžëŠ” ìžì‹ ì´ 선호하는 특정한 ë””ìžì¸ì„ 고르는 ê²ƒì´ ì•„ë‹ˆë¼ 24ê°œì˜ ë””ìžì¸ ê°€ìš´ë° â€˜ì œë¹„ë½‘ê¸°â€™ë¡œ 뽑힌 í•˜ë‚˜ì˜ ë””ìžì¸ë§Œ 보게 ëœë‹¤. 31만 ëª…ì´ 24ê°œ ì§‘ë‹¨ì— ê³ ë¥´ê²Œ ë°°ì •ë˜ì–´ ê°ê°ì˜ 집단ì—는 약 1만 3000ëª…ì´ ì†í•˜ê²Œ ëœë‹¤.


오바마 캠프는 â€˜ë©”ì¼ ì£¼ì†Œ 등ë¡ë¥ â€™ì´ 가장 ë†’ì•˜ë˜ ë””ìžì¸ì„ 최ì ì˜ ë””ìžì¸ìœ¼ë¡œ 특정하고 ì´í›„ ì„ ê±° ìš´ë™ì— 사용했다. ì´ì œë¶€í„°ëŠ” ì´ ì‚¬ë¡€ë¥¼ 통해 RCTì˜ ì›ì¹™ì„ 짚어보ìž.


ì›ì¹™1 ì ì ˆí•˜ê²Œ ì§‘ë‹¨ì„ ë‚˜ëˆˆë‹¤

RCT를 실시할 때는 세 가지 ì›ì¹™ì„ 지켜야 한다. 첫째, 실험으로 해결하려는 ë¬¸ì œì˜ ë‹µì´ ë‚˜ì˜¤ë„ë¡ ì§‘ë‹¨ì„ ì ì ˆí•˜ê²Œ 나눠야 한다. ìš°ì„  비êµì§‘ë‹¨ì„ ì •ì˜í•œë‹¤. 비êµì§‘단ì´ëž€ 비êµì˜ 대ìƒì´ ë˜ëŠ” ì§‘ë‹¨ì„ ê°€ë¦¬í‚¨ë‹¤. 오바마 ìº í”„ì˜ ì‚¬ë¡€ì—서는 ‘오바마 캠프가 ê¼½ì€ ìµœì ì˜ 웹사ì´íŠ¸ ë””ìžì¸ì— 비해 다른 ë””ìžì¸ë“¤ì€ 얼마나 효과ì ì¸ê°€?’ë¼ëŠ” ê²ƒì´ ë¬¸ì œì˜€ê¸° ë•Œë¬¸ì— ì‹œì•ˆA와 ‘등ë¡í•˜ì„¸ìš”’ ë©”ì‹œì§€ì˜ ì¡°í•©ì„ ë¹„êµì§‘단으로 정했다.


다ìŒìœ¼ë¡œ ê°œì¸ì§‘ë‹¨ì„ ë§Œë“ ë‹¤. 오바마 ìº í”„ì˜ ì‚¬ë¡€ì—서는 ‘시안A와 ’등ë¡í•˜ì„¸ìš”â€˜ì˜ ì¡°í•© ì™¸ì— 23ê°œì˜ ì¡°í•©ì´ ìžˆì—ˆìœ¼ë¯€ë¡œ 비êµì§‘단 í•˜ë‚˜ì— 23ê°œì˜ ê°œìž…ì§‘ë‹¨ì´ ë§Œë“¤ì–´ì¡Œë‹¤.


ì›ì¹™2 ì§‘ë‹¨ì€ ë°˜ë“œì‹œ 무작위로 나눈다

RCTì—ì„œ 가장 중요한 ê²ƒì€ â€™ì§‘ë‹¨ì€ ë°˜ë“œì‹œ 무작위로 나눈다‘ë¼ëŠ” 것ì´ë‹¤. 왜 무작위로 ì§‘ë‹¨ì„ ë‚˜ëˆ„ëŠ” ê²ƒì´ ì¤‘ìš”í• ê¹Œ? ì•žì„œ 오바마 캠프가 무작위로 ì§‘ë‹¨ì„ ë‚˜ëˆ„ì§€ ì•Šì•˜ì„ ê²½ìš°ë¥¼ ìƒê°í•´ ë³´ìž. 여기ì—는 ìžì‹ ì˜ ì„ íƒì— ë”°ë¼ ì§‘ë‹¨ì„ ë‚˜ëˆ„ëŠ” 방법만 있는 ê²ƒì´ ì•„ë‹ˆë‹¤. ì´ë¥¼í…Œë©´ 거주 ë„시를 기준으로 ì§‘ë‹¨ì„ ë‚˜ëˆ„ë©´ 어떨까? 시카고 사람ì—게는 시안A를 보여주고 뉴욕 사람ì—게는 시안B를 보여준다고 하ìž. 만약 시안Aê°€ 시안B보다 ë©”ì¼ ì£¼ì†Œ 등ë¡ë¥ ì´ 높았다면 ’시안Aê°€ 시안B보다 효과ì ì´ì—ˆë‹¤â€˜ê³  ê²°ë¡  내릴 수 있ì„까?


ë‘ ì§‘ë‹¨ì€ ì„œë¡œ 다른 ë””ìžì¸ì„ 보았다는 ì  ë§ê³ ë„ 다른 ì°¨ì´ì (V)ì´ ìžˆì„ ìˆ˜ 있기 ë•Œë¬¸ì— ì¸ê³¼ê´€ê³„를 íŒë‹¨í•˜ê¸° 어렵다. 예를 들어 다ìŒê³¼ ê°™ì€ ê°€ëŠ¥ì„±ì„ ìƒê°í•´ë³¼ 수 있다. 오바마 í›„ë³´ì˜ ì§€ì—­ ê¸°ë°˜ì¸ ì‹œì¹´ê³ ì—는 ë§Žì€ ì§€ì§€ìžê°€ 있다. 그러므로 Aì§‘ë‹¨ì˜ ë“±ë¡ë¥ ì´ ë†’ì•˜ë˜ ê²ƒì€ ì‹œì•ˆA ìžì²´ì˜ 효과가 ì•„ë‹ˆë¼ ë‹¨ìˆœížˆ 시카고 ì‚¬ëžŒì„ Aì§‘ë‹¨ì— ë°°ì •í•œ 탓ì¼ì§€ë„ 모른다. 그러므로 ì§‘ë‹¨ì„ ë¬´ìž‘ìœ„ë¡œ 나누지 ì•Šì•˜ì„ ê²½ìš°ì—는 ’진짜 ìš”ì¸ì´ 무엇ì´ì—ˆë‚˜?‘ë¼ëŠ” ì§ˆë¬¸ì— ì œëŒ€ë¡œ 답하지 못하게 ëœë‹¤.


그러면 무작위로 ì§‘ë‹¨ì„ ë‚˜ëˆ„ë©´ 어떨까? 다시 ë§í•˜ì§€ë§Œ 무작위란 제비뽑기와 같다. ì œë¹„ë½‘ê¸°ì˜ ê²°ê³¼ 모든 ì‚¬ëžŒì´ 24ë¶„ì˜ 1ì˜ í™•ë¥ ë¡œ ì–´ëŠ í•œ ì§‘ë‹¨ì— ë“¤ì–´ê°€ê²Œ ëœë‹¤. 그러면 어떻게 ë ê¹Œ? 예를 들어 시카고 ì‚¬ëžŒì„ ë¬´ìž‘ìœ„ë¡œ 배치한다고 하ìž. 그러면 시카고 ì‚¬ëžŒì€ 24ë¶„ì˜ 1ì˜ í™•ë¥ ë¡œ ì–´ëŠ í•œ ì§‘ë‹¨ì— ë“¤ì–´ê°€ê²Œ ëœë‹¤. 24ê°œì˜ ì§‘ë‹¨ì— ì†í•œ 시카고 ì£¼ë¯¼ì˜ ìˆ˜ê°€ ê±°ì˜ ê°™ì•„ì§€ëŠ” 것ì´ë‹¤. ë”°ë¼ì„œ 시카고 ì£¼ë¯¼ì€ ì˜¤ë°”ë§ˆ 후보를 지지할 ê°€ëŠ¥ì„±ì´ ë†’ë”ë¼ë„ ê·¸ ì˜í–¥ì€ A집단과 B집단ì—ì„œ 똑같아진다.


그렇다면 고소ë“ìžëŠ” 오바마 후보를 지지하지 않는 ê²½í–¥ì´ ìžˆë‹¤ë©´ 어떨까? ì´ê²ƒë„ ê²°ë¡ ì€ ë˜‘ê°™ë‹¤. 무작위로 ì§‘ë‹¨ì„ ë‚˜ëˆ„ë©´ 전혀 문제ë˜ì§€ 않는다. 고소ë“ìžê±´ 저소ë“ìžê±´ 24ë¶„ì˜ 1ì˜ í™•ë¥ ë¡œ í•œ ì§‘ë‹¨ì— ë“¤ì–´ê°€ê²Œ ëœë‹¤. ë”°ë¼ì„œ 고소ë“ìžëŠ” 오바마 후보를 지지하지 않는 ê²½í–¥ì´ ìžˆë”ë¼ë„ ê·¸ ì˜í–¥ì€ A집단과 B집단ì—ì„œ ë˜‘ê°™ì´ ë‚˜íƒ€ë‚œë‹¤.


RCTì˜ ê°•ì ì€ ì‹œì¹´ê³ ì— ì‚°ë‹¤ê±°ë‚˜ 소ë“ì´ ë†’ë‹¤ëŠ” 변수ë¿ë§Œ ì•„ë‹ˆë¼ ì–´ë–¤ ë³€ìˆ˜ì— ëŒ€í•´ì„œëŠ” ì´ë ‡ê²Œ ë§í•  수 있다는 ì ì´ë‹¤. 소ë“, êµìœ¡ 수준, 거주 지역, 가족 구성 등 ì–´ë–¤ ë³€ìˆ˜ì— ëŒ€í•´ì„œë“  ê° ì§‘ë‹¨ì´ ëª¨ë‘ í‰ê· ì ìœ¼ë¡œ ë™ë“±í•´ì§„다. 그래서 집단 ê°„ì˜ ì‹¤í—˜ ê²°ê³¼ì— ì°¨ì´ê°€ 나타났다면(오바마 ìº í”„ì˜ ê²½ìš°ì—는 ë©”ì¼ ì£¼ì†Œ 등ë¡ë¥ ì— ì°¨ì´ê°€ 나타났다면) ê·¸ ì›ì¸ì€ 실험ìžì˜ 개입ì´ë¼ê³  단정 ì§€ì„ ìˆ˜ 있다.


ì›ì¹™3 집단별로 충분한 표본수를 채운다

RCTì‹¤í—˜ì„ ì„¤ê³„í•  경우 세 번째 ì›ì¹™ì€ â€™ê° ì§‘ë‹¨ì— ì¶©ë¶„í•œ 표본수를 채워야 한다‘는 것ì´ë‹¤. RCTë¡œ ì–»ì€ ê²°ê³¼ë¥¼ ê²€ì¦í•˜ê³  비êµí•˜ê¸° 위해 가장 í”히 ì“°ì´ëŠ” 통계분ì„ì€ ê°œìž…íš¨ê³¼ì˜ í‰ê· ê°’ì„ ë¶„ì„하는 것ì´ë‹¤. 여기 필요한 ê³„ì‚°ì€ ë‹¤ìŒ ë‘ ê°€ì§€ë‹¤.


실험 후 집단별로 í‰ê· ê°’ì„ ê³„ì‚°í•œë‹¤

í‰ê· ê°’ì˜ ì°¨ì´ë¥¼ 비êµí•œë‹¤


기본ì ìœ¼ë¡œëŠ” í‰ê· ê°’ê³¼ 뺄셈만으로 ê°œìž…íš¨ê³¼ì˜ í‰ê· ê°’ì„ ê³„ì‚°í•  수 있다. 단, í†µê³„í•™ì„ ê³µë¶€í•˜ë©´ì„œ 알게 ë˜ê² ì§€ë§Œ 표본수가 í•œì •ëœ ë°ì´í„°ë¡œ í‰ê· ê°’ì„ ê³„ì‚°í•˜ë©´ 오차가 ë°œìƒí•œë‹¤.


예를 들어 오바마 ìº í”„ì˜ ì‚¬ë¡€ì—ì„œ Aì§‘ë‹¨ì— ë°°ì •ëœ ì‚¬ëžŒì´ 10명ë¿ì´ì—ˆë‹¤ê³  하ìž. 그중 í•œ ëª…ì´ ìš°ë°œì ì¸ ì´ìœ ë¡œ ì´ë©”ì¼ì„ 등ë¡í–ˆë‹¤. ìš°ë°œì ì¸ ì´ìœ ë¡œ ì¸í•´ í‰ê·  등ë¡ë¥ ì´ 10í¼ì„¼íŠ¸ê°€ 오른 것ì´ë‹¤. 실제 오바마 ìº í”„ì˜ ì‹¤í—˜ì—서는 Aì§‘ë‹¨ì— ë°°ì •ëœ ì‚¬ëžŒì˜ ìˆ˜ê°€ 약 1만 명ì´ì—ˆë‹¤. 그중 누군가 ìš°ë°œì ì¸ ì´ìœ ë¡œ ì´ë©”ì¼ì„ 등ë¡í•œë‹¤ë©´ í‰ê· ê°’ì€ ì–´ë–¤ ì˜í–¥ì„ ë°›ì„까? 여기ì—는 1만 ëª…ì˜ í‘œë³¸ì´ ìžˆê¸° ë•Œë¬¸ì— í‰ê· ë“±ë¡ë¥ ì€ (ì´ ìš°ë°œì ì¸ ì´ìœ ì— ì˜í•´) 0.01í¼ì„¼íŠ¸ë°–ì— ì˜¤ë¥´ì§€ 않는다. 즉 표본수가 í´ìˆ˜ë¡ ìš°ë°œì ì¸ ì´ìœ (오차)ì— ì˜í•´ í‰ê· ê°’ì´ í¬ê²Œ 변화할 ê°€ëŠ¥ì„±ì´ ì¤„ì–´ë“ ë‹¤.


반대로 표본수가 ì ìœ¼ë©´ ìš°ë°œì ì¸ ì´ìœ ë¡œ í‰ê· ê°’ì´ í¬ê²Œ 바뀌어버린다. 그래서 A집단과 Bì§‘ë‹¨ì˜ í‰ê·  등ë¡ë¥ ì— ì°¨ì´ê°€ 있ë”ë¼ë„ ê·¸ ì°¨ì´ê°€ ìš°ë°œì ì¸ ì´ìœ ì— ì˜í•œ 것ì¸ì§€ ë˜ëŠ” 통계ì ìœ¼ë¡œ 신뢰할 만한 ì°¨ì´ì¸ì§€ íŒë‹¨í•˜ê¸° 어려워진다. ì´ê²ƒì„ 통계 용어로는 ‘통계ì ìœ¼ë¡œ ì˜ë¯¸ 있는 ì°¨ì´ë¼ê³  í•  수 없는 ìƒí™©â€™ì´ë¼ê³  부른다. ì´ëŸ° ì‚¬ì‹¤ì„ ì¸ì‹í•˜ì§€ ì•Šê³  ë°ì´í„°ë¥¼ ë³´ë©´ ë‹¤ìŒ ë‘ ê°€ì§€ 결과를 똑같다고 ìƒê°í•˜ê²Œ ëœë‹¤.


A집단과 Bì§‘ë‹¨ì˜ í‰ê·  등ë¡ë¥  ì°¨ì´ëŠ” 5í¼ì„¼íŠ¸ì˜€ë‹¤. 참고로 ê° ì§‘ë‹¨ì—는 10ëª…ì˜ í‘œë³¸ì´ ë°°ì •ë˜ì—ˆë‹¤.

A집단과 Bì§‘ë‹¨ì˜ í‰ê·  등ë¡ë¥  ì°¨ì´ëŠ” 5í¼ì„¼íŠ¸ì˜€ë‹¤. 참고로 ê° ì§‘ë‹¨ì—는 1만 ëª…ì˜ í‘œë³¸ì´ ë°°ì •ë˜ì—ˆë‹¤.


수치는 5í¼ì„¼íŠ¸ë¡œ 똑같지만 후ìžì˜ 5í¼ì„¼íŠ¸ê°€ 훨씬 신뢰할 만한 숫ìžë‹¤. 통계학 ìš©ì–´ë¡œ ë§í•˜ìžë©´ ‘표본수가 í´ìˆ˜ë¡ í‰ê· ê°’ ê³„ì‚°ì— í‘œì¤€ì˜¤ì°¨ê°€ 작아지고 í‰ê· ê°’ì˜ ì‹ ë¢°ì„±ì´ ì»¤ì§„ë‹¤â€™.


오바마 ì„ ê±° ìº í”„ì˜ ì‹¤í—˜ ê²°ê³¼

RCTì „ë¬¸ê°€ì¸ ì‹œë¡œì»¤ê°€ 오바마 캠프ì—ì„œ 실시한 실험ì—서는 ì•žì˜ ì„¸ 가지 ì›ì¹™ì´ 잘 지켜졌다. 그러면 실험 결과는 ì–´ë• ì„까? ì• ì´ˆ 오바마 캠프는 시안A와 ‘등ë¡í•˜ì„¸ìš”â€™ì˜ ì¡°í•©ì´ ê°€ìž¥ 효과ì ì¼ 것ì‘ë¡œ 예ìƒí–ˆë‹¤. ë˜ëŠ” 사진보다 ë™ì˜ìƒì´ 등장하는 시안Dê°€ 효과ì ì¼ 것ì´ë¼ëŠ” 예ìƒë„ 있었다. 하지만 ëšœê»‘ì„ ì—´ì–´ë³´ë‹ˆ 예ìƒê³¼ëŠ” 전혀 다른 결과가 나타났다. í‰ê·  등ë¡ë¥ ì´ 가장 ë†’ì•˜ë˜ ê²ƒì€ ì˜¤ë°”ë§ˆ í›„ë³´ì˜ ê°€ì¡±ì‚¬ì§„ì´ ë‹´ê¸´ 시안B와 â€˜ë” ì•Œì•„ë³´ê¸°â€™ì˜ ì¡°í•©ì´ì—ˆë‹¤. ì´ ì‹œì•ˆì„ ë§ˆì£¼í•œ ì§‘ë‹¨ì€ 11.6í¼ì„¼íŠ¸ê°€ ë©”ì¼ë§ë¦¬ìŠ¤íŠ¸ì— 등ë¡í–ˆë‹¤. 예ìƒê³¼ 달리 ë™ì˜ìƒì´ 들어간 ì‹œì•ˆì€ í‰ê·  등ë¡ë¥  순위 3위 안ì—ë„ ë“¤ì§€ 못했고 ì• ì´ˆì— íš¨ê³¼ì ì¼ 것ì´ë¼ 예ìƒí–ˆë˜ 시안A와 ‘등ë¡í•˜ì„¸ìš”â€™ì˜ ì¡°í•©ì€ 8.26í¼ì„¼íŠ¸ì˜ 등ë¡ë¥ ì„ 나타냈다.


실험 ê²°ê³¼ì— ë”°ë¼ ì˜¤ë°”ë§ˆ 캠프는 í‰ê·  등ë¡ë¥ ì´ 1ìœ„ì˜€ë˜ ì‹œì•ˆB와 â€˜ë” ì•Œì•„ë³´ê¸°â€™ ì¡°í•©ì„ ì„ ê±° ìš´ë™ì— 활용했다. ì‹œë¡œì»¤ì˜ ê³„ì‚°ì— ë”°ë¥´ë©´ AB테스트로 ì–»ì€ ìµœì ì˜ í™”ë©´ì„ ì±„íƒí•¨ìœ¼ë¡œì¨(시안A와 ‘등ë¡í•˜ì„¸ìš”â€™ì˜ ì¡°í•©ì— ë¹„í•´) 288만 ëª…ì˜ ë©”ì¼ ì£¼ì†Œë¥¼ 추가로 ì–»ì„ ìˆ˜ 있었고, ê·¸ì— ë”°ë¼ ì•½ 6000만 ë‹¬ëŸ¬ì˜ í›„ì›ê¸ˆì„ 추가로 모금할 수 있었다. 웹사ì´íŠ¸ìƒì˜ 간단한 ì‹¤í—˜ì´ í° íš¨ê³¼ë¥¼ 발휘한 ì…ˆì´ë‹¤.

* * *


본 ë„ì„œ 정보는 우수 ë„ì„œ í™ë³´ë¥¼ 위해 저작권ìžë¡œë¶€í„° ì •ì‹ì¸ê°€ë¥¼ 얻어 ë„ì„œì˜ ë‚´ìš© ì¼ë¶€ë¥¼ 발췌 요약한 것으로, ì €ìž‘ê¶Œë²•ì— ì˜í•˜ì—¬ 저작권ìžì˜ ì •ì‹ì¸ê°€ ì—†ì´ ë¬´ë‹¨ì „ìž¬, 무단복제 ë° ì „ì†¡ì„ í•  수 없으며, ì›ë³¸ ë„ì„œì˜ ëª¨ë“  출íŒê¶Œê³¼ ì „ì†¡ê¶Œì€ ì €ìž‘ê¶Œìžì—게 있ìŒì„ 알려드립니다.