사람은 어떻게 생각하고 배우고 기억하는가

두 가지를 결합하라 : 시각과 청각 사이

눈으로 듣고, 귀로 읽어라 : 맥거크 효과

내가 겪은 <댄싱 퀸>의 오류는 우리가 눈으로 보는 것이 귀로 듣는 것에 어떻게 영향을 끼치는지를 잘 보여주는 대표적인 심리 현상, ‘맥거크 효과(McGurk Effect, 동일한 발음이 말소리를 내는 사람의 입 모양에 따라 다르게 들리는 현상-옮긴이)’의 실제 사례다.

당신이 컴퓨터 앞에 앉아, 한 남자가 ‘바바(Baba)’라는 단어를 과장되게 말하는 것을 두 눈으로 지켜보는 한편, 스피커로는 ‘바바’라는 단어를 약 1분간 계속해서 듣는다고 해보자. 스피커 너머의 목소리가 계속 같은 단어를 말하는 동안 화면 속 남자는 다른 단어를 내뱉기 시작한다. 바[bá:]라는 단어를 만들기 위해 양 입술을 다물었다가 날숨과 함께 터트리지 않고 갑자기 아랫입술을 치아의 안쪽으로 말아 올렸다가 숨을 뱉으며 파[fá:]라고 발음한다.

이때 맥거크 현상이 발생한다.

컴퓨터 앞에 앉아 있는 당신의 귀에는 줄곧 듣고 있던 바가 아니라 훨씬 부드러운 에프f 음절이 들려오기 시작한다. 스피커에서는 계속 바바라는 단어가 흘러나오고 있는데도 말이다. 파[fá:]……, 파. 파.

많은 사람들이 다음의 사실을 기꺼이 받아들이는 것 같다.

시각은 청각을 유도할 수 있다.

아마도 눈에 보이는 것(시각적 대상)이 눈에 보이지 않는 것(음파)보다 더 우위에 있다고 느끼는 게 자연스러워 보이기 때문일지도 모른다. 하지만 시각이 언제나 청각을 이끄는 것은 아니라는 사실을 알게 되면 다소 충격적일 것이다. 그렇다. 시각이 청각을 이끈다는 것을 보여주는 수많은 사례만큼이나 청각 또한 시각을 이끈다.

이를 보여주는 가장 유명한 사례가 있다. UCLA의 신경과학자 라단 샴스(Ladan Shams) 박사의 환각 효과다. 샴스 박사의 실험은 맥거크 효과 실험과 비슷하게 시작된다. 빈 컴퓨터 화면 앞에 앉아 있으면, 스피커 너머로 커다란 삐- 소리가 나기 시작하면서 동시에 화면 위로 작은 원이 빠르게 나타났다가 사라진다.

스피커에서 두 번의 큰 경고음이 빠르게 재생되는 동안 화면에서는 두 개의 원이 빠르게 나타났다가 사라진다. 경고음이 한 번 들리면 하나의 원이 나타난다. 경고음이 두 번 올리면 두 개의 원이 나타난다. 딱히 신기할 것도 없는 실험이다.

물론 이는 모두 착각이다. 삐- 소리의 횟수에 상관없이 화면에는 오직 한 개의 원만 깜박인다. 두 개의 원이 나타나는 일은 없다. 하지만 피실험자들은 예외 없이 두 번의 경고음이 들릴 때마다 두 개의 원을 봤다고 착각한다.

이는 본질적으로 맥거크 효과와 정반대의 의미를 갖는다. 우리가 본 것이 우리가 들은 것에 영향을 주었다면, 샴스 박사의 환각 실험은 그와 반대로 청각이 시각에 영향을 준다.

병목현상 없는 청각과 시각

우리는 뭔가를 들었을 때, 이 정보가 먼저 청각 피질 내에서 뇌의 측면을 따라 처리된다는 것을 배웠다. 반면에 우리가 어떤 것을 볼 때는, 이 정보는 먼저 시각 피질 내에서 뇌의 뒤쪽을 따라 처리된다.

이 매우 큰 신경 영역은 다시 몇 개의 뚜렷한 영역으로 나뉜다. 각각의 영역은 우리가 보고 있는 대상의 요소들을 처리하는 역할을 한다.

앞에서 우리는 정보의 처리 과정에서, 서로 다른 두 개의 정보 흐름을 깔아뭉개려 하면 병목현상이 발생해 결국 정보의 손실을 불러온다는 사실을 살펴보았다. 다행히 청각과 시각은 서로 다른 처리 경로를 이용한다. 이는 병목현상을 없앨 뿐 아니라 청각과 시각을 하나의 통합된 신호로 결합시킬 수 있게 해준다. 이 과정을 감각 통합sensory integration이라고 부른다.

우리가 주목해야 할 점은 감각 통합이 적층 프로세스(additive process, A+B=A와 B)가 아니라 생태학적 프로세스(ecological process, A+B=C)를 보여준다는 것이다.

청각과 시각도 마찬가지다. 우리가 듣는 것이 우리가 보는 것과 결합될 때, 완전히 새로운 전체가 나타난다. ‘전체가 부분의 합보다 크다’는 문장은 청각과 시각의 감각 통합에 너무나 딱 들어맞는다.

모두에게 전하는 중요한 포인트

해석하고 이해하고 배우는 방식을 개선시켜라

우리는 슬라이드를 텍스트로 채울 경우, 우리의 뇌가 글로 읽은 것과 말로 들은 것을 동시에 처리할 수 없음을 배웠다. 그렇다면 슬라이드에 무엇을 넣어야 할까? 자명하게도 ‘시각적 이미지’다.

우리의 뇌는 시각적 이미지를 살린 슬라이드와 청각으로 입력되는 발표 내용을 동시에 처리할 수 있다. 그뿐 아니다. 시각과 청각이 적절하게 조화된 발표는, 청중들이 발표 내용을 해석하고 이해하고 배우는 방식을 효과적으로 개선시킨다.

뇌과학 연구들에 따르면 기억력은 시각적 이미지와 음성이 결합되면 최대 20퍼센트까지 향상될 수 있다. 나아가 이미지에 음성 언어를 포함시킨 프레젠테이션은 청중의 참여도, 수용성, 호감도를 상승시키는 것으로 나타났다.

유인물에도 (주로) 이미지만 사용하자

청중에게 배포하는 모든 유인물도 슬라이드와 동일한 규칙을 따라야 한다. 우리는 문자 텍스트로 이루어진 유인물은 읽기와 듣기 사이에서 선택을 해야만 하는 상황을 불러온다는 것을 배웠다. 다행히 시각적 이미지로 구성된 유인물은 이런 선택을 하지 않아도 된다. 사람들은 화자의 발표를 귀로 듣고 이해하는 동시에 눈으로는 유인물에 담긴 이미지를 분석할 수 있다. 따라서 발표 도중 제공하는 유인물에는 문자보다는 이미지를 담도록 하자. 다만 지금껏 설명한 대로 그래프나 표, 그리고 이미지의 개수는 당신이 성취하고자 하는 목적과 특성에 맞춰야 한다는 사실을 잊지 마라.

의미 있는 방문객 수를 만들어라

어쩌면 뒷북을 치는 것일 수도 있지만, 인터넷 공간에서도 언어나 문자, 시각적 이미지와 관련된 주요 사항들은 변하지 않는다. 새로운 애플리케이션이나 웹사이트를 개발할 때도 문자보다는 이미지로 정보를 뒷받침할 수 있도록 설계하라. 웹사이트 단순 방문객 수를 늘리기 위한 일회성 이벤트를 기획하고 있다면, 얼마든지 관련 없는 이미지를 사용해도 좋다. 하지만 의미 있는 방문객 수를 확보하려면 당신의 정보를 전략적으로 전달해야 한다. 당신의 정보와 관련 있는 이미지가 문자 텍스트와 조화를 잘 이루고 있는지 점검하고, 지속적으로 이를 업데이트해 나가야 한다. 웹사이트 방문객 수가 기복을 나타내고 있다는 건, 그 웹사이트가 사람들에게 큰 의미를 주고 있지 못하다는 뜻이다. 대체로 일회성 이벤트와 지속적 프로젝트가 명확하게 구별되지 않은 채 무작위적으로 뒤죽박죽 섞여 있는 듯한 느낌을 주는 웹사이트가 그러하다.

일 잘하는 뇌를 찾아라 : 슈퍼 태스커의 비밀

집중력의 필터들

집중력이 어떻게 작용하는지를 가장 쉽게 이해할 수 있는 방법은 필터(filter)를 떠올리는 것이다.

3D 안경을 쓰면 특정한 파장의 빛만이 우리의 눈을 자극할 수 있는 것과 마찬가지로, 집중력은 관련 정보만을 의식적으로 전달하고 관련 없는 정보는 차단할 수 있게 한다. 4장에서 배운 바와 같이 관련 없는 정보들도 분명 우리의 기억(맥락과 상태 의존적 기억)으로 들어가긴 한다. 하지만 그것은 우리가 의도적으로 입력한 것들이 아니다.

이는 다음의 중요한 질문으로 이어진다. 그렇다면 관련성이 있는지, 없는지의 여부는 어떻게 결정되는가?

이 질문의 답은 우리가 하고 있는 일이 무엇인지에 따라 달라진다. 보드 게임과 마찬가지로, 우리가 하는 모든 일, 가령 이메일을 쓰거나 청구서를 집계하거나 반려견을 산책시키는 일을 성공적으로 수행하기 위해서는 어떤 행동이 필요한지를 지시하는 고유한 규칙 이 있어야 한다. 예를 들어 당신이 지금 눈으로 보고 있는 이 단어들을 성공적으로 읽기 위해서는 독서에 따른 규칙이 적용되어야 한다. 각 행을 왼쪽에서 오른쪽으로 읽고, 문장이 끝날 때까지 각 단어들을 기억 속에 간직하고, 손가락을 사용해 페이지를 넘겨야 한다는 규칙 말이다.

어떤 일을 할 때마다 그에 관련된 규칙들은 측면 전전두엽 피질(lateral prefrontal cortex)이라고 불리는 뇌의 작은 부분에 반드시 탑재되어야 한다. 바로 이 측면 전전두엽 피질에 탑재된 규칙의 집합이 정보의 관련성 여부를 결정한다.

멀티태스킹은 환상이다, 작업 전환이다

말하는 것을 들으면서 이와 동시에 읽기를 시도하면 병목현상을 불러온다는 것을 배운 1장을 다시 기억해보자. 측면 전전두엽 피질도 동일한 문제를 안고 있다. 한 번에 하나의 규칙 집합만 유지할 수 있다.

다시 말해, 우리는 멀티태스킹(multitasking)을 할 수 없다.

우리는 종종 우리가 멀티태스킹을 한다고 생각하지만, 결코 동시에 여러 가지 일을 수행하는 게 아니다. 오히려 우리는 우리가 뭔가를 할 때마다 측면 전두엽 피질 내에서 규칙 집합을 교환하면서, 작업들 사이를 빠르게 왔다 갔다 할 뿐이다.

뇌과학 연구자들은 이를 작업 전환(task-switching)이라고 부른다. 마치 한 텔레비전 내에서 채널을 이리저리 돌리며 몇 개의 프로그램을 보는 것이라고 생각하면 이해가 쉽다. 당신은 채널 사이를 전 세계에서 가장 빨리 왔다 갔다 할 수 있을지도 모르지만, 한 번에 한 개의 프로그램만 볼 수 있을 뿐이다.

그렇다면 이것이 왜 중요한 것일까? 작업과 작업 사이를 뛰어다니는 것은 다음 3가지의 중요한 결과를 가져오기 때문이다.

치러야 할 대가 1: 시간

작업 전환은 즉시 일어나는(동시에 일어나는) 과정이 아니다. 우리가 한 작업에서 다른 작업으로 이동할 때는 필터가 업데이트를 위해 우리의 집중을 잠시 꺼두는 짧은 틈이 있다. 연구자들은 이 틈을 주의 과실(attentional blink)이라고 부른다. 감각의 사망 구간으로 여겨지는 이 주의 과실이란 외부 정보의 처리과정이 잠깐 의식적으로 멈춰버리는 것을 뜻한다.

주의 과실에 걸리는 시간은 비교적 짧다(0.1~0.2초). 하지만 작업을 전환할 때마다 이런 현상이 명백하게 발생한다. 따라서 작업 전화의 수가 증가하면 그만큼 우리가 감각의 사망 구간에서 보내는 시간도 증가한다.

치러야 할 대가 2: 정확도

작업 전환은 매끄러운 프로세스가 아니다. 우리가 한 작업에서 다른 작업으로 넘어갈 때 두 규칙 집합이 혼합되는 짧은 기간이 발생한다. 연구자들은 이를 심리적 불응기(psychological refractory period)라고 부른다. 이 기간 동안 일반적인 작업 수행은 어려움을 겪는다.

누군가와 대화를 나누면서 이메일을 쓰다가 상대에게 건네야 할 단어를 이메일에 타이핑한 적은 없는가? 아침에 출근 준비를 서두르다가 실수로 우유가 아니라 커피를 시리얼 그릇에 부어버린 적은? 알파벳과 숫자를 쓰는 게임에서 실수로 잘못된 순서로 써내려간 적은?

이것들이 바로 심리적 불응기에 발생하는 일이다.

치러야 할 대가 3: 기억력

이쯤 왔으면 이제 기억이라는 단어를 읽을 때마다 즉시 떠오르는 뇌 영역이 하나 있어야 한다. 바로 해마다. 흥미롭게도 작업을 전환하는 동안 해마 내의 활동은 감소한다. 즉 다중작업을 시도하면 기억 형성에 손상을 입는다는 뜻이다.

설상가상으로 작업 전환 중에는 선조체)striatum_ 내의 활동이 증가한다. 선조체는 순간적으로 무의식적인 반응을 보이는 반복적 기술(걷기 등)을 처리하는 뇌의 영역이다. 다시 말해 다중작업 중에 습득한 정보와 지식은 ‘습관적인 루틴)routine_’으로 저장되는 경우가 많다는 것을 의미한다. 나아가 시간이 흐른 후 이 정보와 지식에 의식적으로 접근하고 처리하는 데 엄청난 어려움을 겪는다(당신이 걸을 때 사용되는 근육의 움직임을 정확히 묘사해보라. 정말 쉽지 않다).

모두에게 전하는 중요한 포인트

멀티태스킹에 초대하지 마라

만일 당신이 효과와 효율은 높이고, 노력은 줄이는 데 관심이 있다면 상대를 멀티태스킹으로 이끌지 마라. 발표나 브리핑이나 설명을 하는 동안 웹사이트 주소를 언급하거나, 퀴즈를 내거나, 함께 문제를 풀거나, 복잡한 그래프를 제시하지 마라.

아는가? 우리는 별 생각 없이 이해력, 기억력, 실행력을 저해하는 멀티태스킹을 사람들에게 권장한다는 사실을? 이를 피하려면 상대에게 명확한 초점과 단계적인 목표 설정, 참여와 완성을 이루어나갈 시간적 여유를 반드시 보장해야 한다.

가장 간단한 방법은 발표나 브리핑을 하기 전에 사람들에게 잠시 스마트폰을 꺼둘 것을 정중하게 요청하는 것이다. 설명이 끝날 때까지 노트북 화면을 잠시 덮어달라고 말하는 것이다. 이런 요청을 불쾌하게 여길 사람들은 거의 없다. 요청을 들어주는 데 큰 수고가 필요한 것도 아니다. 따라서 대부분 들어줄 것이다. 가벼운 요청처럼 보이지만, 일단 받아들여지면, 상대를 당신에게 더 집중시킬 수 있다. 요청을 하지 않았을 때와 비교하면 큰 소득을 얻게 된다.

머릿속 지휘자가 결정한다 : 리뷰와 인식과 회상 사이

기억의 삼두마차

기억의 형성과정은 다음의 3단계로 이해될 수 있다.

1. 암호화: 정보는 반드시 뇌로 ‘들어가야’ 한다.

2. 저장: 정보는 반드시 뇌에 ‘박혀 있어야’ 한다.

3. 회수: 정보는 반드시 뇌에서 ‘다시 나와야’ 한다.

많은 사람들이 기억 형성에 가장 큰 영향을 끼치는 것으로 이 3단계 중 첫 두 단계에 초점을 맞춘다. 그들의 견해는 지식과 정보를 많이 접하면 접할수록(암호화), 뇌에서 이들 정보의 영구적 공간을 찾을 가능성이 높아진다는 것이다(저장). 하지만 이 견해가 옳다면, 인생에서 오직 한 번밖에 일어나지 않는 당신의 첫 키스는 이미 오래 전에 아주 희미해졌어야 한다. 시험을 앞두고 수없이 외웠을 주기율표는 기억 공간 속에 완벽하게 남아 있어야 이치에 맞지 않은가?

결국 연구자들은 밝혀냈다. 암호화와 저장에만 집중하면 얕고 일시적인 기억들만이 형성된다는 것을. 잠깐의 시간 동안 뭔가를 기억하는 것, 아주 가까운 미래에만 써먹을 기억이 목표라면 마음껏 암호화와 저장에만 힘을 쏟으면 된다. 하지만 평생 동안 적용될 수 있는 깊고 지속적인 기억을 만들고 싶다면 기억 형성의 3단계 중에서 가장 간과하기 쉬운 회수로 초점을 옮겨야 한다.

인간의 뇌에서 회수는 건설적인 부분이다. 즉 기억을 회수할수록, 그 기억은 더 깊어지고 강력해지고 향후 접근하기가 더 쉬워진다.

메타포

뇌를 하나의 오케스트라로, 그리고 각각의 뇌 부위를 특정한 악기라고 상상해보라. 시각 피질은 바이올린, 청각 피질은 오보에, 해마는 하프라고 생각해보자.

어떤 정보가 우리의 뇌에 들어올 때, 그것은 하나의 악기에 국한된 단순한 선율을 불러오는 것이 아니다. 오히려 정보는 모든 악기를 포함하는, 점점 폭포수처럼 울려 퍼지는 교향곡을 불러일으킨다.

기억의 회수를 위해서는, 완벽한 기억 교향곡을 다시 연주할 수 있는 오케스트라(기억을 암호화하는 순간에 참여했던 거의 모든 악기가 참여하는 오케스트라)가 다시 동원되어야 한다. 즉 지금 당장 눈을 감고 좀 전에 봤던 오리 그림을 다시 떠올려본다면, 당신의 뇌 속 오리는 당신이 그것을 암호화한 순간과 믿을 수 없을 정도로 똑같아 보일 것이다.

마지막으로, 오케스트라에는 모든 악기를 조율하고 적절한 순간에 적절한 선율을 이끌어내는 지휘자가 있어야 한다. 우리의 뇌 안에서 이 지휘자는 우측 전전두엽 피질의 작은 영역 안에 존재하는 것으로 여겨진다. 이 영역 내에서 강력한 활동들이 일어나는 것이 분명하다는 연구 관찰 결과들로 미뤄볼 때, 누군가가 우리의 기억을 되살리고 재생하기 위해 열심히 노력하고 있다는 사실 또한 분명하다.

이러한 은유를 마음에 새기면서, 다음 3가지의 기억 회수 방법을 탐구해보자.

리뷰(외부 요인)

우리의 신경계 오케스트라가 특정한 기억 교향곡을 연주하도록 하는 가장 쉬운 방법은 무엇인가? 간단하다. 단순히 그 교향곡을 다시 듣는 것이다. CD 플레이어를 반복 재생하듯이, 원래의 정보로 돌아가 그것이 단순히 우리의 뇌로 다시 흐르도록 만들면 된다.

이 같은 기억 회수를 리뷰라고 부른다. 리뷰는 기억을 활성화시키는 데 전적으로 외부 세계에 의존한다. 읽은 책 다시 읽기, 녹음된 강의 다시 듣기, 기록한 노트 다시 보기 등이 모두 리뷰의 예다.

인식(내부·외부 요인의 혼합)

독일의 수도는 어디인가?

이 질문을 읽고 나면 당신의 지휘자(우측 전전두엽 피질 내)가 기지개를 켜고 일어나 일을 하기 시작한다. 질문에 포함된 정보를 사용해 당신 뇌의 다른 부분들과 관련된 멜로디에 신호를 넣기 시작할 것이다. 지휘자는 첼로에게 독일 연주를 시작하라고 신호를 보내고, 플루트는 수도 연주를 시작할 것이다.

불행하게도, 이 시점에서는 일부 악기만 ‘독일의 수도’ 연주에 참여하고 있다. 하지만 우리가 기억을 생생하게 되찾기 위해서는 오케스트라 전체가 완전한 교향곡을 연주하도록 해야 한다.

정답일지도 모를 다음 3가지 답을 살펴보자.

a. 뮌헨

b. 함부르크

c. 베를린

당신이 이 선택지들을 읽는 동안, 각각의 선택지는 당신의 뇌 안에서 특정한 패턴을 촉발시킨다. 한편 당신의 지휘자는 입력되고 있는 패턴들에 귀를 기울이면서 여전히 연주 중인 독일의 수도라는 멜로디와 각각을 비교한다. 그런 다음 즉시 오케스트라 전체에 독일의 수도는 베를린이다라는 교향곡을 연주하도록 신호를 넣을 것이다.

회상(내부 요인)

독일의 수도는 어디인가?

이 질문을 읽은 다음 당신의 지휘자는 예전과 똑같이 뇌의 일부에 ‘독일의 수도’ 멜로디를 신호할 것이다. 하지만 그때와는 다르게 당신에게는 어떤 단서도 없다(뮌헨, 함부르크, 베를린이라는 선택지가 주어지지 않았다). 즉 이번에는 외부의 도움이 없기 때문에 지휘자는 기억의 교향곡으로 안내할 다양한 멜로디들을 시작하라고 신호를 넣을 것이다.

한때 당신이 읽었던 독일 소설, 당신이 시청한 독일 영화, 당신이 한때 들었던 독일 노래 등에 신호를 넣는다. 이러한 멜로디들(독일 소설, 독일 영화, 독일 노래 등)을 ‘연상(association, 연관성)’이라고 부른다. 연상들이 충분히 존재하면, 지휘자가 완전한 독일의 수도는 베를린이다라는 제목의 교향곡을 완성할 수 있는 단서들을 스스로 모을 수 있을 것이라는 희망이 생겨난다.

특정 기억을 떠올리려고 할 때 활성화되는 모든 연상은 그 기억과 강력하게 결합될 것이다. 이는 미래에 당신이 베를린이라는 기억을 회상하는 것을 훨씬 쉽게 만들 것이다. 베를린으로 가는 강력한 연상들의 경로가 구축될 것이기 때문이다.

이보다 더 중요한 것은, 모든 연상은 다른 연상들과 강력하게 결합된다는 것이다. 독일 소설과 영화, 노래는 서로 강력하게 결합되어, 각각의 기억들을 더 쉽게 회상할 수 있게 할 것이다.

충분한 시간과 충분한 회상을 통해 우리는 방대한 양의 정보에 신속하고도 쉽게 접근할 수 있는, 연상 네트워크를 만들어낼 수 있다.

안타깝게도 목격자가 범인의 얼굴을 잘못 지목하듯, 오인된 정보를 떠올리고 잘못된 기억을 만들어낼 수 있는 가능성이 현실적으로 명백하게 존재한다. 거짓된 기억이 연상의 거미줄 안에 얽히게 되면, 생각의 전체 네트워크가 잘못된 길로 빠질 수 있다. 따라서 회상의 약점을 피드백으로 보완하는 것은 언제나 좋은 아이디어다.

* * *

본 도서 정보는 우수 도서 홍보를 위해 저작권자로부터 정식인가를 얻어 도서의 내용 일부를 발췌 요약한 것으로, 저작권법에 의하여 저작권자의 정식인가 없이 무단전재, 무단복제 및 전송을 할 수 없으며, 원본 도서의 모든 출판권과 전송권은 저작권자에게 있음을 알려드립니다.