데이터 천재들은 어떻게 기획하고 분석할까?

데이터 문맹 탈출, 반드시 알아야 할 데이터 상식

더 나은 의사결정을 위한 빅데이터

데이터 마이닝Data Mining, 즉 분석이란 무엇일까? 이를 이해하기 위해서는 먼저 ‘데이터’가 무엇인지 알아야 한다. 분석에서의 데이터는 우리가 흔히 말하는 ‘빅데이터’를 의미한다. 그렇다면 빅데이터는 무엇일까? 빅데이터는 VVV, 즉 3V로 설명할 수 있다. 3V는 바로 Volume, Velocity, Variety를 말한다. 이 중 ‘Volume’은 양이 많다는 것, ‘Velocity’는 생성 속도가 빠르다는 것, ‘Variety’는 다양성을 뜻한다.

첫째로 어마어마한 데이터의 양부터 살펴보자. 그 많은 데이터는 어디에서 오는 걸까? 대부분이 소셜미디어가 출처다. 내가 SNS에 쓴 글이며 포털에서 검색한 것 모두가 다 데이터인 셈이다. 이때 언제, 어디에서, 누가 이런 검색을 했는가 하는 것이 중요한 정보가 된다.

두 번째 V는 빠른 생성 속도다. 사물인터넷 또한 데이터 생성지다. 공장이나 도로, 항만, 차량에 붙어 있는 내비게이션, 개인이 소유한 휴대폰 모두가 사물인터넷인데, 지금 이 순간에도 사물인터넷은 우리가 현재 어디에 있는지 위치를 추적해서 계속 시그널을 보내고 있다. 이와 같은 데이터들은 그야말로 순식간에 발생한다.

마지막 ‘V’는 데이터의 다양성이다. 보통 데이터라고 하면 숫자를 생각하기 쉽지만, 빅데이터는 텍스트와 이미지, 동영상, 그리고 소셜네트워크 등 복잡하고 다양한 요소로 구성되어 있다. 

어떻게 빅데이터를 분석할 것인가

막대그래프, 꺾은선그래프, 히스토그램, 네트워크 이외에도 고도의 인사이트를 제공하는 도구는 무수히 많다. 수많은 도구 중에 가장 적절하고 이해하기 쉬운 것을 선택하기 위해서는 해당 분야에 대한 이해, 인간의 인지 능력에 대한 이해가 필요하다. 분석가는 요리사가 다양한 방법으로 요리를 하듯 수많은 데이터 요리법 중 해당 문제에 적합한 것을 선택한다.

데이터 요리법의 첫 번째로는 데이터에 숨어 있는 특징을 눈으로 확인할 수 있는 가장 기본적이고 직관적인 ‘시각화’가 있다. 두 번째는 분류와 예측으로 과거에 일어났던 일을 데이터로 만들어 ‘학습’한 후, 미래를 예측하는 것이다. 가령 특정 부품의 고장, 고객의 구매 관심 제품, 상담원의 조기 퇴사, 두 달 후 개봉할 영화의 관객 수 등이 모두 예측의 대상이다. 예측을 할 수 있는 방법은 매우 다양하다. 통계학에서 전통적으로 사용한 회귀분석 이외에도 인공지능, 머신러닝 분야의 총아인 뉴럴 네트워크 및 후속 모델인 딥러닝 모델이 대표적이다.

세 번째로는 군집화 또는 클러스터링으로서 유사한 대상끼리 묶는 것이다. 이를 테면 코스피, 코스닥 기업들의 사업보고서에 등장하는 단어들의 유사성을 토대로 이들을 묶는 경우이다. 유사한 업종을 함께 묶는다면, 투자기관에서 포트폴리오를 구성할 때 이를 기준으로 삼을 수 있다. 이외에도 제품을 추천하는 데 특화된 분석법도 있고, 소셜네트워크에서 친한 그룹을 찾아내는 방법도 있다.

데이터 자체가 숫자가 아니고 비정형 데이터인 경우에는 특수한 분석이 필요하다. 예를 들어 소셜미디어에 노출된 사람들의 의견, 감상 등의 글을 분석하려면 자연어 처리라는 인공지능 기법을 사용해야만 문자를 숫자로 바꿀 수가 있다. 소셜미디어에 올린 사진을 분석하려면 이미지를 분석하는 특별한 이미지 처리, 컴퓨터 비전 방법을 활용하여 숫자로 바꾸어야 한다. 이때 컴퓨터 비전은 사람의 눈과 뇌가 하는 작업을 수학적 알고리즘을 통해 컴퓨터가 수행할 수 있도록 만드는 것을 말한다. 물론 문서나 이미지도 앞서 이야기한 시각화, 예측, 군집화의 대상이 된다.

분석은 실제로 큰 비용과 오랜 시간이 요구되는 활동이다. 금을 캐기 위해 어두컴컴한 터널 속에 들어간 광부와도 같다. 이때의 금은 바로 ‘인사이트’다. 데이터의 광산에서 금을 캐는 활동, 그것이 곧 ‘데이터 마이닝’이라고 할 수 있다.

데이터 시각화로 트렌드를 읽어라

복잡한 정보를 시각적으로 탐색하면 생기는 변화

“백문이 불여일견”과 “보는 것이 믿는 것이다”라는 속담은 데이터 시각화의 필요성을 잘 설명해준다. 왜냐하면 데이터 시각화의 핵심은 눈앞의 데이터를 생생하게 드러나도록 보여주는 것이기 때문이다. 오늘날 비즈니스를 성공적으로 수행하려면 관련 정보를 신속하게 찾고 분석함으로써 소비패턴, 트렌드 변화, 통찰력 등을 파악하는 것이 요구된다. 데이터 시각화는 개인이 분석을 수행하고 주요 동향이나 이벤트를 식별해 좀 더 신속하게 의사결정을 내릴 수 있게 도와주는 기술이다.

데이터는 정보 또는 숫자를 의미하고, 시각화는 정보를 눈에 보이게 표시하는 일이다. 데이터 시각화를 활용할 때 핵심은 복잡한 것을 간단하게 보여주는 것이다. 대부분의 사람들은 워크시트나 스프레드시트 또는 보고서를 분석하는 것보다 차트나 그래프를 보는 것이 훨씬 쉽다고 느낄 것이다. 또한 데이터를 차트로 표현했을 때 더 많은 양의 데이터를 일목요연하게 파악할 수 있다.

시각화된 숫자는 기억하기도 쉽다. 이처럼 데이터 시각화는 데이터 분석 결과를 이해하기 쉽게 시각적으로 표현하는 과정이다. 엑셀, 태블로 등 많은 비즈니스 데이터 시각화 솔루션과 D3.js, 차티드 등 오픈소스 계열의 소프트웨어는 다양한 차팅 방법을 제공해준다. 최근 데이터 시각화 분야에 대한 투자가 크게 증가하고 있으며, 이에 따라 사용자 인터페이스의 편의성이 좋아지고 엔드유저의 분석기술 수준이 높아지고 있다.

올바른 데이터 시각화 기법을 선택하기 위해서는 데이터의 크기와 규모, 데이터의 맥락, 사용자에 대한 사전 정보가 필요하다. 일반적으로 가장 잘 알려진 시각화 방법과 유형은 표, 히스토그램, 산점도, 선, 막대, 파이 영역, 버블 차트, 타임라인, 벤다이어그램, 데이터 순서도, 개체 관계도 등이다.

결국 다양한 데이터 경험이 중요하다

빅데이터는 우리에게 난제이면서 동시에 커다란 기회를 제공한다. 데이터를 분석하기 전에는 무엇보다 전체 구조를 탐색해야 한다. 빅데이터 탐색은 데이터 시각화 기법을 사용하면 문제점을 신속하게 파악할 수 있다.

데이터 시각화는 통계학이나 컴퓨터 언어를 잘 몰라도 일정 수준의 정보를 산출해낼 수 있게 돕는다. 다시 말해서 통계 전문가나 컴퓨터 과학자가 아니더라도 누구나 쉽게 데이터 시각화를 구사할 수 있는 것이다. 그러나 데이터 시각화를 잘 구현하려면 데이터 이해력과 함께 시각적 표현력이 필요하다. ‘데이터를 보는 눈’을 기르려면 다양한 데이터셋을 경험해봐야 한다. 유통업의 POS 데이터, 휴대폰의 CDR 데이터, 신용카드사의 결제내역 데이터, 물류/교통의 출발/도착지 데이터 분석을 통해 비즈니스 운영 및 주요 성과지표를 알아보고, 각 지표값의 범위를 체득하고 있어야 한다.

위치 정보의 중요성은 점점 대두되고 있다. 지번 주소는 있었으나 공간좌표 값(GPS)을 가지고 있지 않아서, 그동안 정보를 지도 위에 디스플레이하지 못하고, 시도, 시구군, 읍면동으로 집계한 표 정도로 시각화하는 수준에 머물러 있었다. 매장이나 아파트와 같은 고정체의 GPS 데이터, 사람이나 자동차와 같은 이동체의 GPS 데이터가 있으면 정보를 지도 위에 디스프레이할 수 있는데, 표에는 없는 전주의적 속성을 지도로 보여줄 수 있다.

그렇기에 정보 인식률이 높을 뿐만 아니라, 표에서는 기대할 수 없는 매장 간 연결선(또는 매장 연결망)과 연결 강도를 표현할 수가 있다. GPS라는 공간 차원이 데이터에 추가되면 지도 위에 고정체의 분포를 집계할 수 있고, 이동체의 이동경로를 디스플레이할 수 있게 된다. 데이터 시각화의 정점인 공간 시각화 단계가 보다 활성화되어 우리 일상에 긍정적인 영향을 끼치기를 바란다.

분류와 예측, 미래를 읽는 가장 확실한 방법

인공지능과 머신러닝을 움직이는 기본 원리

바둑 프로그램 알파고의 등장으로 인공지능의 위세가 한껏 치솟은 것이 벌써 수년 전의 이야기다. 지금은 인공지능과 머신러닝 용어가 사회적으로 보편화되었다. 초등학생도 학교에서 코딩 수업을 하며 컴퓨팅 사고력을 기르는 등 AI를 활용하는 것은 필수 소양이 되어버렸다.

하지만 컴퓨터가 인간과 같은 자유의지를 가지고 스스로 배우는 것은 아직까지 불가능한 일이다. 컴퓨터는 여전히 스스로 배운다기보다는 인간에 의해 학습될 뿐이다. 컴퓨터 구동 메커니즘으로서의 알고리즘은 인간이 개발하는 것이기 때문이다. 컴퓨터 학습에 필요한 것은 빅데이터다. 빅데이터가 세상을 밝히는 시대에 인공지능 개발은 인간에게 어떤 의미를 갖는 것일까?

인간은 언제나 해결하고자 하는 문제를 갖고 있다. 현대사회에 올수록 해결 과제는 점점 다양해지고 방대해져만 간다. 이 온갖 문제를 해결하는 방안으로 여러 가지 순서화된 작은 규칙들이 존재하는데 그 규칙들을 모아놓은 집합을 알고리즘이라고 한다. 이런 알고리즘을 컴퓨터에게 학습시켜서 알려주어야 한다. 그 수단이 바로 컴퓨터 언어다. 머신러닝이라는 말은 인간이 개발한 알고리즘을 컴퓨터 언어를 통해 기계에게 학습시키는 행위 정도로 정의할 수 있다.

현재 우리 사회의 미래를 이끈 인공지능과 머신러닝을 이해하기 위해 가장 기본이 되는 것은 ‘분류’와 ‘예측’이다. 데이터 활용 공부는 이로부터 시작해야 한다. 인공지능과 머신러닝은 인류 몸속 깊숙이 잠재해 있는 ‘호기심’이라는 DNA가 사라지지 않는 한 끊임없이 발전할 것이다. 이를 두려워하기보다는 인간이기 때문에 가지게 되는 부족함과 한계를 극복할 수 있는 수단으로 즐겁게 사용되어야 할 것이다.

무한한 가능성의 인공지능

예측 모델, 기계학습, 인공지능, 데이터 마이닝을 공부하다보면 상이한 용어가 많이 등장하는데 이들 용어를 정확하게 구별하기보다는 그 용어 안에 들어 있는 핵심을 파악하는 것이 중요하다.

머신러닝은 머신(machine)과 러닝(learning)이라는 두 개 단어가 결합된 단어다. ‘machine’은 기계이고 ‘learning’은 ‘배운다’라는 능동사다. ‘기계가 배운다’, ‘스스로 배운다’는 의미인데 어떻게 기계가 스스로 배울 수 있을까?

사실 기계는 스스로 학습하는 것이 불가능하다. 설령 기계가 스스로 배울지라도 인간이 배우라고 지침을 내렸기 때문에 가능한 것이다. 따라서 현재 머신러닝의 보다 정확한 표현은 ‘machine learned’가 될 것이다. ‘기계가 학습, 배움을 당한다’는 의미가 명확하다. 이때 배움은 컴퓨터 언어를 통해서 받는다.

궁극적으로 특정 문제를 해결하기 위한 알고리즘을 구동하기 위해서인데, 이 알고리즘은 사람이 만드는 것이다. 즉, 머신러닝은 인간이 개발한 알고리즘을 컴퓨터 언어를 통해 기계에서 학습시키는 일련의 행위를 일컫는다. 여기서 핵심은 알고리즘이며, 그 핵심은 기계가 개발하는 게 아니라 인간이 개발한다는 것에 있다.

인공지능은 머신러닝의 실체화된 것

알고리즘은 문제를 해결하기 위한 방법들의 체계적인 집합이다. 풀고자 하는 문제가 있는데 그 문제를 해결하기 위해서는 스텝 1, 스텝 2 하는식의 단계가 있다고 하자. 그러한 것들을 잘 모아놓은 것이 바로 알고리즘이다.

알고리즘을 인간이 개발한다고 했지만 정작 인간은 자신이 개발한 알고리즘을 실제로 구현해내지 못한다. 일단 인간은 단순한 반복 연산을 하는 능력이 매우 떨어지기 때문에 아무리 유능한 알고리즘을 개발한다 하다라도 그것을 실제로 구현하기란 불가능하다. 따라서 단순한 연산에 특화된 컴퓨터의 도움을 받을 수밖에 없다.

컴퓨터는 인간과 같은 창의력이 없기 때문에 알고리즘 자체를 개발하지는 못한다. 하지만 인간이 알고리즘을 개발해놓으면 이를 뛰어나게 구현하는 능력을 가지고 있다. 물론 이를 위해서는 인간과 컴퓨터 사이에는 대화가 필요하다. 이때 인간과 컴퓨터가 소통할 수 있는 언어가 컴퓨터 언어다.

바둑의 귀재 알파고를 보자. 머신러닝은 X, Y가 주어졌을 때 X, Y의 관계를 잘 설명하는 모델을 찾는 것이다. 이때 X는 바둑 경기에 대한 과거기록들이 디지털화 된 기록이다. 그리고 Y는 어떠한 경우에 다음 수를 어떻게 둬야 하는지에 대한 것이다. 여기서 Go가 바둑이다. 이 X, Y 데이터를 이용해서 만든 알고리즘, f(x) 가 컴퓨터에 들어간 것이 알파고다. 알파고는 바둑을 두는 컴퓨터인 셈이다.

또 다른 예로 자율주행차를 보자. 이때 X는 여러 가지 도로 상태 이미지이고, Y는 그 상태에 따라서 어떻게 운전을 해야 되는지에 대한 액션이다. 핸들과 브레이크 작동법, 기어 조절 등 여러 가지 운전 액션이 Y 데이터인데, X와 Y의 관계를 잘 설명할 수 있는 머신러닝 모델 f(x)를 찾는 것이 핵심이다. 이후 도로 이미지가 들어왔을 때 운전 조정을 할 수 있는 f(x)가 자동차에 입력된 것, 이것이 자율주행 자동차다.

게임은 어떨까? 게임에서는 주어진 상황에서 궁극적으로 이기기 위해서 사용자가 어떤 액션을 취해야 하는지가 주요 의사결정의 문제이다. 이 경우 X는 주어진 게임 환경이고 Y는 플레이어가 취해야 할 액션으로 정의할 수 있다. 즉 X, Y데이터를 이용해서 특정 상황에서는 어떻게 액션을 취해야 한다는 것을 학습시켜 컴퓨터에 입력하면 게임봇이라는 형태가 되는 것이다.

매출 예측 시스템이라는 온라인에서 언급된 횟수들을 이용해서 특정한 상품이 얼마나 많이 팔릴지를 예측하는 인공지능 시스템도 있다. 요즘 부상하는 챗봇 시스템 역시 사람간의 대화 정보를 이용하여 인간과 인공지능 간의 대화를 가능케 하는 인공지능이다. 이처럼 X와 Y가 주어졌을 때 둘 사이의 관계를 잘 설명할 수 있는 모델을 적재적소에서 찾는다면 인공지능의 가능성은 무한하다고 볼 수 있다.

데이터를 끼리끼리 뭉쳐 보는 군집분석의 힘

군집분석, 어디에 어떻게 쓰일 것인가

군집분석은 금융 시장에도 적용되어 균형 포트폴리오 작성에 도움을 준다. 포트폴리오 작성에서 데이터는 개체가 기업이고, 특징은 주가, 주식 거래량, 매출액 등이 될 수 있다. 특징이 비슷한 기업끼리 묶어보면, 그 특징에 따라 우량기업과 고평가된 기업, 그리고 저평가된 기업 등으로 세분화할 수 있다. 일반적으로 주식 투자에서는 투자효율을 높이기 위해 우량기업에만 투자하지 않고, 다양한 기업에 대해 일정한 비율로 투자함으로써 투자의 위험을 분산한다. 이러한 전략을 세우는 데 군집분석이 활용될 수 있다.

고객을 객체로 고객의 소비성향을 기록한 데이터는 군집분석을 통해 고객을 세분화한다. 이 방법으로 유명해진 기업이 바로 닐슨 컴퍼니이다. 우리나라에서는 보통 시청률을 조사하는 회사로 친숙하지만 닐슨 컴퍼니는 마케팅에 주력하는 글로벌 기업이다. 이 회사는 클라리타스라는 스타트업 규모의 회사를 합병했었는데, 이때 클라리타스가 가지고 있었던 가치가 바로 군집분석을 통해 고객을 세분화한 능력이다.

닐슨사는 개체를 우편번호로 하고, 각 지역별로 거주자들의 소비성향과 인구학적인 정보를 특징으로 한 데이터로부터 40개의 군집을 찾았다. 이를테면 군집별로 모피 같은 비싼 물건을 구매하는 경향이 있는 거주지, 비싼 물건을 구매하지 않는 거주지 등의 군집을 만들어 전 지역의 라이프 스타일을 세분화하여 나타냈다. 이는 임의의 제품에 대하여 잠재적인 고객을 대상으로 효과적인 마케팅을 할 수 있는 기초 자료를 제공한다.

인공지능, 더 빠르고 능숙하게 이미지를 분석하다

기계가 인간처럼 스스로 학습하고 분석하는 세상

인공지능이란 말은 1956년 다트머스 회의에서 사용되기 시작하면서 언젠가는 금방 달성할 수 있는 기술로 여겨지기도 하고, 때로는 영원히 도달할 수 없는 공상과학 소설 속의 허구로 취급되기도 했다. 이렇듯 인공지능은 한마디로 정의하기 어렵다. 지능이라는 실체 자체가 모호하기 때문에 이를 인공적으로 재현한다는 것이 쉽지 않다. 일반적으로 지능은 외부를 인식하고 추론하며 적응하는 능력이라고 본다. 인간조차 어떻게 그러한 기능을 하는지 명확히 모르는 상태에서 전통적인 환원주의에 입각한 과학적 방법으로 그것을 구현하기 어렵다.

인공지능을 구현하는 기술은 크게 지식 기반 방법과 데이터 기반 방법으로 구별할 수 있다. 먼저 시도된 방법은 인식, 추론, 학습과 같은 지적 기능을 모방하기 위해서 이를 보유하고 있는 사람이 해당 영역의 지식을 기호로 표현해 정보를 논리적인 규칙에 입각해서 처리하는 것이다. 적절히 변경되는 학습을 통해서 문제를 해결하고자 시도하는 것이 지식 기반의 방법이다.

반면에 데이터 기반 방법은 기계학습이나 데이터 과학이란 이름으로 널리 사용되고 있다. 해당 문제의 사례를 데이터로 제공하고 이로부터 귀납적으로 모델을 만들어 지식을 추출해 문제를 해결하는 것이다.

이 기계 학습 방법의 하나가 뇌의 구조를 모방한 신경망이다. 문제의 사례로부터 주어진 입력에 대한 적절한 출력을 자동으로 결정할 수 있는 방법인데, 인간의 두뇌를 이루는 기본 구조인 뉴런을 모방한 계산 단위를 대규모로 연결하여 문제를 해결한다. 즉, 입력값의 가중치를 매겨서 모두 더한 후 비선형 함수를 통해 출력하는 단순한 계산 단위를 대규모로 연결한 것이다. 신경망 노드 간의 연결을 여러 개의 층으로 구성하고, 주어진 데이터에 대한 입출력 관계를 표현하는 가중치를 구해서 문제를 해결하는 것이다. 이를 자동으로 구하는 것을 학습이라 한다.

신경망은 데이터만 잘 수집하면 학습 알고리즘으로 해결책을 얻어낼 수 있다는 장점이 있다. 그러나 실전에서는 층을 여러 개 쌓아야 하는데 그렇게 되면 학습 방법이 제대로 작동하지 않는다. 이를 해결한 것이 바로 딥러닝이다. 신경망의 층을 늘여서 다층으로 만든 것이 심층 신경망으로 이 가중치를 결정하는 알고리즘을 딥러닝이라 한다. 심층 신경망을 사용하는 학습 방식인 딥러닝은 인공지능 자체의 방법적인 발전과 더불어 방대한 데이터 처리기술과 대규모 컴퓨팅 자원 활용기술을 효과적으로 활용하면서 4차 산업 혁명을 선도하는 기술로 재탄생하였다.

4차 산업혁명 시대의 인공지능과 데이터 과학 

4차 산업혁명은 사람과 사물, 공간을 초연결하여 산업구조와 사회 시스템에 혁신을 일으키는 것이다. 이는 자본주의 경제를 지속하기 위한 것으로 이해된다. 세계경제의 저성장 고착화와 경제인구의 고령화, 노동 가능 인구의 감소에 따른 저성장과 저소비 문제를 3차 산업혁명으로 다져진 정보통신기술을 바탕으로 타개해 나가려는 것이다. 자동생산과 지능형 시스템 구축을 위한 기술인 센서와 네트워크가 발전하여 제조업의 지능화를 이룩함으로써 개발도상국의 제조업 생산 기반을 자국으로 회사하는 리쇼어링과 전략적 혁신이 가능해진다.

결국 사물인터넷을 기반으로 쏟아지는 빅데이터를 지능적으로 처리하는 인공지능 소프트웨어가 클라우드 컴퓨팅으로 대변된다. 이렇듯 고성능 컴퓨팅 자원의 힘을 빌려 제조업 분야의 효율성과 서비스업 분야의 편의성을 높이는 것이다. 이를 통해 인간사회에 대대적인 변화를 야기하는 것이 4차 산업혁명의 본질이 아닐까 싶다. 인공지능은 마치 컨트롤 타워처럼 빅데이터를 분석하고 관리하는 소프트웨어로서 핵심 역할을 한다. 인공지능은 필요에 따라 상황을 해석해가며 스스로 자동 갱신하여 새로운 차원의 산업혁명을 가능하게 만든다.

빅데이터에 내재되어 있는 가치를 창출하기 위해서는 수집된 데이터가 분석의 대상인 동시에 분석 및 예측을 위한 모델링의 재료임을 유의해야 한다. 널리 사용되고 있는 기계학습 방법들은 모델을 구축하기 위해 레이블이 기록된 대용량의 데이터가 필요하므로 사전에 이에 대한 세심한 준비를 해두자. 또한 수집된 데이터와 분석 도구만으로는 유용한 가치를 창출할 수 없기 때문에 무엇을 알아내려고 하는지 분석의 목적을 명확히 해야 한다. 이때 문제에 대한 직관과 창의적인 해석능력이 필요하다. 대용량의 데이터를 처리할 수 있는 딥러닝과 같은 획기적인 분석 방법의 등장과 함께, GPU나 클라우드 컴퓨팅과 같은 저가의 고성능 컴퓨팅 자원이 널리 보급되었다. 따라서 새로운 차원의 분석 결과를 얻는 일이 손쉽게 가능해진 것이다.

* * *

본 도서 정보는 우수 도서 홍보를 위해 저작권자로부터 정식인가를 얻어 도서의 내용 일부를 발췌 요약한 것으로, 저작권법에 의하여 저작권자의 정식인가 없이 무단전재, 무단복제 및 전송을 할 수 없으며, 원본 도서의 모든 출판권과 전송권은 저작권자에게 있음을 알려드립니다.