[모두를 위한 인공지능] 5. 우리에게 '데이터'는 어떤 의미인가

IT동아 · 2022.08.24 14:42:50

[편집자주 / '인공지능(AI)'은 더 이상 SF영화에서나 보던 상상의 기술이 아닙니다. 이미 현실과 실제가 되어, 알게 모르게 우리 일상에 스며들고 있습니다. 이에 인공지능에 관한 보편적 지식은 현대인이라면 누구라도 가볍게 알아 둘 만합니다. 이 연재에서는 인공지능의 역사부터 일상/산업 내 융합, 국내외 인공지능 산업 현황, 인공지능 관련 최신 트렌드, 근미래의 인공지능 융합기술 등, 필자가 오랜 동안 현업에서 얻은 다양한 경험과 지식을 하나씩 독자와 공유합니다.]

1부 - 환갑이 훌쩍 넘은 인공지능의 어제와 오늘 (https://it.donga.com/102301/)

2부 - 인공지능 기술을 활용해 비즈니스 가치를 높여라 (https://it.donga.com/102418/)

3부 - 인공지능 산업/기업을 지원, 육성하기 위해 필요한 것 (https://it.donga.com/102543/)

4부 - 인공지능이 아무리 발전해도 결국 사람의 '경험'이 중요하다 (https://it.donga.com/102629/)

요즘 언론과 주변에서 '데이터(Data)'의 의미와 그 중요성에 대해 자주 언급한다. 데이터를 미래의 석유 또는 식량에 비유하기도 한다. 데이터가 이렇게 중요하다고는 하는데, 그럼 무엇 때문에 데이터가 중요한 것일까? 그리고 디지털 생태계의 D.N.A(데이터.네트워크,인공지능), 디지털 시대의 데이터 댐/데이터 레이크(lake)/데이터 폰드(Pond) 같은 파생어는 또 무슨 뜻일까? 인공지능이 중요해짐에 따라 데이터 학습, 빅데이터 분석도 거론된다.

혼란스럽기도 하고 굳이 알 필요도 없을 수 있다. 하지만 데이터는 지금도 우리 주변에서 일상에 대단히 밀접해 있으니 생각을 바꿔야 한다. 스마트폰이나 PC 등으로 이 글을 보는 이 순간에도, 우리는 끊임 없이 데이터를 만들어 내고 있다.

데이터의 양

먼저 '데이터의 양'에 대해 이야기해보자. 데이터가 중요해진 이유는 디지털 기술의 발전 때문이다. 디지털 기술이 급격히 발전하면서 데이터 생성과 복제가 무척 쉬워졌고, 사물인터넷(IoT) 기술과 개인의 디지털 기기 사용으로 엄청난 양의 데이터가 생성되고 있다.

요즘은 유튜브나 페이스북 같은 미디어에서 개인 디지털 콘텐츠가 폭발적으로 생산되고, 각자 사용하는 스마트기기, 신용카드 거래, 거리의 수 많은 CCTV 등 일상 전반에 걸쳐 각종 디지털기기를 통해 데이터가 매일매일 쌓여간다. 대략적으로 이런 데이터의 양은 얼마나 될까?

KT경제경영연구소에 따르면, 인류가 파피루스를 시작으로 종이에 기록을 남기기 시작한 이후 2000년대초까지 생산된 데이터가 약 20 엑사바이트(exabyte)라 추정한다. 엑사바이트는 0이 18개 붙는 단위라, 조를 넘어 100경에 달라는 단위다. 즉 2,000경 바이트가 되는 셈이다. 가늠조차 하기 어려운 숫자다.

파피루스가 고대 이집트에서 발명된 종이 비슷한 것이고, 기원전 3,000년 전 정도로 추정되니 5,000년 동안 생성된 데이터가 약 20 엑사바이트인 셈이다. 그런데 2000년대 초반부터 2021년까지 생산된 전 세계 데이터 총량이 약 50 제타바이트(zettabyte)라고 한다. 엑사바이트의 상위 단위가 제타바이트라, 이는 5만 엑사바이트에 해당된다.

불과 20여년 동안 생산된 데이터가 5,000년간 데이터의 2,500배를 넘어서는 것이다. 현재 인류가 가진 데이터의 약 90%는 지난 10년 간 생산됐음을 의미한다. 물론 이후로도 데이터 생산 속도는 더욱 빨라질 것이다.

2015년 ~ 2025년 데이터 증가 예상치 / 출처:IDC. 2018

IDC에 따르면, 인류의 디지털 정보, 즉 데이터의 연간 성장률은 20%에 달한다. 영국의 한 물리학자는 이렇게 데이터가 쌓이게 되면, 앞으로 150~350년 사이에 지구에 존재하는 원자 수보다 디지털 정보의 최소 단위인 비트의 수가 더 많아질 것이라 예측했다.

폭발적으로 증가하는 데이터, 부작용은?

이렇게 데이터가 폭증해도 아무 문제가 없이 우리 일상에 도움이 되는 걸까? 생산 속도가 빠른 '빅데이터'는 생산될 때마다 어딘가에는 저장해둬야 한다. 디지털 데이터라 특별한 전자장치에 저장해야 한다. 전자장치는 SSD나 하드디스크 같은 저장장치(스토리지)다.

스토리지는 실물 장치라 물리적 공간이 필요한데, 현재 기술로는 디지털의 최소단위인 1비트를 저장하는데 약 25제곱 나노미터가 필요하다. 25제곱 나노미터라면 머리카락의 1/50,000의 두께로, 사람 눈에 보이지 않는 크기긴 하다. 다만 앞서 말한 대로, 전 세계에서 매일 쏟아지는 빅데이터를 온전히 저장하려면 스토리지의 물리적 공간 역시 커질 수 밖에 없다.

영국 포츠머스 대학의 멜빈 봅슨(Melvin Vopson) 교수는 스토리지의 물리적 공간이 몇 백년 내에 지구의 총 질량을 초과할 수 있다고 예측했다(현재의 기술 수준 기준). 스토리지 공간 외에도, 디지털 데이터 저장에는 에너지도 필요하다. 클라우드 기반의 데이터센터는 이미 전 세계 전력 생산의 약 1%를 소비하고 있다. 이는 네트워크로 데이터를 전송하거나 모바일기기에서 데이터를 사용할 때 소비되는 에너지는 제외한 것이다.

하지만 언제나 그랬듯, 이러한 걱정, 문제거리에 당면하면 인류는 늘 새로운 방안을 찾는다. 전자가 아닌 광자를 활용하거나, 직접도를 높이기 위해 바이오 물질에 데이터를 저장하고, 에너지를 한계 상황 이하로 낮춰 동작하는 기기를 개발하는 등 연구 개발을 지속하고 있다.

빅데이터의 활용 - 데이터 댐, 데이터 레이크

앞서 말한 대로, 현재 인류는 디지털 시대를 살며 상상할 수 없을 엄청난 양의 데이터를 생산하고 있다. 이렇게 저장된, 쌓인 데이터는 그럼 어떻게 활용할 수 있을까? 정부가 발표하는 '데이터 댐'이나 '디지털 생태계' 관련 내용을 한번 쯤은 들어봤을 듯하다.

우선 데이터 댐이 무언지 알아야 하겠다. 그래야 데이터 댐이 왜 D.N.A 생태계의 기반이 되는지 이해할 수 있다. 참고로, '댐'이라 표현하는 건, 미국 경제 대공황 시절 '후버 댐' 건설을 통해 일자리 창출과 경기부양 효과, 전력생산, 관광산업 및 도시 개발 등의 효과를 얻은 사례를 빗댄 것이다. 즉 데이터 댐 사업은 한국판 뉴딜 또는 디지털 뉴딜 사업의 일환이다.

데이터를 저장한 댐은 수돗물이나 농경수를 공급하듯, 데이터 그 자체로 공급할 수 있고, 전기처럼 다양한 용도로 변환해 제공할 수도 있다. 인공지능 학습용 데이터로 가공하거나, 빅데이터 분석 도구와 함께 개인 맞춤형 서비스를 개발하는데 활용될 수 있다. 의료, 교육, 제조 등 다양한 연관 분야에 새로운 비즈니스를 만들 수 있는 바탕이 되기도 한다. 이때 사물인터넷, 5G 통신 같은 ICT 기술을 접목하면, 빅데이터를 실시간으로 활용하는 비즈니스로 확장할 수도 있다. 새로운 부가가치를 만드는 융합산업으로 확장하는 것이다.

정부의 데이터 댐 개념도 / 출처: 정부 공식 홍보 블로그

이렇게 댐에 저장되는 데이터의 약 75%가 개인 데이터다. 즉 이 데이터의 주인은 바로 우리라는 뜻이다. 우리가 별 고민 없이 공유 동의한 개인 데이터가 현재 다양한 서비스에 활용된다. 데이터 활용에 동의하고 우리는 그 다양한 서비스를 대부분 무료로 사용하고 있다. 현재는 아주 자연스러운 일이다.

스마트폰 내비게이션 서비스가 대표적인 예다. 운전자와 차량의 위치와 운행 데이터 등을 내비게이션 업체에 제공하는 대신, 길 안내 서비스나 도로정보 서비스 등을 무상으로 사용하고 있다. 유튜브나 넷플릭스 같은 OTT 서비스, 페이스북이나 인스타그램 같은 SNS도 사용자가 한두 번 본 콘텐츠 중심으로 유사한 콘텐츠를 추천해 준다. 사용자의 시청/관람 데이터를 서비스 업체에게 제공했기에(제공을 동의했기에) 가능한 일이다. 원하는 콘텐츠를 일일이 찾지 않아도, 인공지능 알고리즘이 적절히 찾아 보여주니 편리하긴 편리하다. 물론 이런 추천 알고리즘을 원치 않는 사용자도 많을 것이다.

이 같은 콘텐츠 추천 인공지능을 학습시키기 위해서는 사용자의 데이터가 필요하다. 인공지능은 학습을 위한 데이터가 많을수록 똑똑해진다. 상대적으로 적은 양의 데이터로도 학습 효과를 높이는 방법이나, 확보된 데이터를 토대로 가상 데이터를 만들어 학습해 높은 품질의 추론 결과를 얻는 방법도 연구되고 있다.

빅데이터 분석을 위한 데이터 활용 방법은 인공지능 학습 방법과는 조금 다르다. 빅데이터의 정의도 다양하게 기술되고 있다. 가트너는 빅데이터를 '큰 용량 과 빠른 속도'를 기반한 데이터로 정의했다(2021). 필자는 여기서 '큰 용량'은 빅데이터 분석 목적을 달성하기 위한 한 과정이라 생각한다. 빅데이터 분석은 가능한 모든 데이터를 분석하여 불확실성을 없애기 위한 방법론이다. 그렇기에 데이터 양이 많아 질 수 밖에 없다.

빅데이터 분석과 관련해선, 미국의 유통업체인 '타겟(Target)'의 일화가 유명하다. 고객 이탈에 대해 조사하던 중 여성 고객층이 임신 중에는 이탈률이 높다는 것을 파악하고, 임신 고객을 찾아 출산/육아 관련 각종 혜택 등을 제공하기 시작했다. 고객들의 제품 검색 패턴/데이터 등을 분석한 뒤, 한 여중생에게 임신 축하 메시지와 관련 제품 홍보자료를 발송했는데, 얼마 후 그 아버지로부터 항의 연락을 받았다. 자신의 딸은 중학생인데 메시지를 잘못 보냈다는 내용이었다. 업체는 즉각 사과했지만, 나중에 알고 보니 그 여중생의 임신은 사실이었다. 아버지는 몰랐지만, 빅데이터는 여중생의 데이터를 정확히 분석한 것이다.

빅데이터 분석으로 가장 성공한 업체는 '넷플릭스'가 아닐까 싶다. 넷플릭스가 짧은 시간에 미디어 업계의 절대 강자로 성장하게 된 배경에는 데이터가 있다. 넷플릭스는 '블럭버스터'라는 비디오/DVD 대여 업체로 출발했는데, 대여 업계의 시장 한계를 깨닫고 2004년에 동영상 스트리밍 서비스를 시작했다. 이후 디지털 시대의 흐름에 맞춰 체질을 완전히 변경했고, 고객/사용자 데이터를 적극 활용해 인공지능 기반의 대고객 서비스를 지속적으로 개발했다. 시대의 변화를 잘 읽고 과감한 변신을 시도한 좋은 성공 사례다.

넷플릭스와 블럭버스터의 매출액 추이 / 출처: 구글 이미지 캡처

당시에는 넷플릭스의 비즈니스 모델 변경이 무모한 시도라는 이야기가 많았는데, 넷플릭스는 철저한 데이터 분석을 통해 사용자가 무엇을 원하는 지를 파악했고, 그에 따른 효과적인 마케팅 전략을 세웠다. 인공지능을 활용해 사용자에게 동영상 추천 서비스를 제공했고, 사용자의 75%가 추천 동영상을 선택했다. 현재는 콘텐츠를 직접 제작하거나 제작 투자를 진행하고 있다. 물론 여기에도 빅데이터를 충분히 활용한다.

이렇듯 데이터 분석은 불확실성을 줄이고 성공 가능성을 높여준다. 이게 가능하려면 엄청난 양의 빅데이터를 처리하는 시스템이 필요하다. 현재 광주광역시에는 지난 연재에서 언급한 '국가인공지능데이터센터'가 구축 중이다. 여기서는 인공지능 학습용 데이터 수집/가공 뿐 아니라, 빅데이터 처리에 필요한 컴퓨팅 자원과 도구가 제공된다.

국가인공지능데이터센터는 컴퓨팅 자원과 다양한 빅데이터 활용 도구를 제공한다

2022년 8월 현재, 전체 구축되는 저장용량 107 페타바이트(petabyte)의 10%인 10.7 페타바이트의 데이터를 저장하고 가공할 수 있는 '데이터 레이크(Data Lake)' 도구를 제공하고 있다(1 페타바이트는 1,024 테라바이트). 데이터 댐보다는 작은 규모의 데이터 호수인 셈이다. 하둡이나 스파크 같은 빅데이터 처리 소프트웨어 등도 포함되어, 데이터 기업의 빅데이터 분석을 돕는다. 내년 국가인공지능데이터센터가 완공되면, 전국의 많은 인공지능 융합기업을 비롯해, 빅데이터 분석/활용 기업을 대단위로 지원할 수 있는 체제가 비로소 갖춰지게 된다.

[참고]

1 바이트 = 8 비트

1 메가바이트 = 100만 바이트

1 기가바이트 = 1,024 메가바이트

1 테라바이트 = 1,024 기가바이트

1 페타바이트 = 1,024 테라바이트

1 엑사바이트 = 1,024 페타바이트

1 제타바이트 = 1,024 엑사바이트

글 / 인공지능산업융합사업단 곽재도 본부장

미국 뉴욕 소재 로체스터 대학에서 인공지능 분야를 공부한 뒤, 문화체육관광부 문화기술 PD로 재직하며 연구개발 사업을 기획했다. 현재 대통령 소속 지식재산위원회 4,5,6기 전문위원으로 활동 중이며, 인공지능산업융합사업단 소속으로 국가 인공지능 데이터센터를 비롯해 인공지능 산업융합 생태계 조성을 위한 집적단지 조성사업을 추진하고 있다.

정리 / IT동아 이문규 (munch@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

▶ [모두를 위한 인공지능] 4. 인공지능이 아무리 발전해도 결국 사람의 '경험'이 중요하다 ▶ [스타트업人] "인사팀은 회사와 직원의 협업을 돕는 '브릿지'다", 제네시스랩의 피플팀 이야기 ▶ [혁신스타트업 in 홍릉] 피플스헬스 “문진 데이터 플랫폼 ‘아는의사’로 선진 의술 개막”

번호	제목	글쓴이	작성일	조회	추천
설문	어떤 상황이 닥쳐도 지갑 절대 안 열 것 같은 스타는?	운영자	24/05/20	-	-
1741	[모빌리티 인사이트] 세상에서 가장 무거운 짐을 싣는 자동차, '토잉카'	IT동아	22.09.13	104	0
1740	[주간투자동향] 메가존클라우드, 4,500억 원 규모의 시리즈C 투자 유치	IT동아	22.09.13	116	0
1739	[스케일업] 텐도 [2] 제품 디테일 토대로 비즈니스 디테일 높여라	IT동아	22.09.13	1116	0
1738	[모두를 위한 인공지능] 6. 인공지능이 만든 딥페이크의 명과 암 [19]	IT동아	22.09.10	7335	6
1737	"전체 문자사기의 44%가 명절에 발생한다"... 추석연휴 문자사기 피하려면? [9]	IT동아	22.09.09	6388	12
1736	[IT 신상공개] 5.7K 가상현실·액션 캠 넘나드는 ‘인스타360 X3’	IT동아	22.09.09	169	0
1735	갤러리엑스 "웹 3.0의 성장, 다양한 도전이 나올 수 있는 커뮤니티 필요해" [1]	IT동아	22.09.08	202	0
1734	'맛도 식감도 기대 이상'…대체육으로 만든 함박스테이크 4종 먹어보니 [179]	IT동아	22.09.08	8204	9
1733	사람 태울 드론의 더딘 안전 진단, 기술로 푼다	IT동아	22.09.08	159	0
1732	애플워치 시리즈 8·SE 출시, 극한 상황용 애플워치 울트라도 첫 선	IT동아	22.09.08	223	0
1731	[농업이 IT(잇)다] 카카오패밀리 “카카오·바닐라빈, 제주도를 상생과 기회의 섬으로” [1]	IT동아	22.09.08	161	0
1730	LAP 디지털 “키오스크 두려운 어르신들, ‘아키’와 함께 극복 가능"	IT동아	22.09.08	163	0
1729	노치, 없애지 않고 녹였다··· 애플 아이폰 14 및 14 프로 공개 [21]	IT동아	22.09.08	1529	2
1728	애플 아이폰 14 시리즈, 아이폰 13 시리즈보다 좋아진 점 한 눈에	IT동아	22.09.08	343	0
1727	[스케일업] 나인브릿지 [1] “2분에 1대 판매했던 제품 제조 경험을 갖췄습니다”	IT동아	22.09.08	103	0
1726	[IT애정남] 화면/키패드 없는 프린터, 와이파이 접속 어떻게?	IT동아	22.09.07	584	0
1725	뮤렉스파트너스 강동민 부사장, "투자는 시장의 심리 파악이 중요하다"	IT동아	22.09.07	105	0
1724	[스타트업 in KB] 깃플 조영민 대표 “당신을 위한 자산관리사, 스마트폰 속에 있습니다”	IT동아	22.09.07	114	0
1723	국토부, 전세 사기 줄일 '자가진단 안심전세 앱' 23년 1월 공개	IT동아	22.09.07	119	0
1722	한글과 워드 모두 쓰는 교육 현장, '폴라리스 오피스'가 해법	IT동아	22.09.07	137	0
1721	광고에서 답 찾는 글로벌 OTT…"연내 넷플릭스 광고 요금제 나온다"	IT동아	22.09.07	109	0
1720	[리뷰] 성능과 활용성으로 꽉 찬 미니 PC, HP 엘리트데스크 805 G8 [21]	IT동아	22.09.07	1894	3
1719	선진 농업·그린 바이오 기대주 ‘농식품 창업 콘테스트’에 모였다	IT동아	22.09.07	136	0
1718	가맹택시 배차 콜 몰아주기? 투명성 위원회 “존재하지 않는다” [3]	IT동아	22.09.06	929	0
1717	추석 장거리 운전 전 챙겨야 할 체크리스트 [5]	IT동아	22.09.06	2725	2
1716	[스케일업] 텐도 [1] 테이프 커터·디스펜서 국내외 시장 전략 알고파	IT동아	22.09.06	113	0
1715	[먹거리+IT] 바운드리스크루 "돼지 특수부위, 먹기 쉽게 만들어야 접근성도 높아진다" [26]	IT동아	22.09.06	2369	2
1714	[뉴스줌인] 클라우드 통해 어디서나 동일한 데스크톱 환경 유지하는 DaaS, 관건은 ‘보안’	IT동아	22.09.05	116	0
1713	[박진성의 블록체인 바로알기] 7. '웹 3.0'은 또 무엇인가?	IT동아	22.09.05	129	0
1712	[IT애정남] 관성으로 설치하는 무료 백신, 정말 꼭 필요할까? [9]	IT동아	22.09.05	2022	1
1711	은행·보험·증권·카드...’통합 앱’으로 한 번에 이용한다	IT동아	22.09.05	111	0
1710	독이 될 수 있는 '영양제 과다섭취'...영양제 원료 중복섭취 피하는 방법	IT동아	22.09.05	307	0
1709	[주간투자동향] 케어링, 300억 원 규모의 시리즈A 투자 유치	IT동아	22.09.05	94	0
1708	[뉴스줌인] 라이젠 7000 시리즈를 위한 'AMD 엑스포' 지원 DDR5 메모리 등장	IT동아	22.09.02	134	0
1707	통화 내용, 문자로 정리해주는 AI 앱 '비토' 이용해보니	IT동아	22.09.02	172	0
1706	[리뷰] 4K·144Hz 주사율의 강력한 연대, 벤큐 모비우스 EX3210U	IT동아	22.09.02	139	0
1705	‘티머니GO' 앱으로 추석 고속버스 예매하기	IT동아	22.09.02	117	0
1704	매일 15분씩 영어 회화 공부한다... 가벼운 언어의 '회화 학습지' 체험해보니	IT동아	22.09.02	121	0
1703	[농업이 IT(잇)다] 월류원 “충북 영동 캠벨로 만든 우리나라 와인을 세계로”	IT동아	22.09.02	110	0
1702	주택형 사무실에 '스마트' 더하는 IoT 아이템, 뭐가 있나?	IT동아	22.09.01	137	0
1701	이용자 1600만 명 백신 ‘알약’ 오류, 원인과 전망은? [44]	IT동아	22.09.01	5426	4
1700	[IT하는법] 인터넷 없이도 길을 찾다, 구글 맵 '오프라인 지도'	IT동아	22.09.01	151	0
1699	폴더블 PC부터, AR 모니터까지…레노버, IFA 앞두고 신제품 공개	IT동아	22.09.01	1873	0
1698	주춤하는 국내외 스타트업 투자 시장, 수익성 증명해야	IT동아	22.09.01	96	0
1697	소니의 ‘사진 위조 방지 기술’은 해킹에서 자유로울까 [4]	IT동아	22.09.01	2195	3
1696	[홍기훈의 ESG 금융] ESG와 채권 (2) ESG는 채권 가치에 영향을 미칠까?	IT동아	22.09.01	111	0
1695	가을 축제로 가득하다는 춘천 원도심, 어느 정도기에?	IT동아	22.08.31	140	0
1694	경기아트센터 뉴미디어팀 “온라인으로 공연예술의 무대를 넓히는 게 목표”	IT동아	22.08.31	102	0
1693	은행별 예대금리차 온라인서 한눈에...비교 공시 제도 도입	IT동아	22.08.31	125	0
1692	[앱으리띵] 보이스피싱? '시티즌코난'으로 예방하자	IT동아	22.08.31	101	0

최근 방문

즐겨찾기

즐겨찾기 갤러리

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

데이터의 양

폭발적으로 증가하는 데이터, 부작용은?

빅데이터의 활용 - 데이터 댐, 데이터 레이크

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결