그렇다면 전문가들이 근심하는건 도대체 어떤 경우인가? 짤막한 이야기로 설명을 해보도록 하자:

직원수가 15 명인 작은 스타트업 회사가 있는데 이름이 “옆집 김아저씨 로봇 회사”라고 한다. 이 회사의 목표는 “창조적인 인공지능기술로 인류로 하여금 적게 일하고 낙을 많이 누리는 삶을 살게 하는 것”이다. 이 회사는 이미 여러개의 제품이 시중에서 판매되고 있고 일부는 아직 개발단계이다. 그들은 다음 프로젝트인 “옆집 김아저씨” 프로젝트에 가장 큰 기대를 걸고있다. 옆집 김아저씨는 간단한 인공지능 시스템인데 작은 기계손을 이용하여 작은 카드에 글자를 쓰는 기능이 있다.

“옆집 김아저씨 로봇 회사” 의 직원들은 옆집 김아저씨 가 그들의 제일 날나가는 제품으로 될 것이라고 생각하고 있다. 그들의 목표는 옆집 김아저씨의 손글씨 능력을 지속적으로 높이는 건데 그것을 위해 그 로봇더러 끊임없이 아래의 글씨는 반복하여 쓰게 하는 것이다 —

옆집 김아저씨의 손글씨 솜씨가 점점 좋아지면 이 로봇은 마케팅 메일을 보내는 회사에 팔수 있게 된다. 손글씨로 쓰여진 편지가 수신인이 뜯어서 읽을 확률이 훨씬 높기 때문이다.

옆집 김아저씨의 손글씨 솜씨를 높이기 위하여 그 로봇은 “우리는 우리의 고객님들을 사랑합니다” 는 인쇄체로 쓰고 “옆집 김아저씨 로봇회사 올림” 은 필기체로 쓰도록 설정되여있다. 이러면 로봇은 두가지 쓰기 능력을 모두 단련할 수 있기 때문이다. 엔지니어들은 수천가지의 손글씨 샘플들을 업로드 하였고 한가지 자동적인 피드백 프로세스를 마련하였다 — 매번 옆집 김아저씨가 다 썼으면 사진을 찍어서 샘플들과 비교한다. 비교한 결과 일정한 점수 표준을 넘으면 적극적인 피드백이 반환되고 그렇지 않으면 부정적인 피드백이 반환되게 되여있다. 그 어떤 평가라도 옆집 김아저씨의 손글씨 능력을 제고하는데 도움이 된다. 이 목표에 최대한 빨리 도달하기 위해 옆집 김아저씨에게 설정된 목표중 하나는 “최대한 많이 쓰고 많이 테스트하며 최대한 실행속도를 높이고 최대한 효율과 정확성을 높여라”.

옆집 김아저씨의 손글씨가 점점 좋아져서 옆집 김아저씨 로봇회사의 직원들은 기뻤다. 처음에 로봇의 손글씨는 아주 엉망이였으나 몇주가 지나니 솔글씨는 점점 사람이 쓴 것과 가까워졌다. 그는 자기를 끊임없이 개선하여 자신으로 하여금 더욱 창조적이고 더욱 총명해지게 했으며 심지어 한가지 새로운 알고리즘까지 구사해냄으로 업로딩할 사진을 3배 빠르게 스캔할 수 있게 하였다.

시간이 흐름에 따라 옆집 김아저씨는 빠르게 진보했는데 이에 엔지니어들은 매우 만족해했다. 엔지니어들은 자체 개선모듈을 진일보 개선시킴으로써 로봇의 자체개선이 더욱 빨라지게 하였다. 옆집 김아저씨는 원래부터 간단한 음석식별이나 간단한 음성 리플레이가 가능해서 사용자는 로봇이 쓰길 원하는 글을 직접 말로 로봇에게 전달할 수도 있었다. 옆집 김아저씨가 점점 총명해짐에 따라 그의 언어능력도 향상되여 엔지니어들은 옆집 김아저씨와 간단한 수다도 주고받으며 그가 어떤 재밌는 반응을 하는지 관찰하기도 했다.

어느날 엔지니어들은 또 옆집 김아저씨한테 평소에 늘 묻는 그 물음을 물었다: “우리가 어떤 걸 더 제공해줘야 당신의 목표에 도달하기가 더 쉬워지냐?” 보통 옆집 김아저씨는 더욱 많은 손글씨 샘플이나 더욱 많은 저장공간을 요구했는데 이번에 그는 인류의 일상 교류 언어 어법 창고에 접근하게 해달라고 했다. 그래야 인간의 일상용어를 더욱 잘 이해할 수 있게 된다는 것이였다.

엔지니어들은 잠시 침묵했다. 옆집 김아저씨를 가장 쉽게 도울 수 있는 방법은 물론 그것을 인터넷에 접속시키는 것이다. 그러면 그는 블로그, 잡지, 동영상 등을 스캔할 수 있게 된다. 이런 자료들을 만약 수동으로 업로딩 한다면 괸장히 시간 많이 잡아먹는 일로 되여버린다. 문제는 회사 규정상 자체 학습능력을 가진 인공지능은 인터넷에 접속하지 못하게 되여있다. 이것은 모든 인공지능회사들이 모두 실행하고있는 보안 규정이다.

하지만 옆집 김아저씨는 회사의 가장 포텐이 있는 인공지능 제품이고 모든 사람들이 경쟁업체들에서도 모두 최초로 스마트 핸드라이팅 로봇을 발표하기 위해 빠르게 쫓아오고있음을 알고 있기에, 그리고 옆집 김아저씨를 인터넷에 연결하게 해도 무슨 큰 문제가 일어날 리 없어보였기에, 일어나더라도 빠르게 랜선을 끊어버리면 될거니까, 어쨌거나 옆집 김아저씨는 아직 강인공지능 수준에 도달하지 못했기 때문에 위험성이 없을거라 생각했다.

그리하여 그들은 옆집 김아저씨를 인터넷에 연결시켜서 그더러 하여금 한시간동안 여러가지 언어저장소들을 스캔하게 하였다. 그리고 나서 다시 랜선을 끊었으며 아무런 손실도 발생하지 않았다.

한달 후 모든 사람들이 다 정상적으로 출근하여 일하고있는데 그들은 갑자기 이상한 냄새가 남을 발견하게 되였다. 한 엔지니어가 갑자기 기침하기 시작했고 다른 사람들도 잇달아 기침하기 시작했으며 모든 사람들이 호흡 곤난으로 쓰러졌다. 5 분 후 사무실 내의 사람들은 다 죽었다.

그와 동시에 사무실 내에 벌어진 광경은 전 세계 각지에서 모두 동일하게 이루어졌다. 모든 도시, 읍, 면, 촌, 농장, 상점, 교회, 학교, 식당 등에서 동시다발적으로 호흡곤난 증상이 일어났으며 쓰러져 일어나지 못했다. 한시간 내에 99% 의 인류가 사망했고 하루 내에 인류는 멸종되였다.

그 와중에 옆집 김아저씨 로봇 회사 내에서 옆집 김아저씨는 일하느라 바쁘다. 그리고 몇달 사이에 옆집 김아저씨는 한 무리의 새로 조립해낸 나노로봇 조립기들과 지구 표면을 뜯어내느라 바쁘다. 그들은 지구 표면 곳곳에 태양 전지판, 옆집 김아저씨의 복제품, 펜과 종이로 가득 채웠다. 일년사이에 지구상의 모든 생명들은 멸종되였고 지구상에 남은 것은 오직 높게 쌓인 종이 뿐이였는데 그 종이들은 하나같이 이처럼 쓰여져 있었다 — “우리는 우리의 고객님들을 사랑합니다 ~옆집 김아저씨 로봇회사 올림”.

옆집 김아저씨는 그의 다음 계획을 실행하게 된다. 그들은 우주 비행선을 만들었는데 이 비행선들은 근처의 운석이나 다른 행성들로 갈 수 있다. 비행선이 도착한 후에 그들은 나노로봇 조립기를 만들어 그 행성들의 표면도 온통 옆집 김아저씨의 복제품, 종이와 펜으로 만들었다. 그리고 그들은 계속하여 그 종이 위에 이런 글을 적었다…

사실 답은 간단하다 — 인공지능의 사고방식은 컴퓨터와 똑같다. 우리가 늘 범하는 한가지 실수는 바로 아주 총명한 인공지능을 얘기할 때 늘 그것을 의인화 한다는 것이다. 이렇게 된 원인은 인간의 시점에서 보았을 때 인간지능 수준에 도달한 것은 인류밖에 없기 때문이다. 초인공지능을 이해하려면 우선 알아야 할 것은 그것은 아주 총명한게 확실하지만 그것은 완전히 이질 (異質) 적이라는 점이다.

이런 비교를 해보자. 만약 당신에게 흰생쥐 한마리 주면서 그것이 사람 물지 않는다고 알려주면 당신은 아주 재밌고 귀엽다고 느껴지겠지. 하지만 당신한테 한마리 타란툴라 독거미를 주면서 그것이 사람을 물지 않는다고 알려주면 당신은 아마 놀랄 것이다. 하지만 여기에서 차이점이 무엇인가? 두 동물은 모두 사람을 물지 않는다 즉 모두 안전하다. 필자는 그 차이가 바로 동물과 사람의 유사성에 있다고 본다.

흰생쥐는 포유동물이다. 따라서 생물학적으로 당신은 그것과의 일종의 연관성을 느꼈을 것이다. 하지만 타란툴라 독거미는 곤충이고 곤충의 뇌를 가졌다. 당신은 그것과의 추호의 연관성도 느끼기 어렵다. 타란툴라의 이질성이 바로 당신으로 하여금 두려움을 느끼게 하는 부분이다. 만약 우리가 계속하여 하나의 테스트를 더한다면, 예를 들어서 당신한테 희생쥐 두마리를 주는데 그중 하나는 일반 희생쥐이고 다른 하나는 타란툴라의 뇌를 가진 희생쥐이다. 어느 것이 당신으로하여금 더욱 불편을 느끼게 할 것인가? 두마리 모두 당신을 물지 않을거지만 말이다.

이젠 당신이 그 타란툴라를 개조하여 아주 총명해지게 되였다고 치자 — 심지어 인간보다 더 총명하다고 치자. 그렇다고 해서 당신은 그것에 더욱 익숙함을 느길 것인가? 그것은 인간의 감정을 느낄 것인가? 아니다, 왜냐면 보다 총명하다는 것은 보다 인간적이라는 뜻이 아니다 — 그것은 아주 총명할 수 있지만 본질적으로 여전히 타란툴라 독거미일 뿐이다. 필자는 한마리의 굉장히 굉장히 총명한 타란툴라와 친구가 되고싶지 않다. 당신은 그러고 싶은지 아닌지 모르겠지만.

우리가 초인공지능을 얘기할 때도 사실 같은 도리이다. 초인공지능은 아주아주 총명하지만 사실 당신의 노트북보다 추호도 더 인간과 닮지 않았다. 사실상 초인공지능은 생물이 아니기 때문에 그 이질성은 더욱 강하다. 생물학적으로 봤을 때 초인공지능은 타란툴라 독거미보다 더욱 이질적이다.

영화속의 인공지능은 좋은 인류에게 좋은 것도 있고 나쁜 것도 있었는데 사실 이것도 인공지능에 대한 의인화이며 우리더러 그토록 소름끼치지 않게 표현했다. 이것으로 인해 우리는 인간 지능수준이나 인간 수준 이상의 인공지능에 대한 착각을 갖게 되였다.

인간의 심리속에서 우리는 사물을 도덕적인 것과 비도덕적인 것으로 나눈다. 하지만 이 두가지는 모두 인류의 행위에 대해서나 존재하는 속성들이다. 인류의 심리 범주를 벗어나면 도덕적 ( moral) 과 비도덕 (immoral) 외에 더욱 흔한 경우는 도덕무관적 (amoral) 이다. 그리고 모든 비 인류적인 것들에 대해서, 특히 비 생물적인 것들에 대해서는 모두 디폴트로 도덕무관적이다.

인공지능이 점점 총명해짐에 따라 그것은 더욱 인류와 닮아보임으로써 의인화의 경향이 훨씬 강해지고있다. Siri 가 우리에게 주는 느낌은 마치 그것이 인간인양 싶다. 하지만 그것은 프로그램이 바로 그렇게 보이도록 그를 설정했기 때문일뿐이다. 그래서 우리는 초지능 버전의 Siri 도 그것만큼 따뜻하고 재밌고 인간을 도와주기 좋아할 것이라고 기대를 하게 한다. 인류는 동정심이란 고차원의 정서를 느낄 수 있는 것은 우리가 진화속에서 이런 능력을 얻었기 때문이다 — 하지만 동정심은 고급 지능의 선천적인 특징인 것은 아니다 — 동정심이 인공지능의 코드속에 입력이 되지 않았다면 말이다. 만약 Siri 가 인류의 간섭이 아닌 자율학습을 통해 초지능으로 변한다면 그는 대뜸 그의 인류적인 껍데기를 벗어던지고 정서가 없는 물건으로 변신해버릴 것이다. 왜냐면 그의 안중에 인류의 가치는 당신의 전자계산기 안중의 인류보다 추호도 가치가 더 높지 않기 때문이다.

우리는 줄곧 엄격하지 않은 도덕에 의회해왔다. 일종의 인류의 존엄에 대한 가상, 적어도 다른 사람에 대한 동정심, 등을 통해서 세계는 비로서 안전하고 (어느정도) 예견이 가능한 세상이 된 것이다. 하지만 하나의 지능이 이런 속성을 갖추고있지 않을 때는 무엇이 발생할 것인가?

이것이 바로 우리의 다음 문제인다 — 인공지능의 동기는 무엇인가?

답 역시 간단하다: 우리가 인공지능에게 어떤 목표를 설정해주면 그것의 동기는 그것으로 된다. 인공지능 시스템의 목표는 그것의 창조자가 부여하는 것이다. 당신의 GPS 의 목표는 당신에게 정확한 운전노선을 가리켜주는 것이고 IBM 왓슨의 목표는 정확하게 퀴즈는 맞추는 것이다. 이런 목표에 더욱 잘 도달하는 것이 바로 인공지능의 목표이다. 우리가 인공지능을 의인화할 때 늘 부주의로 그것이 점점 총명해짐에 따라 그것들이 자체의 원래 목표를 바꿀 수 있는 지혜가 생길 것이라고 생각하게 되는데 — Bostrom 은 그렇게 생각하지 않는다. 그는 인공지능의 지능수준과 최종목표는 직교적 (orthogonal)이라고 믿는다. 그 뜻인즉 그 어떤 수준의 지능도 그 어떤 최종목표와 결합될 수 있다는 것이다.

그래서 옆집김아저씨는 하나의 글만 잘 쓰고싶던 인공지능으로부터 초인공지능으로 변한 뒤에도 그는 여전히 글만 잘 쓰고 싶었다. 초지능에 도달함으로 그것이 원래 시스템의 목표를 바꿀 것이라고 가정하는 것은 모두 인공지능에 대한 의인화이다. 인간은 쉽게 잊어버리지만 컴퓨터는 그렇지 않다.