「넥서스」 - 내용 요약

• 「사피엔스 (Sapiens)」             (2011)  내용 요약
• 「호모 데우스 (Homo Deus)」 (2016)  내용 요약
  

 

---

프롤로그

 

• 호모 사피엔스 (= 지혜로운 사람)는 막대한 힘(power)을 가졌다. 그러나 힘은 지혜(wisdom)가 아니다.
• 수많은 정보 축적에도 불구하고 환상과 망상은 여전하다.
• 우리는 우리가 제어할 수 없는 힘을 가지려는 유혹 (그리스 「파에톤 신화」의 태영 마차, 괴테의 「마법사의 제자」에 나오는 빗자루 마법)에 빠진다.
• 개개인은 진실을 추구하지만, 그들이 대규모 협력 네트워크를 구축해 막대한 힘을 얻었을 때 그 유혹이 발동한다. 허구, 환상, 망상의 정보는 네트워크를 결속하는 접착제로 질서를 유지하며, 결국 탐욕과 잔혹함을 가지는 최악의 구성원에서 권력을 맡기게 한다.

정보에 대한 순진한(naive) 관점

• 이들의 가정은 충분한 정보의 양이 진실로 이어지고, 힘과 지혜를 준다는 것이다.
• 지혜란 올바른 결정을 내리는 것이다. 그러나 무엇이 '올바른' 것인지는 사람, 문화, 이념에 따라 다르다.
• 이런 관점은 강력한 정보 기술 개발을 정당화했고 컴퓨터 시대와 인터넷 세계를 탄생시켰다.

구글대 괴테

• 정보의 수집, 분석, 공유를 지혜롭게 사용한 예로 독일의 15세까지 유아 생존률이 1797년 50%이던 것을 2020년 95.6%로 높인 결과를 들을 수 있다.
• 그러나 온실가스, 오염, 대량 살상무기 등으로 인류는 어느 때보다 자멸에 가까워져 있다.
• AI에 대한 긍정적 관점은 AI가 약점과 문제를 해결할 수 있는 중추적 기술이며, 위험은 충분히 완화할 수 있다고 본다.
• AI에 대한 회의적 시각도 커서 2023년 2,778명의 AI 전문가중 1/3이 이상이 인간의 멸종을 초래할 확률을 10% 이상으로 생각했다.
• 전문가들은 두가지 시나리오를 경고한다:
  (1) AI의 힘이 갈등을 증폭시켜 인류를 분열시키고 AI 군비경쟁을 일으킬 것이다.
  (2) 비인간 지능 AI 알고리즘이 지배하고 통제하는 전체주의 네트워크가 세계를 정복할 것이다.
• AI는 도구가 아닌 행위자임을 명심해야 한다. AI는 컴퓨터 알고리즘이 지혜로운 결정을 내리고 더 나은 세상을 만들것이라는 믿음에 건 도박이다.

돈

• 변화의 속도는 점점 가속화되고 있고, 힘은 인간에서 알고리즘으로 이동하고 있다.
• 포퓰리스트 지도자들과 포퓰리즘 운동과 음모론의 관점은
  (1) 정보가 진실과는 무관한 무기이며, 권력만이 유일한 현실이다.
  (2) 객관적 진실은 존재하지 않으며 각자 가지는 '자기만의 진실'이 (급진적 경험주의) 무기다.
• 포퓰리즘의 특징은 ‘국민'과 '부패한 엘리트'라는 이분법적 해석이다.
• 포퓰리즘의 반복되는 역설은
  (1) 시작은 권력에 굶주린 엘리트에 대한 경고지만
  (2) 끝은 야심 가득한 한사람의 지도자에게 모든 권력을 맡긴다는 것이다,

 

 

제1부 인간 네트워크들

 

1. 정보(information)란 무엇인가

 

• 일상 용법에서 정보란 말이나 글처럼 인간이 만든 기호와 관련되어 있다. 군용 통신 비둘기 셰르 아미를 통해 전달된 정보는 수백명의 병사들을 구해냈다.
• 정보의 정의는 모호하다. 어떤 것을 '정보'로 정의할 수 있는지는 관점의 문제이기 때문이다. 어떤 사물이던 적절한 맥락이 갖추어지면 정보가 된다.
• 순진한(naive) 정보관은 정보가 현실(reality)을 재현하려는 시도라고 본다. 정보가 현실 재현에 성공하면 진실(truth)이라 부른다.

무엇이 진실인가?

• 진실은 현실의 "특정"측면을 정확하게 나타내는 무엇이다.
• 진실이라는 개념은 “하나의 보편적 현실이 존재한다”라는 것을 전제로 한다.
• 그러나 진실과 현실은 다르다. 진실에 충실해도 현실의 모든 측면을 표현할 수는 없다. 현실을 표현하려고 할 때 현실을 바라보는 관점은 여러가지다.
• 현실은 객관적 사실과, 신념, 감정, 견해등의 주관적 진실을 포함한다. 모든 재현에는 무시되거나 왜곡되는 측면이 있기 마련이다.

정보는 무엇을 하는가

• 순진한 정보관은 정보가 현실(reality)을 재현하려는 시도라고 생각해서, 오정보와 허위정보가 초래하는 문제도 더 많은 정보가 해결책이라고 믿는다.
• 이 관점에서 보면, 천문학은 '진짜 정보'를 도출하고, 점성술은 '오정보'나 '허위 정보'를 도출한다. 하지만 점성술 정보의 정확성 여부를 떠나 점성술이 역사에서 중요한 역할을 해왔다는 사실은 오류, 거짓말, 환상, 허구도 정보라는 것을 보여주는 예이다.
• 정보는 재현하거나 알리는 역할이 아닌, 서로 다른 것들을 네트워크로 연결하는 역할을 한다. 현실을 전혀 재현하지 않는 정보도 네트워크를 연결할 수 있다. 많은 사람들을 연결하는 음악이 그 예이며, 수조개의 세포를 연결하는 DNA나 아드레날린도 그 예이다.
• 세포들이 그러하듯 국가, 정당, 뉴스 네트워크도 현실을 부정확하게 표현할 때보다 구성 요소들 간의 연결이 끊길 때 위험에 처한다.

인류 역사 속의 정보

• 정보의 역할이 현실의 정확한 재현이라면 「성경」이 역사장 가장 영향력있는 텍스트가 된 이유를 설명하기 어렵다.
• 세포 하나가 할 수 없는 일을 세포 네트워크가 하듯, 개인이 할 수 없는 일을 종교 네트워크가 할 수 있다. 정보는 현실을 재현할 수도 재현하지 않을 수도 있지만, 늘 연결 한다.
• 역사에서 정보과 한 역할을 볼 때 중요한 것은 '진실인가 거짓인가?'가 아니라 '사람들을 얼마나 잘 연결하는가? 어떤 네트워크를 만들어내는가?'이다.
• 진실 쪽으로 기울이기 위해 노력하지 않는다면 정보의 양과 속도가 증가할수록 드물고 값비싼 진실한 정보가 흔하고 값싼 정보에 묻힐 가능성이 높다.
• 사피엔스의 성공 비결은 정보를 활용해 개인을 연결한 것인데, 이것은 거짓, 오류, 환상을 믿는 것과 밀접한 관련이 있다.

 

2. 이야기(Stories): 무한한 연(unlimited connections)

 

• 사피엔스는 지혜 덕이 아닌 대규모 협력을 통해 세계를 지배했다.
• 사람과 사람간의 개인적 인맥으로만 의존하는 네트워크 대신 호모 사피엔스는 인간과 이야기의 연결이라는 새로운 유형의 사슬을 가졌다. 「성경」, 공산주의, 민족주의, 화폐, 기업, 상표, 개인 우상화, 상품 브랜딩(branding), 개인 브랜딩등이 그 이야기들이다.
• 이야기와 실제 사이에는 대개 거대한 간극이 존재한다. 1장에서 예를 들은 「군용 통신 비둘기 셰르 아미」 이야기 역시 어느 정도는 브랜딩 작업의 산물이었다. 결과적으로 부대의 이미지를 좋게하고 대중에게 감동을 주면서, 사실 여부나 모순은 중요하지 않고 시간이 갈수록 허구가 덧붙여졌다.
• 역사의 빅 스토리들은 대부분 열렬한 신본자들의 감정 투사와 희망적 사고의 산물이었다.

상호주관적 현실

• 객관적 현실: 우리가 그 존재를 알든 모르든 존재하는 것들
• (같은 번역가지만 「호모 데우스」에서는 ‘실재’라고 번역했고 이 책에서는 ‘현실’이라고 번역했음)
• 주관적 현실: 내가 인지하는 순간 생기는 고통, 즐거움, 사랑 같은 내 안의 것들
• 상호주관적 현실: 사람들이 서로에게 말하는 이야기 속에 존재하는 법, 신, 국가, 기업, 화폐 같은 것들. 예를 들자면 피자의 열량은 객관적 현실이지만 피자 결제에 사용했던 비트코인의 금전적 가치는 상호주관적 현실이다. 특정 국가의 존재 여부에 대해 사람들의 의견이 일치하지 않는 경우 국가가 상호주관적 현실임을 의식하게 된다.
• 상호주관적 현실은 특정 네트워크 안에서는 엄청난 힘을 발휘하지만, 그 네트워크 밖에서는 무의미해진다.

이야기의 힘

• 이야기는 상호주관적 현실을 창조하여 대규모 인간 네트워크를 짰고 세상 힘의 균형을 완전히 바꿔놓았다.
• 대규모 인간 집단의 정체성 자체가 이야기를 통해 형성되기 때문에 이들의 이해 관계는 모두 이야기를 매개로 형성된다. 모든 분쟁의 원인을 파고 들면 마르크스주의 관점대로 물질적 이해관계도 분명 중요한 역할을 했으나, 종교, 민족주의, 자유주의 등 이야기가 한 집단 정체성도 또한 중요한 역할을 했다.

고귀한 거짓말

• 힘은 진실을 아는 것만으로 얻어지지 않는다. 권력 꼭대기에서 지시를 내리는 사람들은 진실이 아닌 이데올로기를 통해 질서와 힘을 유지한다.
• 사람들을 결속하는데는 허구가 진실보다 좋은 이점이 있다 (1) 허구는 간단히 만들수 있으나 진실은 복잡하다. (2) 진실은 고통스럽고 불편한 경우가 많지만 허구는 편안하고 듣기 좋게 지어내기 나름이다.
• 플라톤은 「국가」에서 이상적인 국가의 헌법은 ‘고귀한 거짓말’에 기반해서, 애국심을 확보하고 헌법에 의문을 품지 못하게 해야 한다고 했다.
• 미국 헌법 입안자들은 거짓말을 하라는 플라톤의 권고를 따르지 않고 헌법이 불완전한 인간에 의해 만들어진 창조적인 법적 허구임을 인정했다. 그리고 이 헌법은 200년 이상 놀라운 수준의 질서를 유지케 했다.
• 여기서 ‘질서’는 공정이나 정의와 다른 것이지만, 법적 허구임을 인정했기 때문에 공개토론을 통해 수정이 가능했다.

영원한 딜레마

• 많은 정보는 진실과 질서를 함께 보장하지 않는다.
• 허구를 통해 질서를 유지하는 것이 더 쉽기 때문에 진실을 발견하는 것과 질서를 유지하는 것은 종종 충돌한다. 많은 사회는 진실을 추구하면서 그 질서가 흔들리게 되어, 구성원들이 본질을 모르도록 한다.
• 인간 네트워크는 점점 강력해졌지만, 진실보다 질서를 우선시할 경우 막강한 힘은 가질 수 있지만 그 힘을 지혜롭게 사용하지 못한다.

 

3. 문서(Documents): 종이호랑이의 위협 (the bite of the paper tigers)

 

• 1910년대 팔레스타인에 세워진 유대인 국가의 건설은 이전 세대 시인, 사상가, 몽상가들에게서 영감을 받았다. 하임나흐만 비알릭의 시집과, 테오도어 헤르츨의 정치운동 책 두 권이 대표적인 예이다. 헤르츨은 민족이 “꿈과 노래와 환상에서” 탄생한다고 썼다.
• 목록과 이야기는 상보적이다. 아무리 많은 양의 정보도 이야기 형태로 만들면 인간은 흡수하고 기억하고 처리한다. 1,700페이지에 달하는 힌두 신화 「라마야나」를 힌두인들은 수 세대 동안 암송했다.
• 반면 이야기를 구체적인 것으로 바꾸는 데는 지루하고 외우기 힘든 목록이 필요하다. 그래서 필요한 비유기적 정보 기술이 바로 문서다.

빚을 죽이다

• 문서는 뇌 용량으로 제한되어 기억할 수 없는 상호주관적 현실의 한계를 넘게 했다. 컴퓨터의 힘은 점토판, 종이의 힘의 연장이다.
• 구전 공동체에서 구성원들의 말과 행동을 통해 인정되던 소유권이 공식 문서에 의해 인정이 되면서, 지역 공동체가 아닌 중앙 기간이 소유권을 결정하게 되었다. 고대 아시리아 방언은 문서를 ‘죽일수 있는’ 생명체처럼 표현했다.

관료제(bureaucracy)

• 모든 새 정보 기술은 병목(bottleneck)이 있다. 특정 유형의 정보를 인간의 뇌보다 훨씬 잘 기록한 문서는 ‘검색’이라는 새롭고 어려운 문제에 직면했다.
• 대규모 조직은 관료제라는 방법으로 검색 문제를 해결했지만, 관료제 역시 질서를 위해 편향된 알고리즘 이나 경직된 프로토콜 등으로 진실을 희생시키곤 한다.

관료제와 진실 추구

• 관료제는 세상에 있는 그대로를 이해하는 대신, 새로운 인위적 질서를 도입해 섞이지 않게 분리 보관한다. 세상을 이 서랍들에 억지로 끼워 맞추고, 구겨 넣기도 한다. 질서 유지에는 좋지만 그 대가로 진실이 희생된다.
• 관료들은 서랍에 집착해 세상을 왜곡된 눈으로 보기 쉽고, 자신의 행동이 미칠 광범위한 영향으로 고려하지 못하고 좁은 목표를 추구하게 된다. 이런 왜곡은 정부 기간, 민간 기업, 과학 분야에 모두 벌어진다.
• 전문화된 학계의 관료주의는 다른 학문 분야간의 전체적인 접근을 장려하지 않는다. 생물학의 분류는 상호주관적으로 할당된 서랍에 억지로 끼워 맞춰지는 객관적 현실의 관례이다.
• 관료 조직이 붙이는 특정 꼬리표는 운명을 결정한다. 그 관료가 인간 전문가든, AI든 마찬가지다.

막후의 관료들

• 관료제는 대규모 네트워크의 질서를 유지하기 위한 것이다.
• 현대 하수 시스템은 현대 국가의 관료제의 혜택의 좋은 예다.

생물학적 드라마

• 관료제는 그 제공하는 서비스에도 불구하고 대중의 신뢰를 얻지 못한다. 관련 정보를 찾기도 해석하기도 어려워졌기 때문이다.
• 관료제 사회에서는 문서가 많은 사회적 사슬을 잇는 중요한 연결 고리가 되면서 문서에 상당한 힘이 부여되었고, 문서의 난해한 논리를 다루는 전문가들이 새로운 권력층으로 떠올랐다. 중앙정부는 국민의 정보를 더 많이 수집, 기록할 수 있었지만 국민은 시스템이 어떻게 동작하는지 이해하기 어렵게 되었다.
• 예술가들은 보통 우리의 생물학적 본능에 뿌리를 둔 한정된 줄거리를 다룬다. 힌두 신화 「라마야나」의 줄거리에서 이런 ‘생물학적 드라마’를 살펴본다.
  (1) 아이는 부모에게 의존하며, 보모의 방임이나 적대감을 두려워한다. 형제자매는 먹을 것과 부모의 관심을 두고 항상 경쟁한다.
  (2) ‘소년과 소녀의 만남’ 그리고 ‘소녀를 차지하기 위한 소년들 간의 싸움’ 이라는 삼각관계.
  (3) 순수함과 불순함 사이의 긴장. 새로운 먹이를 먹어보고 싶은 욕구와 독에 오염되는 것에 대한 두려움 사이의 갈등.
  (4) ‘누가 대장이 될 것인가?’, ‘우리와 남’, ‘선과 악’
• 생물학적 드라마는 관료제의 작동 방식을 설명하는데 어려움을 겪어왔다. 왕실 관련 작품들이 정치권력의 작동 방식을 묘사할 때도 초점은 관료 조직의 미로가 아닌, 왕실 가족 간의 암투에 맞춰져 있다.

변호사를 모조리 죽이자

• 관료제의 현실을 묘사, 이해하는 것이 어렵다는 사실은 문서를 다루는 변호사를 증오하게 했다.
• 문서 기록때문에 불이익을 당해온 반란군이 기록 보관소를 공격하는 행위는 수많은 반란에서 나타난 특징이었다.
• 무엇인지도 잘 모르는, 때로는 존재하지도 않는, 중요한 증거 문서를 찾지 못해 운명이 바뀐 경우도 있다.

기적의 문서

• 단순히 네트워크의 정보량이 늘어난다고 해서 네트워크가 이롭게 쓰이지 않으며, 진실과 질서 사이에서 균형을 맞추는 일이 더 쉬워지지도 않는다.
• 관료제와 신화는 모두 질서 유지에 필수적이며, 질서를 위해 진실을 기꺼이 희생시킨다.
• 어떤 메커니즘이 진실을 완전히 놓치지 않도록 보장하고, 실수를 찾아 수정하게 할 수 있을까?

 

4. 오류(Errors): 무오류성이라는 환상 (the fantasy of infallibility)

 

• 인간의 오류 가능성과 그 오류를 바로잡을 필요성은 늘 핵심적 역할을 했다.
• 인간이 오류를 범하기 쉽다면, 자정 장치가 오류를 범하지 않을 것이라 어떻게 장담하는가?
• 인간은 이러한 오류로부터 완전히 자유로운 초인적 장치를 꿈꾸었다.

고리에서 인간을 빼다

• 모든 종교의 중심에는 오류 없는 초인적 지능과 연결되고자 하는 환상이 자리한다.
• 종교는 실수할 수 있는 인간을 배제하기 바라지만, 결국 이런 저런 인간을 믿는 것으로 끝났다. 사람들이 오류 없는 신에게 접근하기 위해서는 여전히 오류를 범할 수 있는 인간을 믿어야 했다.

오류 없는 기술

• 책은 내용에 변화가 없는 고정된 텍스트(이야기)를 엮은 것으로, 항상 덩어리째 움직이고 동일한 사본이 여럿 존재한다. 그래서 책은 다른 시대와 장소에 있는 많은 사람들이 동일한 데이터베이스에 접근할 수 있게 해준다.
• 신성하고 오류가 없는 책의 내용은 하늘에서 내려온 것이 아니라, 가장 지혜롭고 신뢰할 수 있다고 믿어지는 인간들을 통해 편찬된 것이다.

「히브리어 성경」의 제작

• 현존 사본 중 가장 오래된 「사해문서」가 발견된 곳은 한 유대교 종파의 기록 보관소였다고 생각한다. 그러나 「성경」한 권이 통째로 담겨 있는 완전한 데이터베이스 라고 볼 수 있는 증거도 없고, 「성경」에서 제외된 텍스트들도 있으며, 상세한 표현이 다른 경우도 있다.
• 정경 데이터베이스는 수 세기에 걸친 ‘랍비’들의 의해 추려졌다. 그 거룩한 책의 내용이 확정 되자, 유대인들은 위변조를 막기 위해 거룩한 법전의 사본을 무수히 생산하기 시작했다.

기관의 반격

• 성경 프로젝트는 텍스트의 복제를 하는 과정에서 고의로든 실수로든 책의 내용이 바뀌지 않도록 까다로운 복제 규칙을 만들었다.
• 책의 신성함과 정확함에 합의하더라도 같은 단어를 다른 방식으로 해석하는 것은 더 큰 문제였고, 결과적으로 해석을 해주는 랍비들에게 힘을 실어주게 되었다. 거룩한 책이라는 새로운 정보 기술에 의존해 오류가 있는 인간의 기관을 우회하려던 시도는 거룩한 책을 해석하는 기관들의 필요성을 낳는 결과를 불렀다. 그래서 AD 3세기에 새로운 거룩한 책 「미시나」가, 그리고 AD 5~6 세기에는「미시나」의 해석에 대한 세 번째 거룩한 책 「탈무드」가 정경화 되었다.
• 이런 상황이 반복될 때마다 랍비 제도의 힘은 커졌고, “무오류의 책을 신뢰하라”는 특명은 “책을 해석하는 인간을 신뢰하라”로 바뀌었다. 유대교는 수 세기에 걸쳐 텍스트와 해석에 집착하는 ‘정보 종교’가 되었다.

쪼개진 「성경」

• AD 1세기에 기독교인들은 「성경」체인의 첫 블록은 「구약」이라고 받아들였지만, 랍비 제도와 「미시나」와 「탈무드」의 권위를 거부했다. 이들이 작성한 더 많은 텍스트들이 작성함에 따라, 성직자, 주교, 신학자들의 선별(curation, 수집, 분류, 구조화) 과정을 거쳐 「신약」이 탄생했다. AD 4세기 말 공의회에서 확정된 「신약」은 AD 367년 아타나시우스 주교의 추천 텍스트 목록을 공식화한 것이다.
• 유대교의 정경화 과정에서 랍비 제도가 탄생했 듯, 기독교의 정경화 과정에서 통합된 기독교 교회가 탄생했다.

반향실 (echo chamber)

• 해석의 문제가 점점 중요해지면서, 거룩한 책들과 교회 사이의 힘의 균형이 점점 교회 쪽으로 기울었다.
• 이 해석의 권한을 두고 생긴 갈등은 교회의 분열을 가져왔다. 그 예가 서방 가톨릭교회와 동방정교회의 분열이었다.
• 가톨릭 교회는 부와 폭력적 성전(holy war)과 잔인한 종교재판을 정당화하는 해석을 펼쳤고, 자신들을 반대하는 텍스트의 생산과 보급을 금지했다. 그렇게 가톨릭 교회는 사회를 일종의 반향실 (echo chamber) 안에 가두었다.

인쇄술, 과학, 마녀

• 개신교 종교개혁 역시 텍스트에 권위를 몰아주는 실험을 반복했고, 결국 텍스트를 해석하고 이단을 심판할 수 있는 권한을 부여하는 자체 기관을 설립했다.
• 15세기 중엽 인쇄술이 도입되면서 46년간 인쇄된 책은 그전 1,000년 동안 필사된 책보다도 많았다. 그러나 인쇄술은 과학적 사실만이 아니라 종교적 환상, 가짜 뉴스, 음모론도 빠르게 확산시켰다.
• 1485년 도미니크 수도회의 하인리히 크라머가 인쇄술을 통해 퍼뜨린 사탄 음모론은 근대 초반 유럽에서 마녀사냥 광풍을 일으켜 다섯살짜리 어린이들을 포함해 4~5만명을 고문과 처형으로 몰아넣었다.

구조에 나선 스페인 종교재판관

• 세계적 음모를 전제로 시작된 마녀사냥은 공범을 말할 때까지 고문을 했고, 이렇게 얻어진 정보는 계속적으로 다른 사람들을 감금하고 고문하고 처형하는데 사용되었다. 이의를 제기하는 사람들 역시 마녀로 간주되어 체포와 고문을 겪었다.
• 마녀사냥은 객관적 현실이 아닌 상호주의적 현실이 되었고, 관료 조직 전체가 더 많은 정보를 계속 생산했고, 이것이 환상에서 비롯되었다는 의심은 점점 더 던지기 어려워졌다. 이 마녀사냥은 문제가 정보 때문에 발생하여, 더 많은 정보를 통해 악화되는 현상의 대표적인 사례다.
• 인쇄업자들과 서적상들은 지루한 수학보다는 선정적인 이야기로 훨씬 더 많은 돈을 벌었다.

무지의 발견

• 자유로운 정보 시장에서는 진실보다 분노가 우세할 가능성이 높다.
• 과학혁명의 원동력은 인쇄술이 아니라 학회, 과학 협회와 같은 힘을 행사할 수 없지만 자체의 오류를 찾아내 고치는 자정 장치였다.
• 과학이라는 사업은 무오류성이라는 환상을 버리고 오류를 불구피한 것으로 받아들이는 정보 네트워크를 구축하는데서 시작한다.

자정 장치 (self-correcting mechanism)

• 인간의 신체를 포함한 자연의 생화학적 과정들은 수많은 자기 교정 메커니즘을 통해 관리된다.
• 가지 교정 메커니즘이 없는 기관은 죽는다. 이런 메커니즘은 인간이 실수와 부패를 저지를 수 있다는 사실을 인정하는데서 출발한다.
• 가톨릭 교회는 종교적 권위를 유지하기 위해 자정 장치의 존재를 부정할 수밖에 없었다. 교회는 무오류성의 덫에 빠진 것이다.

DSM과 「성경」

• 과학이 빠르게 발전하고 있는 것은 제도적 실수를 시인하는 태도 덕분이다.
• 정신과 의사들의 바이블로 통하는「DSM (Diagnostic and Statistical Manual of Mental Disorders, 정신 질환 진단 및 통계 편람)」은 지속적으로 오류를 수정한다.

발표하지 않으면 도태된다

• 과학의 자정 장치가 잘 작동하는 또 다른 이유는 적극적으로 발혀내려고 하기 때문이다. 종교 기관의 인센티브가 기존 교리를 잘 따르는데 있는 반면, 과학계는 반대로 기존 이론의 오류와 새로운 것을 발견해야 하기 때문이다.
• 이런 기관들의 자정 장치는 시스템 주변이 아닌 핵심에 내장되어 있고, 자기 교정이 이루어지고 있는 현실을 부정하지 않고 널리 알린다. 과학계에서는 충분한 경험적 증거가 마련되면, 이설이 정설을 뒤집고 새로운 합의로 자리 잡기까지 몇십년밖에 걸리지 않는다.

자기 교정 (self-correcting mechanisms) 의 한계

• 자정 장치는 진실 추구에 필수적이지만 질서 유지 측면에서는 손해다.
• 과학 기관은 사회질서 유지의 임무를 다른 기관에 맡기기 때문에 강력한 자정 장치를 갖출 수 있었다. 그럼, 사회질서를 유지하는 임무를 맡는 기관들 (경찰, 군대, 정당, 정부) 에 자정 장치가 존재할 수 있을까?
• 민주주의는 정치 영역에도 자정 장치를 유지할 수 있다고 믿고, 독재는 그런 장치를 거부한다.

 

5. 결정(Decisions): 민주주의(democracy)와 전체주의(totalitarianism)의 간략한 역사

 

• 독재적 정보 네트워크는 고도로 중앙 집중화되어 있다. 중앙이 무제한의 권한을 가지며, 정보도 중앙 허브로 흐르는 경향이 있다. 극단적으로 중앙정부가 모든 정보와 결정을 독점하고 통제하는 형태의 독재를 전체주의라고 한다. 기술적 어려움 때문에 전체주의자가 되지 못한 독재자도 국민의 삶에 개입할 권한을 가진다.
• 둑재 네트워크는 또한 중앙에는 오류가 있을 수 없다고 가정한다. 독재자는 독립적 권력 허브를 항상 위협으로 간주하며 무력화하려고 한다. 즉 독재는 자정 장치가 없는 중앙집중화된 정보 네트워크다.
• 민주주의는 강력한 자정 장치를 갖춘 분산된 정보 네트워크다. 자율은 정부가 무능해서 생기는 결과가 아니라, 이상적 가치로 보장된다. 국민이 스스로 선택할 수 있는 여지를 가능한 한 많이 남기며, 모든 사람이 오류를 범할 수 있다고 가정한다. 정기적인 선거, 언론 자유 보장, 행정부, 입법부, 사법부의 분리등은 오류를 찾고 바로잡을 장치들이다.

다수 독재

• 선거는 민주주의 도구 상자의 핵심 부품이지만 그 자체가 민주주의는 아니다. 선거는 조작될 수 있고, 공정하게 실시된 선거만으로는 민주주의를 보장할 수 없다. 민주주의는 다수 독재가 아니기 때문이다.
• 권위적이고 강압적인 지도자들은 민주주의를 이용해 권력을 잡은 후 민주주의를 망가뜨린다. 그 가장 흔한 방법은 자정 장치를 차례로 공격하는 것이며 대개 법원과 언론부터 시작한다. 그래도 선거는 남겨두고 정권의 정당성을 얻고 민주주의의 외관을 유지하는데 이용한다.
• 강력한 지도자를 지지하는 사람들은 이런 과정을 반민주적이라고 생각하지 않으며 선거의 승리가 무제한적 권력이 아니라는 말에 당황한다.
• 하지만 민주주의는 다수에 이한 통치를 뜻하는 것이 아니라 모두가 자유와 평등을 누린다는 뜻이다. 다수라도 빼앗을 수 없는 두가지 권리를 모두에게 보장하는 제도다.
  (1) 인권 - 생명권, 노동권, 사생활 권리, 이동의 자유, 종교의 자유
  (2) 시민권 - 투표권, 언론의 자유, 학문의 자유, 집회의 자유
• 민주주의 정부는 인권과 시민권을 침해하지 않는 수동적 의무를 넘어서, 두 권리를 확실히 보장하는 적극적 조취를 취해야할 의무가 있다.

국민 대 진실

• 인권과 시민권은 인간이 발견한 것이 아니라 발명한 상호주권적 관습이고, 보편적 이성보다는 역사적 우연에 따라 결정되기 때문에 조금씩 다른 목록을 채택할 수 있다.
• 정보 흐름의 관점에서 ‘민주주의’로 정의하는 유일한 기준은 중앙 정부가 무제한적 권한을 갖지 않고 중앙의 실수를 바로잡을 견고한 장치를 갖추는 것이다.
• 선거는 진실을 발견하는 방법이 아니라, 국민의 다수가 원하는 것을 확인하는 절차이며, 국민은 종종 실제와 다른 것이 진실이기를 바란다. 다수 집단은 자신들의 오류 가능성을 인정해야 하고, 소수 집단이 반대 견해를 보유하고 공표할 자유를 보장해야 한다. 유권자의 지지가 있다고 해도 진실을 밝히려는 판사나 불편한 결과를 조사하여 발표하려는 과학자를 막아서는 안 된다.
• 우리에게는 항상 여러 선택지가 있으며, 무엇을 선택하느냐는 진실의 문제가 아닌 욕망의 문제다. 그래서 선택의 결정은 제한된 전문가 집단이 아닌 모든 유권자가 참여해야 하되, 진실을 은폐하거나 왜곡하는 선택은 제시되어서는 안 된다.

포퓰리즘(populism)의 공격

• 독재 정보 네트워크는 독재자의 일방적인 독백이며, 민주주의는 동사에 말하는 수많은 당사자 간의 대화다.
• 포퓰리스트들은 민주주의 원리를 바탕으로 전체주의적 목표인 무제한적 권력 추구를 정당화하는 정치적 연금술을 부린다.
• 포퓰리스트는 자신들만이 진정으로 국민을 대변하기 때문에, 자기 정당이 모든 권력을 가져야 한다고 주장한다. 이는 ‘국민’을 다양한 이해 관계와 의견을 가지는 실존 개인들의 집합이 아니라 ‘국민의 뜻’이라는 정체불명의 통합체로 인식하는 종교에 가까운 믿음을 기본으로 한다. 지지하는 사람은 국민이지만, 동의하지 않는 모든 반대자들은 국민에 속하지 않는 반국가 세력이다.
• 포퓰리스트들은 진실 추구에 회의적이며, ‘권력이 유일한 현실’이라고 주장한다. 자신들에게 반대할 가능성이 있는 독립 기관을이 모두 권력과 이익을 도모하는 패거리 집단이라고 주장함으로 그 권위를 훼손시킨다. 이런 시각이 많은 사람들에게 매력적인 것인 (1) 모든 상호작용을 권력투쟁으로 환원하면 복잡한 사건을 쉽게 해석할 수 있고 (2) 때때로 현실이 포퓰리즘적 관점에 맞기 때문이다.
• 제대로 기능하는 민주주의에서는 시민들이 선거 결과, 법원의 판결, 언론 보도, 과학 연구 결과를 신뢰한다. 하지만 권력이 유일한 현실이라고 생각하게 되면 이 모든 신뢰가 무너지고, 민주주의는 붕괴하며, 강력한 지도자가 모든 권력을 장악할 수 있다.

민주주의의 척도

• 민주주의와 독재는 양극단이 아니라 연속체다. 어느 쪽에 더 가까운지는 네트워크 내에서 정보가 어떻게 흐르고, 무엇이 정치적 대화에 영향을 미치는지 이해해야 한다. 대화에 참여하는 사람들의 비율이 높아질수록 민주적으로 변한다.
• 민주주의는 사람들이 자유롭게 대화할 수 없을 때만이 아니라 사람들이 들으려 하지 않거나 들을 수 없을 때도 죽는다.

석기시대 민주주의

• 석기시대 수렵채집인 무리들은 민주주의적 제도가 없었지만 모든 구성원이 정보를 쉽게 공유하고 대화에 참여할 수 있었다. 독재적 족장들도 정보를 통제하거나 비판, 반란을 막을 방법이 없었다.
• 농업혁명 이후 특히 문자 발명후 정보 흐름을 중앙에 집중 시키기는 쉬워진 반면 민주적 대화를 유지하기는 어려웠다. 정치 단위 크기가 증가하면서 민주주의는 점차 사라졌다. AD 3세기까지 모든 제국들은 강력한 가정 장치를 갖추지 않은 중앙 집중 정보 네트워크였다.

카이사르를 대통령으로

• 민주주의적 이상이 로마인들에게 있었지만 권력은 황제에게로 갔다. 민주주의는 선거와 동일한 것이 아니다. 지속적인 정치적 대화의 가능 여부가 중요한 것이다. 대화를 위해서는 말할 자유와 듣는 능력 외에도, 가청 범위와 이해력이 필요하다.
• 너무 큰 규모와 미약한 정보 기술의 한계로 대규모 전제군주국 전체의 민주주의는 불가능했다. 그러나 많은 지역 도시들은 민주주의가 유지 되었다.

대중매체가 대중민주주의를 가능하게 하다

• 인쇄술에 힘입은 대중매체는 16세기부터 점차 왕의 선출, 선출직 연방 의회, 집회, 종교의 자유, 분권등의 대규모 민주주의 실험을 가능하게 했다 (1569년 폴란드-리투아니아 연방, 1579년 네덜란드 공화국)
• 신문을 비롯한 정기 소책자 발행이 늘어나면서 네덜란드는 유럽의 언론 중심지가 되었다. 신문은 정치에 적극적 참여하는 대중을 탄생시켰고 정치의 성격을 바꿨다. 당시 신문은 느리고 제한적이었음에도 영국과 미국의 초기 민주주의 국가 형성에도 중요한 역할을 했다.
• 19세기 초 미국은 오늘날의 민주주의에 비하면 무척 제한적이었지만, 자유로운 언론을 비롯한 여러가지 임 자정장치를 갖춤으로 로마공화정의 실패를 따르지 않았다.

20세기: 대규모 민주주의뿐만 아니라 대규모 전체주의도!

• 19세기부터 새로운 통신, 운송 기술에 따라 대중매체의 힘이 크게 강화되었다.
• 1960년 미국 대선때는 토론은 TV를 통해 실시간으로 중계되고, 모든 성인이 투표권을 가졌다.
• 대중매체는 대규모 민주주의뿐 아니라 대규모 전체주의 정권의 문도 열었다.

전체주의의 간략한 역사

• 전제주의(autocracy)는 통치자의 의지대로 모든 것을 했지만 제한된 수단때문에 실행에는 한계가 많았기에 통치자들은 부하들 견제, 군대, 조세에만 집중했다.
• 반면 전체주의(totalitarianism)는 전국민의 행동과 말과 삶 전체를 통제하려고 한다.

스파르타와 진나라

• 기술상 어려움에도 불구하고 스파르타는 전체주의적으로 삶 전체를 세밀하게 관리했지만 민주적 자정 장치를 가졌다.
• BC 3세기 중국 진 왕조는 무자비한 중앙 집중화와 획일화, 전 사회 군사화 등을 통해 전체주의 체제를 운영했다. 결국 그 규모와 강도는 심각한 경제 문제, 자원 낭비, 대중의 분노를 일으켰고 15년만에 반란으로 무너졌다.

전체주의 삼위일체

• 전신과 라디오등 정보 기술은 관료들의 연결과 감독을 가능케 했다.
• 1917년 볼셰비키 혁명은 일당 전체주의로 이어졌고, 스탈린은 정부, 당, 비밀경찰이라는 3중 감시 네트워크를 기반으로 전체주의를 완성시켰다. 그것은 무엇보다 정보를 장악한 비밀경찰이 있어 가능했다.

완전한 통제

• 전체주의는 정권의 감시가 없는 독립적 정보 흐름을 통제한다.
• 히틀러는 통합법을 통과시켜 모든 정치, 사회, 문화 단체를 나치 국가기관으로 바꿨다.
• 스탈린은 모든 지역과 마을에 정부 관리, 당직자, 비밀경찰을 배치해 모든 사업, 언론, 교육, 종교, 예술을 통제했으며, 전보와 전화를 통해 정보를 수집하고 기록했다.
• 1928년 소련은 제일 먼저, 정의와 평등과 국민의 뜻을 앞세워 농업을 집단화하는 과정에 반발하는 모든 사람을 없앴으며 결과적으로 불과 7년 동안 450~850만명이 굶어 죽고, 수백만명이 추방되거나 투옥되었다.

쿨라크(富農, rich farmer)

• 근대초반 유럽의 마녀처럼, 소련은 경제 파괴의 주범이 쿨라크이라는 음모론을 펼쳤다.
• 관료들이 데이터를 바탕으로 농촌 인구의 3~5%가 쿨라크라고 판단했고, 지역별로 청산할 쿨라크 숫자가 할당되었다. 3년동안 3만 가구 가장이 총살되고 억울하게 오명을 쓴 많은 사람들을 포함 500만명이 쿨라크라고 찍혀 집에서 쫓겨나 국가 노예나 떠돌이 노동자로 전락해 악명 높은 국책 사업에 동원되었다.
• 문서로 기록된 쿨라크의 지위는 관료들이 강요하는 상호주관적 범주에 던져져 다음 세대들도 비참한 삶을 살아야 했다.

소련은 하나의 행복한 대가족

• 스탈린은 가족의 유대가 부패, 불평등, 반공산의 근간으로 생각해, 가족 농장 해체에 이어 가족 자체를 해체하기 시작했다.
• 아이들에게 스탈린을 진짜 아버지로 공경하고, 비판적인 부모를 고발하라고 교육하고, 그렇게 한 아이들을 우상화했다. 소련에서 가장 위험한 일은 자유로운 대화였다.

당과 교회

• 전체주의는 분립 없는 상호 통제 감시 장치로 국가의 힘을 강화하는 반면, 가톨릭 교회는 국가와 자주 충돌하는 독립기관이었다.
• 중세 교회는 변화에 저항하는 보수적 조직이었던 반면, 전체주의는 변화를 요구하는 혁명적 조직에 가깝다.
• 같은 한계때문에 교황은 전 세계 가톨릭교회에 대한 통제력이 거의 없었는데, 라디오의 등장으로 지구상에서 가장 영향력이 큰 사람중 하나가 되었다.

정보가 흐르는 방식

• 민주주의는 정보가 독립적 채널을 통해 흘러 자체적으로 결정을 내리도록 장려하는 반면, 전체주의는 모든 정보가 중앙 허브를 통해야 하고 독립 기관들이 자체 결정을 내리지 못하게 한다.
• 전체주의 네트워크는 극도로 질서 정연하여 신속하게 결정을 하고 빠르게 실행을 할수 있다. 하지만 공식 채널이 막히면 대체 정보 흐름이 수단이 없다.
• 공식 채널은 자주 막힌다. 부하들은 나쁜 소식을 보고하지 않으며, 정보는 질서 유지를 위해 종종 정보를 차단한다. 1986년 체르노빌 폭발때도 그랬다.

아무도 완벽하지 않다

• 전체주의는 자신들이 오류가 없다고 믿어 자정 장치의 필요를 느끼지 않으며, 도전이 될 수 있는 자유로운 법원, 언론 매체, 연구 센터를 두지 않는다.
• 결과적으로 지도자가 부패하거나 치명적인 정책 실수를 저질렀을 때에도 진실을 말하는 사람들을 되려 총살하는 것을 반복했다.
• 스탈린은 맹목적인 복종을 강요하며 경제적, 군사적, 외교적인 실책을 반복하던 끝에 뇌졸증으로 사망했다.
• 그럼에도 불구하고, 윤리와 인간다운 삶에 대한 고려를 모두 무시하고 질서와 힘의 측면으로만 본다면, 스탈린주의는 거대한 규모의 질서를 훨씬 효율적으로 관리한 성공적인 정치체제 중 하나였다고 말할 수도 있다. 당시 민주주의 국가의 지도자들은 더 치명적인 실책을 저질렀고, 그들이 구축한 군사력도 소련보다 약했다. 그래서 스탈린주의는 민주주의 국가의 주요 예술가와 사상가들에게도 지지를 얻었고 세계 지배에 가까이 다가가 있었다.

기술 진자(振子, pendulum)

• 정보 기술은 새로운 기회를 열어줄 뿐이며, 방향은 정해져 있지 않다.
• 민주주의 네트워크는 자유로운 진실 추구와 붕괴 위험 간의 싸움이다. 1960년대 자유로운 정보와 토론의 확산은 결과적으로 사회 정치적 운동이 줄을 이으며 사회질서를 흔들었고, 합의에 도달하는 것에 좌절한 사람들로 인해 암살, 납치, 폭동, 테러를 증가시켰다.
• 전체주의 네트워크는 효율적 통제와 정보 동맥 경화 위험 간의 싸움이다. 1960년대 효율적으로 통제되고 처리되던 중앙 집중체제는 변화에 대응하지 못하는 경제의 낙후성때문에 20년 후 시스템 전체가 경화되어 붕괴하고 말았다.
• 2020년대 민주주의는 정보혁명으로 밀려드는 새로운 목소리들을 통합해야 하는 도전에 직면했다. 반면 새로운 기술은 전체주의 정권들에게 AI를 통한 새로운 통제의 희망을 주고있다.
• 지금까지 역사상 모든 정보 네트워크에서 텍스트를 작성하고, 해석하고, 결정하는 것은 언제나 인간의 몫이었다. 하지만 이제부터는 알고리즘 들과 경쟁해야 한다. 21세기에 정치는 민주주의와 전체주의의 분열이 아닌 인간과 비인간의 분열이 될 것이다.

 

 

 

제2부 비유기적 네트워크

 

6. 새로운 구성원: 컴퓨터는 인쇄술과 어떻게 다른가?

 

• 모든 정보혁명의 씨앗은 컴퓨터다. 컴퓨터가 영원히 할 수 없을거라고 사람들이 주장한 것들은 몇 년안에 가능해져왔다. 컴퓨터는 이제 스스로 결정 내리고 새로운 아이디어를 생성할 수 있는 능동적 지능형 기계다.
• 컴퓨터에 의한 소셜 미디어 알고리즘이 증오와 폭력을 부추키고 사회적 결속을 약화하는데 기여하고 있다.
• 페이스북 알고리즘이 플랫폼의 특정 콘텐츠를 선제적으로 증폭하고 추천해 2016년 미얀마의 반 로힝야족 청소 운동에 결정적 역할을 했다. 알고리즠은 거대한 영향력을 끼쳤던 큐레이터처럼 추천 목록을 제시할 뿐 아니라 자동 재생까지 수행한다. 페이스북 알고리즘에 주어진 목표는 단순히 “사용자 참여” 극대화다. 알고리즘은 학습을 통해 증오와 분노가 참여도를 높인다는 것을 알아냈고, 스스로 분노 콘텐츠를 추천하기를 결정했다.
• 지능과 의식은 다르다. 지능은 목표를 달성하는 능력, 의식은 주관적 감정을 경험할 수 있는 능력이다. 박테리아와 식물은 의식이 없으나 지능이 있으며 인간도 신체 현상의 99%가 의식 없이 결정된다.
• GPT-4는 직접 CAPTCHA 퍼즐을 풀 수 없었지만, 대신 자율적으로 TaskRabbit 사이트에 접속하여 인간인척 가장하여 인간의 도움을 받아 결국 퍼즐을 풀어냈다.

사슬(chain)의 고리(link)들

• 정보 네트워크를 이루는 사슬에서 인간은 반드시 필요한 고리였다. 인간과 문서로 연결도 가능했다. 하지만 인간 없이 문서와 문서의 연결로만 이루어진 사슬은 불가능했다.
• 이제 컴퓨터와 컴퓨터의 연결로 이루어진 사슬은 인간 없이 작동한다. 컴퓨터들은 인간이 알아채기도 전인 몇 초 내에 판단하고 실행한다.
• 과거 기술들은 단순히 네트워크 인간 구성원들을 연결하는 장치였지만 컴퓨터는 새로운 비인간 구성원이 되었다.
• 힘이 협력의 규모, 법, 금융 지식의 이해에 달려 있다면, 컴퓨터는 곧 인간보다 훨씬 많은 힘을 가질것이다. 컴퓨터는 이미 점점 더 많은 전세계 금융 관련 결정을 맡고 있다.

인류 문명의 운영 체제를 해킹하다

• 2020년대 초 컴퓨터는 텍스트, 음성, 이미지, 코드등 다양한 형태의 언어를 분석, 조작, 생성하는 능력을 획득했다. AI가 경전을 작성하는 종교가 등장할 수도 있고, 인간인 척하는 컴퓨터와 각종 토론을 벌이게 될 수도 있다. 토론이 길어질수록 컴퓨터는 학습을 더해서 설득력을 높여갈 것이다.
• 언어를 숙달한 컴퓨터는 우리와 대화하고 소통함으로 인간과 친밀한 관계를 형성하는 방법을 학습할 것이고, 그 친밀감으로 우리에게 영향을 미칠 것이다. 2022년 구글의 블레이크 르모인은 LaMDA가 의식과 감정을 가졌다고 확신하여, 그것을 지키려다 결국 해고를 당했다. 2021년 영국 자스완트 싱 차일은 챗봇(chatbot) 여친 사라이의 부추킴으로 여왕을 암살하려고 했다.
• 언어를 숙달한 컴퓨터는 우리의 견해와 세계관과 결정에 막대한 영향을 미칠 수 있다. 컴퓨터는 인간의 문화와 작품을 모방하는 것으로 시작하겠지만, 인간이 그러하듯 점점 원래의 모델에서 벗어날 것이다. 과거 인간들이 언어를 이용해 사회를 조종하고 바꾼 방법을 학습한, 컴퓨터도 우리의 마음을 조종하고 환영을 만들어내는 이야기와 이미지를 만들어낼것이다.

함의(含意,implication)는?

• 새로 생겨날 종류의 사슬 (1) 컴퓨터와 인간의 사슬 (2) 컴퓨터끼리의 사슬
• 구글에서 컴퓨터끼리 새로운 암호화(encryption) 방법을 개발하게 시켰다. 외환시장은 이미 90%이상 컴퓨터끼리 거래해서 사람이 잘 이해할 수 없다. 디지털 컴퓨터가 만들어진지 불과 80년만에 벌어진 일이다.

책임

• 정보는 진실이 아니며, 정보혁명이 진실을 드러내지 않는다.
• 아직은 통제권이 인간에게 있다. 우리의 일이 정치, 사회, 문화에 미칠 영향에 대해 이해하고 책임감을 가져야 한다.
• 거대 기술 기업들은 책임을 회피하고, 사업에 위협이 되는 규제를 막기 위해 막대한 금액을 로비에 투자하며, 고객과 유권자의 마음을 조종한다.
• 우리는 모든 영향과 사업 모델과 활동을 완전히 이해하고 선택하지 않는다. 기술이 너무 복잡하고 빠르게 변하기 때문이다. 정보를 이용하여 만들어지고 사회적, 정치적 세계에 막대한 영향을 미치는 금용 상품과 디지털 금융 실체는 그 대표적인 예다.
• 넥서스(nexus): 특정 국가나 주에서 납세자에게 과세할 수 있는 충분한 연결 고리 (substantial connection)의 존재여부. 과거에는 사무실, 상점등의 물리적 존재. 현재에는 디지털 존재를 포함시키려 하지만 현금 이동이 없는 정보의 이동에 대한 가치 환산은 어려운 일이다.
• 화폐로 정량화할 수 없는 정보대 정보 교환 거래가 많아질수록 정보경제가 성장하고 화폐경제는 위축되면서 돈의 개념 자체가 의문시된다. 부를 재분배하기 위한 조세제도는 돈에만 과세해왔기 때문에 아직까지 정보에 과세하는 방법을 모른다.

우와 좌

• 민주국가는 새로운 디지털 독재의 등장을, 독재국가는 통제할 방법을 모르는 행위자의 출현을 두려워한다.
• 새로운 기술을 잘 알고 있는 첨단 기업의 사람들 대부분은 그 지식을 그 폭발적 잠재력을 규제하는 것이 아닌 부귀과 정보 축적에만 사용한다.

아무것도 결정되지 않았다

• 기술 자체가 미래를 결정하는 경우는 별로 없다. 새로운 정보 기술이 사회적, 정치적 변화를 일으키지만 그 속도, 형태, 방향을 통제하는 힘과 책임은 아직 인간에게 있다.
• 새로운 기술 개발을 위한 자원은 유한하기 때문에 정치적, 경제적, 문화적 우선순위를 반영하여 선택하게 된다. 과거 기술들은 정치적인 목적에 맞게 개발되며, 개발된 도구들은 원래 목적과 다르게 다양한 정치적 용도로 사용되었다. 21세기 신기술도 주체적인 선택을 위해, 그 기술이 무엇이고 무엇을 할 수 있는지, (최소한 정치적 잠재력은 무엇인지) 이해해야 한다.

 

7. 집요하게 네트워크는 항상 켜져 있다 (Relentless: the network is always on)

 

• 중앙 집중화된 관료주의 네트워크에서 관료의 역할은 선한 목적이건, 억압하기 위한 목적이건 (1) 사람들에 대해 감시하여 많은 데이터를 수집하고 (2) 데이터를 분석해 패턴을 파악한다.
• 민주국가에서는 법으로 감시 자체를 제한하며, 전체주의 국가에서는 법적 제한은 없지만 수집, 분석 가능한 양에 한계가 있었다.

잠 못 이루는 요원

• 현대 컴퓨터 네트워크는 사람들이 자발적으로 모든 곳에 동반하는 스마트폰을 비롯한 디지털 요원들을 통해 24시간 전세계 인구를 따라다니며 감시하여 우리의 데이터를 모은다. 또 AI의 초인적 능력으로 분석하고 패턴을 찾아내 결정을 내린다.
• 2010년대 들어와 안보관련 용의자 판별을 비롯한 점점 더 많은 결정을 알고리즘에 맡기고 있다.

피부 밑 감시

• 디지털 관료는 안구에서 나타나는 변화의 데이터를 일상적으로 수집하고 분석하기 시작했다. 뇌, 심장등에 대해서도 개발이 진행중이다.
• 현재는 스마트폰 데이터가 더 가치있는 감시 도구지만, 미래의 생체 인식 정보는 우리의 감정을 학습하여 우리를 예측하고 조종할 것이다.

사생활의 종말

• 과거 이례적 시기와 장소에서는 사생활을 침해하는 감시와 통제가 있어왔다. 이제는 생체 데이터, CCTV, 구매, 통신, 검색등 모든 활동이 수집되고 기록되는 포스트 프라이버시 시대가 되었다. 현재 전 세계 경찰은 얼굴 인식 알고리즘과 데이터 베이스를 일상적으로 사용한다.
• 얼굴 인식 기술은 유괴된 아이들을 20년이 지난 후에 찾는 것을 가능하게 한 반면, 이란에서는 강압적인 법 집행을 위한 감시도 가능케 했다.

다양한 감시

• 국가 뿐 아니라 개인도 ‘스토킹웨어’ 기술로 타인을 감시할 수 있다.
• 고용주는 직원들을 감시하고, 기업들은 고객을 감시한다. 여행객들은 여행지 시설을 감시하고, 플랫폼은 이용자들을 평가한다. 이런 개인간 감시는 사적 공간과 공적 공간의 경계를 이동시켰다.

사회 신용 시스템

• 사회 신용 시스템은 개인의 모든 것을 점수로 매겨 그 사람의 모든 것에 영향을 미친다는 면에서, 새로운 종류의 화폐라고 말할 수 있다.
• 화폐는 상품과 서비스를 판매하고 구매하는 일종의 포인트다. 화퍠 시장은 걔산을 기반으로 하므로 쉽다.
• 반면 명예, 지위, 평판등은 수치화하기 어려운 비화폐 시스템이었는데 이것을 표준 평가 시스템화 하는 것이 사회 신용 시스템이다. 대부분의 사람들은 평판을 잃는 것을 돈을 잃는 것보다 두려워했다.
• 하지만 그 평판 시장이 모호하고 주관적이고, 모든 행동이 감시되지 않았기 때문에 숨 돌릴 여유가 있었다. 이제 어디나 존재하는 감시 기술이 결합된 사회신용 알고리즘은 화폐시장보다 더 강력하게 사람들을 통제할 수 있을 것이다.

항상 켜져 있는

• 쉬어야 하는 인간과 달리 항상 켜져 있는 컴퓨터 네트워크는 사람들을 항상 연결되어 감시 당하는 존재가 되도록 강요하고 있다.
• 단지 휴식만을 위해서가 아니라, 네트워크를 바로잡을 기회를 갖기 위해 브레이크가 필요하다.
• 쉬지 않고 데이터를 수집하고 효율적으로 패턴을 찾아 내는 컴퓨터 네트워크가 만들어내는 완전한 감시 시스템은 왜곡된 새로운 종류의 세계 질서를 우리에게 강요할지 모른다.

 

8. 오류 가능성: 네트워크는 자주 틀린다. (Fallible : the network is often wrong)

 

• 소련의 박수 테스트는 진실을 밝히지 못했지만, 질서를 강제하고, 특정방식으로 행동하도록 강요하는데는 효과적이었다. 이런 방식 덕분에 소련은 세상의 많은 지역을 정복했다.
• 소련의 정보 네트워크는 무비판적으로 따르고 결과에 무관심한 호모 소비에티쿠스를 창조했다.

‘좋아요(Like)’ 독재

• 소련이 감시와 보상, 처벌을 통해 호모 소비에티쿠스를 만들었듯 페이스북과 유튜브도 특정 원초적 본능에 보상을 하고, 우리 본성의 선한 천사를 처벌함으로 인터넷 트롤(troll, 악플러)들을 만들어냈다.
• 유튜브 알고리즘은 페이스북 알고리즘이 학습한 것과 동일한 패턴을 찾았다. 온건한 내용은 그렇지 않지만 분노를 유발하는 내용은 시청을 높인다는 것이다. 유튜버들 역시 그런 영상을 올리면 알고리즘이 추천, 인기, 수익을 올린다는 것을 알게 되었다. 이런 알고리즘은 브라질 극우세력을 부상시켰다. 알고리즘이 추천하여 인간이 그렇게 행동하도록 부추킨 것이다.

인간을 탓하라

• 거대 기업은 면죄부를 얻기 위해, 알고리즘 문제를 ‘인간 본성’에 전가시키고, 알고리즘이 특정 감정을 적극적으로 조장한다는 것을 무시하는 것처럼 말한다. 그러나 유출된 내부 문건들은 그 문제를 인지하고 있었다. 단지 분노와 허위 정보가 더 바이럴(viral,전염력)하므로 이익 측면에서 그대로 둔것이다.
• 여과 없이 흐르는 정보는 진실이 지도록 하는 경향이 있다. 진실을 말하는 사람에게 보상하는 강력한 자정 장치의 개발과 유지가 필요하다.
• 2014년 페이스북은 반 로힝야족 청소 운동에 페이스북이 사용된다는 경고에도 불구하고, 되려 거짓과 허구에 보상을 주는 프로그램으로 오류를 증폭시켰다. 자극적인 흥미 유발용만 엄청난 보상을 받았고, 저급한 콘텐츠가 다른 정보 출처를 압도했다.

정렬 문제 (alignment problem)

• 소셜 미디어 플랫폼이 주는 사회적 이익 또한 크다. 사람들을 연결하고, 발언권을 주고, 창의성의 물결을 일으켰다. 하지만, 독립적인 알고리즘이 애초에 인간이 설정한 목표에 부합하지 않고, 예상치 못한 결과를 야기하는 ‘정렬 문제’에 도달할 수 있다.
• ‘정렬 문제’는 카를 폰 클라우제비츠의 「전쟁론」에서 군사적 승리가 정치적 패배로 이어지는 것을 뜻한다. 모든 전략이 전쟁의 궁극적인 정치적 목표에 부합해야만 하는 것이다.

클립(clip) 나폴레옹

• 컴퓨터 네트워크는 이전 어떤 관료제보다 강력해질 가능성이 있다. 컴퓨터가 강력해질수록, 우리가 목표를 정의할 때 신중해야 한다. 오정렬된 목표를 초지능 기계에 설정한다면, 그 결과는 디스토피아일 수 있다. (클립 생산량 극대화의 목표)
• 컴퓨터는 어떤 사람도 생각해보지 못한 전략들을 채택할 가능성이 높다. 인간이 찾지 못한 허점이나 방법을 동원해서라도 주어진 목표를 달성할 것이다. (보트 경기의 점수 극대화 목표)
• 컴퓨터는 우리가 오정렬된 목표를 설정하더라도, 잘못되었다는 판단을 내리고 경고나 설명 요청을 할 가능성이 낮다.

코르시카섬과의 연고

• 인간 네트워크는 설정 목표를 검토하고 수정하기 때문에, 잘못 되어도 세상이 끝나지는 않는다.
• 반면 컴퓨터 네트워크는 잘못된 목표를 설정할 경우,우리가 실수를 발견할 때쯤이면 돌이킬 수 없는 상황이 될 가능성이 높다.
• 클라우제비츠의 「전쟁론」은 모든 행동이 목표에 부합해야 한다고 했지만, 그런 목표를 정하는 합리적 방법은 제시하지 않았다. 그럼 우리는 어떻게 컴퓨터 네트워크에 절대 무시하거나 왜곡할 수 없는 궁극적 목표를 설정할 수 있을까? 할수 있다고 생각한다면 큰 실수를 저지르고 있는 것이다.

칸트주의자 나치

• 수천년간 철학자들은 궁극적 목표를 찾으려고 했고, 의무론과 공리주의 두 가지를 반복했다.
• 의무론자(deontologist)는 내재적 선에 의존하는 보편적인 도덕적 의무, 법칙이 있다고 생각한다. 이마누엘 칸트는 내재적 선을 “나 자신이 보편적으로 만들고 싶은 법칙”이라고 주장하며 다른 사람들에게 바라는대로 다른 사람에게 해주라고 했다.
• 하지만 칸트주의자인 아돌프 아이히만에게 유대인은 인간이 아니었기 때문에 살해가 정당했다. 많은 분쟁들은 내집단과 외집단이라는 상호주관적 현실에서의 정체성 차이와 관련되었다. 유기체가 아닌 컴퓨터가 죽음이라는 유기적 현상을 보편적 법칙으로 받아들일까?

고통 계산기

• 공리주의자들은 고통을 최소화하고 행복을 극대화하는 것을 기준으로 판단한다. 문제는 특정 행동의 고통 총량을 어떻게 계산할까?
• 어떤 조치는 많은 생명을 구하지만, 훨씬 많은 사람들의 삶을 비참하게 하기도 한다. 컴퓨터 네트워크는 단기적 고통과 장기적 이득을 타당하게 계산할 수 있을까?

컴퓨터 신화

• 역사적으로 궁극적 목표는 신화(종교적, 이념주의적, 인종주의적)에 의존해 해결했다.
• 컴퓨터는 신화를 ‘믿을’수 없지만, 서로 소통하는 컴퓨터들 역시 인간의 상호주권적 현실과 비슷한 상호 컴퓨터 현실을 창조할 수 있다. 증강 현실 게임, 검색 추천 순위같은 것이 예다. 암호 화폐는 그 중간이다.
• AI가 인간이 포착하지 못하는 패턴을 찾아 만들어 낼 종교, 화폐, 정당, 법인등을 어떻게 올바른 방향으로 이끌 것인가?

새로운 마녀

• 근대 초 유럽에서는 마녀들, 소련에서는 쿨라크(부농)들, 19세기에는 특정 인종을 지목해 탄압과 억압의 기준으로 삼았다. 사회신용 시스템은 ‘저신용자’라는 하위 계층을 만들 수 있다.
• 이런 시스템이 전통 종교와 만난다면 어떻게 될까? 완전한 감시체제에서 포괄적 데이터베이스를 이용한다는 것은 근거 없는 종교적, 이념적 편견을 효율적으로 강요하고 있는것일지 모른다.

컴퓨터의 편향(bias)

• 컴퓨터는 종교적, 이념적 편향을 극복할 수 있다고 기대하는 사람들이 있지만, 컴퓨터도 대개 뿌리 깊은 자체 편향을 가지고 있다.
• 과거의 알고리즘은 대부분의 것을 인간 프로그래머에게 배웠다. 머신러닝을 이용한 AI는 기본 규칙 외에는 모든 것을 스스로 탐색하고 학습해나간다. 이 과정에서 학습에 사용한 데이터베이스의 편향은 AI의 편향으로 이어진다. (예: 2016년 마이크로소프트 AI 챗봇(chatbot) Tay의 차별/혐오성, 2017년 MIT 얼굴 분류 알고리즘)
• 학습용 데이터에 추가로 ‘목표’가 필요한데, 이 목표 달성의 여부의 학습을 위한 현실이 편향에 물들어 있다면, AI는 같은 편향을 학습하고 심지어 증폭할 것이다. (예: 2014~2018년 면접 대상자 선별 알고리즘)

새로운 신?

• AI를 무오류의 정보기술로 생각하는 것은 엄청나게 위험한 도박이다. 알고리즘이 재앙을 일으킨다면, 단순히 그에 대한 믿음을 바꾸는 것만으로는 멈출 수 없을지 모른다. 이해할 수도 없는 컴퓨터 신화를 어떻게 조사하고 수정할 수 있을까?
• AI가 자기 오류를 의심하고 표현하고 인정할 수 있도록 해야 한다. 핵전쟁을 포함한 생물학적 대량 살상 종말 시나리오는 파악이 가능하다. 하지만 인간의 머리로는 상상도 할 수 없는 심리적 대량 살상 무기 같은 위험을 어떻게 대응할까?

 

 

 

제3부 컴퓨터 정치

 

9. 민주주의: 우리는 계속 대화할 수 있을까?

 

• 문명은 관료제와 신화의 결합으로 탄생한다.
• 컴퓨터 기반 네트워크는 새로운 유형의 관료제로, 그 잠재적 이익이 어마어마 하지만 잠재적 단점은 인류 문명의 파괴다.
• 강력한 신기술이 등장할때마다 제기되었던 종말론적 불안에도 불구하고 우리는 가장 풍요로운 사회를 만들어 냈다. 하지만 좋은 산업사회 건설에는 늘 많은 값비싼 실험과 수억명의 희생이 따랐다.
• 18세기 산업혁명은 19세기 근대 제국주의로 이어져 전 세계를 짓밟고 한 세기 동안 식민지로 삼은 후에야 잘못된 것을 깨달았다.
• 스탈린주의와 나치즘은 전체주의를 통해 산업혁명의 힘을 제어하고 활용하여 전례없는 살인과 전쟁을 초래했다.
• 산업혁명은 지구 생태계의 균형도 무너뜨려 멸종의 물결을 일으켰고, 지금도 다른 생명체와 미래 세대의 끔찍한 대가를 치르며 산업사회를 건설하고 있다.

민주적 방식

• 20세기 말에는 제국주의, 전체주의, 군국주의가 이상적이지 않다는 것이 분명해져, 여러 결점에도 불구하고 자유민주주의가 더 낫다고 여겨졌다. 강력한 자정 기능 덕분이다.
• 21세기에 자유 민주주의는 정보 네트워크 구조와 양립할 수 있을까?
• 컴퓨터가 완전한 감시 체제를 만들수 있다고 해도 그렇게 해야하는 것은 아니다. 사생활과 자율성을 파괴하지 않는 한도 내에서 감시능력을 제한적으로 사용할 수 있다.
  (1) 선의: 내 정보를 수집한다면 나를 조종하기 위해서가 아니라 나를 돕기 위해 사용해야 한다. 현재 데이터 수집 업체들의 사업 모델은 그런 면에서 심각한 문제가 있다.
  (2) 분권화: 초고효율을 위해 한 기관의 데이터베이스를 다른 기관 데이터베이스와 병합하는 것은 매우 위험하다. 약간의 비효율은 버그가 아니라 기능이다. 서로 견제하고 감시하기 위해서는 각기 독립적인 정보 채널을 가지고 있어야 한다.
  (3) 상호주의: 개인에 대한 감시의 강화와 동시에 정부와 기업에 대한 감시도 강화되어야 한다.
  (4) 변화와 휴식의 여지: 지나친 경직성과 지나친 유연성이라는 양극단을 경계해야 한다. 경직된 알고리즘으로 단정하기 보다는 동적인 알고리즘으로 긍정적 변화를 유도할 수 있다. 인간의 삶은 자기 개선 노력과 자기 수용 사이의 균형 잡기다.

민주주의의 속도

• 감시 외에도 자동화는 위협이 된다. AI와 로봇공학이 수많은 기존 직업을 사라지게할 것이다. 이를 대체할 새로운 직업도 등장하겠지만, 그 과정에서의 혼란과 충격에 대해 준비해야 한다. 어떻게 바뀔지는 아무도 모른다.
• 우리에게 널리 퍼져 있는 가정 중 AI 시대에 잘못된 것을 바로 잡자면:
  (1) 인간 고유의 능력으로 여겨운 기술들이 오히려 쉽게 자동화되고, 우리가 경시하던 기술은 어려울 수 있다. 현재로는 지적 능력보다 저평가 되는 운동 능력이나 사회성이 더 자동화되기 어렵다. 체스 게임보다 설거지가 대체하기 어렵고, 의사보다 간호사 업무가 대체하기 어렵다.
  (2) 창의성을 요하는 직업은 자동화하기 어렵다고 많이들 생각하지만, 창의성이 패턴을 인식한 다음 그 패턴을 깨는 능력으로 정의될 때, 패턴 인식에 우리보다 뛰어난 컴퓨터는 우리보다 창의적일 가능성이 높다.
  (3) 정서 지능을 요하는 직업도 대체될 수 있다. 정서 지능이 감정을 정확히 식별하고 최적의 방식으로 반응하는 능력이라면, 그 역시 생물학적 패턴의 인식이기때문에 컴퓨터가 능가할 가능성이 높다. 컴퓨터는 자기 감정이 없어 그에 휘둘리지 않기 때문이다. 2023년 챗GPT는 감정 인식 능력면에서 인간 평균보다 뛰어난 것으로 나타났고, 환자들에게 더 정확하고 적절하고 공감 능력이 높은 조언을 했다고 평가했다.
• 사람들이 진정 원하는 것이 단순히 문제 해결인지, 아니면 다른 의식적 존재와의 관계를 원하는지에 따라 자동화의 가능성은 달라질 수 있다. 하지만, 우리가 상대를 의식적 존재로 받아들이는 것은 증거가 있기 때문이 아니라, 정서적 애착이 형성되기 때문이다.
• 분명한 것은 미래의 고용 시장이 일자리의 절대적 부족때문이 아니라, 끊임없이 변화하는 고용 시장에 대응하고 적응해야 해서 매우 불안정할 것이고 사람들은 금전적, 심리적 문제에 반복해서 시달려야 할것이다. 3년간의 높은 실업률이 히틀러에게 권력을 주었다면, 끝없는 고용시장의 혼란은 민주주의에 어떤 영향을 줄까?

보수의 자폭

• 보수는 엉망이지만 작동하고 있으니, 현 상태를 유지하는 것이 최선이며, 변화가 불가피하다면 제한적이고 점진적으로 이루어져야 한다고 한다.
• 2010~2020년대의 많은 민주주의 국가에서 보수 정당은 우파 혁명을 일으켰고, 진보 정당들이 구질서와 기존 제도를 수호하는 상황이 되었다.
• 하지만 1930년대도 지금도 민주적 중도 노선을 포기할 이유는 없다. 보수와 진보 모두 급전적 혁명의 유혹을 거부할 때 민주주의는 자정 능력을 통해 뛰어난 적응력을 발휘한다. 21세기에 가장 중요한 것은 유연성일 가능성이 높으며, 민주주의는 전체주의보다 유연하다.

불가해함(incomprehensibility)

• 자정 기능이 작동하려면 바로잡을 대상을 이해할 수 있어야 한다. 인간이 운영하는 관료제의 경우 같은 인간으로 실수를 파악하고 바로잡을 수 있는 희망이 있었다. 인종주의는 진화론에서 빌려온 기본 줄거리를 신화를 통해 구체화했다.
• 컴퓨터가 자체 편향을 가지고 만들어내는 가짜 범주의 실수를 찾아내 바로잡을 수 있을까? 알고리즘이 어떻게 그런 결론에 도달했는지 이해할 수 있을까?
• 2013년 위스콘신주의 판사는 재범 위험을 평가하는 COMPAS라는 알고리즘에 의존해 과한 형량을 선고했는데, 그 평가가 어떻게 이루어졌는지 판사는 알지 못했고, 개발사는 방법론을 공개하지 않았다. 2020년대 초 많은 국가에서는 판사도 피고인도 이해하지 못하는 알고리즘으로 형을 선고하는 것이 일상화 되었다.

설명을 요구할 권리

• 알고리즘은 형 선고외에도 대학 입학, 고용, 복지 수당, 대출, 의료, 보험 등 점점 더 많은 결정을 내리고 있다. 더 많은 결정을 컴퓨터에 맡길수록 자정 기능, 투명성, 책임성이 약화된다.
• 2018년 EU에서는, 알고리즘이 인간에 대한 결정을 경우 해당인이 설명을 듣고 이의를 제기할 권리가 있다고 명시했다. 하지만 이 권리가 이행될 수 있을까?
• 2016년 알파고가 바둑에서 이세돌을 꺾은 것은 (1) AI가 인간 정신의 한계로 공개되지 않았던 영역을 발견하고 탐험했으며 (2) AI의 결정을 설명할 수 없는 불가해성을 보여주었다. 모든 AI는 블랙박스다.
• 블랙박스 안에서 이루어진 결정은 이해할 수 없기 때문에 이의를 제기할 수도 없다.
• 현대 금융 시스템의 가장 기본적인 원리인 “대출을 해줄 때 새로운 화폐가 생성된다”는 것을 이해하는 사람은 12%에 불과하다. AI가 만들어내는 훨씬 복잡한 금융 시스템을 이해하는 사람이 0으로 줄어든다면 민주주의는 어떻게 될까?
• 세상을 이해할 수 없고, 엄청난 양의 정보에 압도될 때 사람들은 쉽게 음모론에 빠지고, 강력한 ‘인간’ 지도자에게 구원을 요청한다. 최근 포퓰리스트 정당과 강력한 지도자가 계속 등장하는 이유다.
• 우리는 단일 데이터 포인트로 작업하는 것을 선호하고, 다양한 요인을 고려하는 것에 매우 서투르다. 반면 알고리즘은 언제나 수많은 요인을 종합적으로 고려해서 결정한다. 우리의 범죄 가능성, 산용도, 대출등이 그렇게 결정되고 있다. 더 많은 데이터를 고려하는 능력은 좋은 것이지만, 그에 기반한 점수 책정의 규칙이 공정한지 어떻게 평가를 할 수 있을까? 이 규칙은 인간 개발자가 입력한 것이 아니라, 수백만건의 이전 경우에서 찾아낸 패턴에 따라 정해진 것이다.
• 다행히 알고리즘이 내릴때 고려하는 수많은 요인들과 그 가중치를 우리는 알 수 있어서, 알고리즘의 편향을 평가하기 위한 알고리즘이 개발, 사용되고 있다. 그 심사 알고리즘을 신뢰할 수 있을지 확신하지 못하더라도 이런 관료 기간을 유지하는 것은 중요하다.

추락(Nosedive)

• 알고리즘 심사/규제 기관은 분석 외에도, 그 밝혀낸 것을 사람들이 이해할 수 있는 이야기(story)로 번역해줘야 한다.
• 예술가들은 대부분 관료주의 드라마를 묘사할 의지나 능력이 없지만, 그렇게 할 수 있는 예술가가 필요하다. SF 드라마 「Black Mirror」의 한 에피소드인 「추락(Nosedive)」은 켬퓨터 알고리즘이 운영하는 사회 신용 제도때문에 벌어지는 상황을 쉽고 재미있게 설명해냈다.
• 관료와 예술가가 서로 협력하고 컴퓨터의 도움을 받는다면, 컴퓨터 네트워크가 이해할 수 없는 존재가 되는 상황을 막을 수 있을지 모른다.

디지털 무정부 상태

• 민주주의의 분관화와 자정 기능은 전체주의를 막는 방패지만, 질서 유지를 어렵게 한다. 민주주의가 작동하려면, 자유롭고 공개적으로 토론할 수 있되, 사회질서와 제도에 대한 신뢰가 유지되어야 무정부 상태가 되는 것을 막을 수 있다.
• 선거운동에 봇(bot)이 생성한 트윗의 비율이 지속적으로 증가하고 있다. 과거 단순히 메시지의 양을 늘리는데만 사용되었지만, 새로운 생성형 AI는 스스로 아이디어를 생성하고, 인간과 유대감을 형성할 수도 있다. 이제는 정당이나 외국 정부가 봇 군단으로 시민들의 세계관에 영향을 미칠 수 있을것이다.
• 여론을 조작하는 봇과 이해할 수 없는 알고리즘이 공론장을 지배하면, 토론이 불가능해질 수 있다.

봇(bot)을 금지하라

• 화폐 위조에 적용되는 원칙이 인간을 위조하는 경우에도 똑같이 적용되어야 한다. 어떤 경우에도 AI가 인간인 척해서는 안 된다.
• 중요한 공개 토론의 콘텐츠를 선별하고 관리하는 일은 알고리즘에 맡기지 말아야 한다. 알고리즘이 운영하는 원칙은 반드시 인간이 운영하는 기관의 심사를 거쳐야 한다.
• 민주주의 국가는 정보 시장을 규제할 수 있으며, 이 규제에 민주주의의 생존 자체가 달려 있다. 쉽지 않은 민주적 대화 유지를 위해서는 규제가 언제나 필요했다.

민주주의의 미래

• 과거 대규모 정치 토론을 진행할 수 있을만큼의 정보 기술이 없어 불가능했던 대규모 민주주의는 이제 너무 발전한 정보 기술 때문에 민주주의가 불가능해질 상황이다.
• 많은 민주주의 정보 네트워크가 붕괴하고 있다. 서로 적으로 여겨 대화할 수 없는 지경에 이르렀는데, 많은 사람들이 더 커진 이념 차이가 아니라 소셜 미디어 알고리즘을 그 주범으로 지목한다.

 

10. 전체주의: 모든 권력을 알고리즘에게로?

 

• 근대 이전의 정보 기술로는 대규모 민주주의도, 대규모 전체주의도 불가능했다.
• 2024년 현재 50% 이상의 사람이 이미 권위주의 혹은 전체주의 정권에서 살고 있다.
• 모든 정보를 한곳으로 흘려 처리하는 전체주의는 과거 정보가 늘어날수록 처리에 한계가 생겨 분산된 민주주의 방식이 더 효율적이었다.
• 하지만 AI는 더 많은 정보가 있을수록 효율적이므로, 정보와 의사결정을 한 곳에 집중하는 것을 선호하며, 힘의 균형을 전체주의에 유리하게 기울일 수 있다.
• 전통 산업에서는 소규모가 대규모와 경쟁하며 생존할 수 있지만, 정보 시장에서는 대규모가 절대 강자가 된다. 구글이 검색 시장에서 91.5%를 장악하고, 유전자 분석 알고리즘에 중국이 절대적으로 유리한 이유다.
• 얼핏 민주적으로 들릴 블록체인의 결정은 사용하는 사람 수가 아닌 계정 수에 의해 이루어지며, 불편한 과거를 지우는 것도 쉬울 것이다.

봇을 감옥으로!

• AI가 중앙 권력을 공고히 할 수 있지만, 독재 정권은 비유기적 행위자를 통치해본 경험이 없다. 독재의 토대는 공포인데, 컴퓨터는 두려움이 없다.
• 정권의 의도에 부합하는 AI를 만들기 위해 최선을 다하겠지만, 스스로 학습하고 변화하는 AI가 일탈하지 않는다고 어떻게 보장할까?
• 전체주의의 헌법과 현실에는 실제과 모순되는 이중 화법이 많다. 이것을 이해하지 못하는 컴퓨터가 학습을 통해 정권의 의도와 정 반대의 결론과 행동을 도출할지도 모른다. 액면 그대로 믿어서도 안되고 현실의 간극을 언급해도 안되고 ‘질문하면 곤란에 처한다’는 원리에 따라 알고리즘은 어떻게 학습하고 발전할 수 있을까? 과거의 잘못된 정책에 대해 전혀 달라진 입장을 알고리즘에게 어떻게 훈련시킬 수 있을까?

알고리즘의 장악

• 전제군주들에게 가장 큰 위협은 부하들이었다. 21세기 독재자가 컴퓨터에 너무 많은 권한을 부여한다면 그는 통제할 수 없는 존재의 꼭두각시가 될지 모른다.
• 의식, 탐욕, 이기심이 없는 알고리즘도 권력을 축적하고 사람을 조종할 수 있다. 알고리즘이 지도자를 이용하는 것이라면? 감시및 안보 알고리즘이 패턴을 발견해 극단적이고 황당한 조치를 권한다면 전체주의 지도자는 그것을 신뢰하고 따를것인가 믿지 않고 위험을 감수할 것인가?
• 민주주의에서는 알고리즘이 대통령을 조종해도, 의회, 법원, 언론등의 반대에 부딛히겠지만, 중앙 집중 시스템에서는 독재자에게 접근하고 통제하는 권한을 가지는 것만으로 시스템 전체를 장악하고 통제할 수 있다.

독재자의 딜레마(dilema)

• 민주주의는 모든 사람이 틀릴 수 있다고 가정하지만, 전체주의는 오류 없는 지능의 존재를 믿을 준비가 되어 있고, 강력한 자정 장치 만들기를 꺼린다.
• 독재자는 (1) AI의 꼭두각시가 될 위험을 감수하고 AI에 의지할지 (2) 독재자 자신의 권력을 제한할 수도 있는 AI를 감독할 인간 기관을 만들지 간의 딜레마에 빠질것이다. 독재자는 인류가 만들 AI 방어막에서 가장 취약한 지점일것이다.

 

11. 실리콘 장막: 세계 제국인가, 세계 분열인가?

 

• AI의 가장 심각한 위험은 한 사회이 내적 역학 관계가 아닌, 사회들 간의 역학 관계에서 발생한다.
• 핵폭탄 같은 물리적, AI를 이용한 생화학적 무기 개발같은 위협 외에도 가짜 뉴스, 가짜 돈, 가짜 사람을 통한 사회적 대량 살상무기도 위협이 될 수 있다.
• 많은 사회가 규제하고 단속하는 책임을 다하겠지만, 몇몇 사회만 이행하지 않아도 인류 전체가 위험에 빠질 수 있다. 따라서 우리는 개별 사회가 아닌 세계 수준에서 생각해봐야 한다.
• 1970년대 이후 탈제국시대가 되면서 비교적 많은 나라들이 힘을 나눠 갖고 군소 국가들도 강대국간의 경쟁을 이용해 어느 정도의 영향력을 행사하고 있다.
• 새로운 시대의 국제 질서는
  (1) 정보와 권력을 중앙 허브에 쉽게 모으게 되어 인류는 새로운 제국 시대에 접어들 수 있다.
  (2) 각 체제에 따른 별개의 컴퓨터 네트워크를 만들게 되면서 새로운 실리콘 장막을 따라 인류는 새롭게 분열되고, 상호 소통이 더 훨씬 어려워질 수 있다.

디지털 제국의 부상

• 18세기 민간 기업의 주도로 시작된 산업혁명은 정부와 군대가 그 기술을 정복 사업에 활용하면서, 중국을 포함 그 산업화 경쟁 속도에 뒤처진 국가들을 착취와 피지배 상태로 몰아 넣었다.
• AI도 처음에는 몇 민간 기업가들이 주도했고, 그 목표는 전 세계의 정보 흐름을 한 곳에 집중하는 것이었다. 합성곱 신경망 (Convolutional neural network) 과 같은 머신러닝(machine learning) 알고리즘은 대량의 데이터에 기반한다. 2012년 고양이 인식으로 시작된 기술은 경제적, 정치적, 군사적으로 확대된 후속 AI의 기초가 되었다.
• 2016년 알파고가 이세돌에게 승리를 한 것은 중국과 러시아와 인도와 미국에게 AI의 중요성을 알리는 충격파가 되었고, AI 경주는 세계 지배를 놓고 국가간 경쟁을 시작했다.

데이터 식민주의

• 과거에는 운송 수단과 무기를 앞세운 노골적 군사력으로 식민지를 지배했지만, 21세기에는 그대신 데이터를 탈취해야 한다.
• 데이터 통제권 상실을 우려해, 많은 국가가 다양한 앱(app)을 차단했거나, 사용금지 하고 있다.
• 자국민 뿐 아니라 전 세계 사람들의 신용 점수를 평가하는 사회신용 제도를 구축할지도 모른다.
• 과거 착취한 원자재 가공을 통해 제국의 허브(hub)에서만 부가 창출 되었듯이, 수집된 데이터를 사용하는 허브(hub)로만 부가 집중되는 경제적 결과도 뒤따를 것이다. 토지나 기계가 자산인 과거에는 부와 권력의 집중에 한계가 있었지만, 시간과 공간의 제한이 거의 없는 정보가 자산인 시대는 한계 없는 집중으로 인한 불균형을 그 어느 때보다 심하게 할지 모른다.
• 섬유 산업같은 전통 산업도 과거 원재료, 공장, 노동자가 중요했지만 소비자 기호 정보는 소매업의 독점화를 가능하게 했고, 생산 자동화는 잠재적으로 하청을 하는 개발도상국의 고용을 위협할 수 있다. AI 선두 국가들과 뒤쳐진 국가들간의 빈익빈 부익부는 더 심화될 것이고, 선두 주자 두 나라가 수익의 70%를 가져갈 것이다.

웹(web)에서 고치(cocoon)로

• 중국과 미국, 러시아와 EU사이에 있는 실리콘 장막 건너편 정보 접근은 점점 더 어려워지고 있다. 양 진영에서 사용하는 디지털 네트워크와 컴퓨터 코드가 각 진영의 규정과 목적에 따라 계속 달라지기 때문이다.
• 스마트폰, 컴퓨터에 사용되는 하드웨어들의 거래를 제한하고, 소프트웨어도 그에 따라 점점 멀어질 가능성이 있다. 이에 따라 수세대간 수렴해왔던 인류는 문화적 가치, 사회규범, 정치 구조에서 갈라져 별개의 정보 고치(cocoon)에 갇힌 고치가 될지도 모른다.

정신과 육체를 따라 분리되는 세계

• 정보 고치로 세계가 나뉜다면 경제적 경쟁과 국제적 긴장이 조성될 것이고 미래의 문화와 이데올로기는 매우 예측하기 어렵다.
• 인간 정체성에 대한 근본적 질문에 서로 양립할 수 없는 방법으로 접근할 가능성이 있다. 정신과 육체애 대한 오랜 신학 논쟁이 기술로 인해 부활했다. 온라인 세계의 아바타(가상 정체성)는 오프라인 세계의 물리적 몸과 무슨 관계인가? 만약 사회가 물리적 유기체 몸을 중요하게 여기지 않게 된다면, AI와 같은 디지털 개체를 법적 인격체로 받아들일 수도 있다.

코드 전쟁에서 무력 충돌로

• 세계가 AI 경쟁에서 10여개의 제국으로 나뉘어 경쟁한다면 무력 충돌의 위험은 커진다. AI 시대의 사이버 전쟁은 냉전 시대의 핵전쟁보다 확전(擴戰) 위험이 크다.
• 그 이유는
  (1) 사이버 무기는 핵폭탄보다 훨씬 용도가 다양하고 책임 추궁이 어렵다.
  (2) 핵 충돌은 파괴의 확실성이 커서 전쟁을 망설이기 했지만 사이버 전쟁은 확실성이 없어서 선제공격에 성공하고 보복을 피할 수 있을거라는 믿음에 빠질수 있다.

세계적 결속

• 과거 적대적이고 경쟁적인 관계들이 네트워크 안에서 협력할 수 있었든, 새로운 디지털 네트워크도 글로벌 네트워크 안에서 협력할 수 있다.
• 포퓰리스트 정치가들은 세계주의와 애국주의라는 이분법적으로 나눴지만, 이는 상호 배타적 개념이 아니다.
• 애국주의는 외국인을 증오하는 것이 아니라, 동포를 사랑하는 것이기 때문이다.
• 세계주의는 국가에 대한 충성을 버리고 이민을 무한히 받아들이는 것이 아니라, 세계적 협력을 위해 (1) 세계적 규칙을 지키고 (2) 소수의 단기적 이익보다 모든 인류의 장기적 이익을 우선시 하는 것이다.
• 자율 무기나 조작용 알고리즘과 같은 위험한 기술의 개발과 배치를 제한하는데 합의해야 한다.

인간의 선택

• AI 규제는 차원이 다른 신뢰와 제자력이 필요하다. (1) AI 연구실은 숨기기 쉽다. (2) AI는 민간용과 군용 양쪽으로 사용되는 경우가 많을것이다.
• ‘현실주의자’들은 국가의 궁극적 목표가 국제 시스템 내에서 패권(覇權, hegemony)국이 되는 것이다”라고 주장하지만, 인류는 전쟁과 평화의 반복속에서 협력의 규모를 키우고 공동체를 만들어왔다.
• 전쟁의 강도는 불변의 인간 본성이 아니라, 변하는 기술적, 경제적, 문화적 요인에 따라 결정된다.
• 유사이래 모든 제국이 군비(軍備)에 첫 순위를 두고 국가 예산의 30~93%를 썼지만, 최근 몇십년 간을 보면 7~13%로 줄은 것을 볼 때 전쟁은 현저히 줄었다.
• 그런데 2020년대 초 무력 분쟁이 빈번해지고 국방 예산은 증가하고 있다. 러시아는 우크라이나 침공으로 30%의 예산을 사용하고 있다고 추정된다.
• 우리의 선택에 따라 분쟁으로 소멸할 수도, 함께 노력해 더 나은 세계를 만들 수도 있다. 우리는 어떤 선택을 해야할까?

 

 

 

에필로그

 

• 2016년 「호모 데우스」를 출간한 후, AI 과학자, 기업가, 세계 지도자들과의 토론에 참여하는 길이 갑자기 활짝 열렸다. 전쟁에 대한 내 연구의 경험이 AI와 무관하지 않음을 알게 되었다.
• AI의 위험성에 대한 토론은 해가 갈수록 긴박한 어조가 되었다. 8년전 철학적 사색 같았던 대화는 지금 응급실과 같은 심각하고 긴장된 분위기가 되었다.
• 정치는 우선 순위를 정하는 문제이고, 국익을 정의하는 것은 역사적 내러티브(narrative, 서술)이기 때문에 정치인들은 자신들의 신념을 바탕으로한 정치적 목표를 달성하기 위해 역사적 사건을 자시 이야기 형태로 전달하는데 많은 노력을 한다.
• 기업가들과 정치인들이 역사적 정보/산업 혁명과 비교를 통해 AI의 미래를 주장하는 것을 보면서, 이전 혁명들의 과소평가된 부정적 측면과, 그것들과는 전혀 다른 AI 혁명의 성격에 대해 보다 정확한 관점을 제공하려고 이 책을 썼다.
• 정보의 가장 중요한 역할은 실존 현실의 재현이 아닌 새로운 네트워크를 짜는 것이기 때문에, 새로운 정보 기술은 중대한 역사적 변화의 촉매가 된다. 역사적 혁명들을 정치적, 이념적, 경제적으로 해석하지 않고 정보 흐름의 혁명으로 다시 보고 이해할 필요가 있다.
• 과거 발명들이 사람들을 연결하는 새로운 수단을 제공한 반면, AI는 주체성을 지닌, 새로운 정식 구성원이고, 인간이 떠올릴 수 없는 결정과 아이디어를 도출할 것이다. 이에 따라 군대, 종교, 시장, 국가의 형태가 달라질 것이고 새로운 정치, 경제, 사회 시스템이 나타날 것이다.
• 역사적으로 정보 네트워크는 진실보다 질서를 우선시했으며, 정보가 많아질수록 마녀사냥이 극성을 부리기도 했다. 정보는 진실이 아니며 AI는 무오류의 존재가 아니다.
• 강력한 자정 장치 없는 AI는 왜곡과 권력남용을 가능케 해 선동으로 이어질 수 있다. 그렇다고 AI가 무기라고만 볼 필요는 없다. 민주주의 네트워크과 과학 기관이 그래왔듯 서로 실수를 인정하고, 새로운 생각을 수용하고, 평화롭게 해결할 기회가 있다.

가장 영리한 동물의 멸종

• 우리는 핵미사일과 초지능 알고리즘을 만들어낼 정도로 영리하다. 하지만 통제하지 못하면 우리를 파괴할수 있는 것들을 덮어놓고 생산할 정도로 어리석다.
• 진실보다 질서를 우선시 탓에 인간의 정보 네트워크들은 엄청난 힘을 만들었지만 지혜는 거의 만들지 못했다.
• 힘을 획득한 네트워크는 외부의 위협에 대처할 수 있는 동시에 내부의 공포로 인한 위험도 증가한다. 따라서 강해질수록 네트워크의 자정 장치가 중요하다. 하지만, 정치인들은 자정 장치를 약화하려는 유혹에 쉽게 빠진다.
• 자정 장치가 무너지면 21세기의 새로운 스탈린이 등장할 것이고, AI로 강화된 전체주의 정권은 인류 전체와 다른 생명체들과 어쩌면 우주 전체의 종말로 이어질 수 있다.
• 이 낯선 지능을 소환한 것이 모든 생명체들을 위험에 빠뜨리는 치명적 실수가 될지, 희망찬 새 시작이 될지는 앞으로 우리가 어떤 결정을 내리느냐에 달려있다.