다니엘 데넷: '문명이 우리가 생각했던 것보다 더 취약한 이유'

최근 사망하기 전, 영향력 있는 철학자 다니엘 데넷(Daniel Dennett)은 인간 경험을 이해하기 위한 평생의 탐구와 그가 AI의 새로운 위험을 본 이유에 대해  말했습니다.

4월 19일 82세의 나이로 세상을 떠난 철학자 다니엘 데넷(Daniel Dennett)은 지난 반세기 동안 가장 예리하고 예언적인 사람 중 한 명이었습니다. 평생 동안 그는 인간의 마음과 의식에 관한 가장 큰 질문들 중 일부를 감히 다루었습니다. 그의 경력을 통해 그는 12권이 넘는 책을 출판하고, 인지 과학과 정신 철학에서 진화 이론에 이르기까지 다양한 분야에 큰 공헌을 했으며, 합리성과 회의주의를 열렬히 옹호하는 사람이 되었습니다.

다니엘 데넷(Daniel Dennett)은 인간으로서의 경험에 관한 가장 어려운 질문 중 일부를 다루었습니다(제공: Getty Images)

2023년 12월, 나는 그의 최근 회고록인 I've Been Thinking 과 그의 삶과 작품에 대해 몇 시간 동안 그와 이야기를 나눴습니다 . 그는 1960년대 옥스퍼드 대학의 박사 과정 학생으로서 그를 처음 매료시켰던 진실, 인지 및 기술적 가능성에 대한 질문에 여전히 열정적으로 참여했으며 , 여전히 엄격한 사고에 봉사하기 위해 기꺼이 투쟁했습니다.

특히 우리의 대화는 인공지능이 야기하는 심각한 위험에 초점을 맞췄습니다. 그의 경고는 일부 초지능의 장악에 대한 것이 아니라 그럼에도 불구하고 인간 본성의 취약성에 뿌리를 둔 문명에 실존적일 수 있다고 믿었던 위협이었습니다.

"만약 우리가 지식을 위해 가지고 있는 이 놀라운 기술을 허위 정보를 위한 무기로 바꾼다면 우리는 큰 어려움에 처하게 될 것입니다."라고 그는 말했습니다. 왜? "왜냐하면 우리는 우리가 아는 것을 알지 못하고, 누구를 믿어야 할지 모르고, 정보를 받았는지, 아니면 잘못된 정보를 받았는지 알 수 없기 때문입니다. 우리는 편집증적이고 극도로 회의적이 될 수도 있고, 아니면 그저 냉담하고 냉담해질 수도 있습니다. . 둘 다 매우 위험한 길입니다.

SF 철학

AI에 대한 Dennett의 주장과 그를 그토록 깊고 독창적인 사상가로 만든 이유를 이해하려면 그의 가장 특이한 학술 논문 중 하나를 되돌아보는 것이 좋습니다. 1978년에 그는 Where Am I?를 출판했습니다. 는 통에 담긴 자신의 뇌를 다룬 공상 과학 단편 소설의 형태를 취했습니다.

이야기는 "몇 년 전, 나에게 매우 위험하고 비밀스러운 임무에 자원해 달라고 요청한 국방부 관리들로부터 접근을 받았습니다."라고 시작됩니다. 기밀 연구 프로젝트 중 사고로 인해 원자탄두를 장착한 시추 장치가 오클라호마주 털사 지하 1마일 아래에 갇히게 되었습니다. 그들은 그것을 되찾는 데 그를 도와줄 사람이 필요했습니다. 더 정확하게는 그의 몸이 필요했습니다. 장치에서 방출되는 신경 손상 방사선을 피하기 위해(타당성은 철학적 공상 과학 소설의 필수 특징은 아님), 그의 뇌는 외과적으로 제거되고 무선 송수신기에 의해 그의 몸에 연결됩니다. 그런 다음 노출 위험 없이 원격으로 제어할 수 있었습니다.

Dennett은 자신의 몸과 뇌가 분리되어 있는 시나리오를 상상했습니다. 자신이 어디에 있는지에 대한 수수께끼를 제기했습니다(제공: Getty Images)

Dennett의 즐거운 환상 뒤에 숨겨진 질문은 이것이었습니다. 절차가 성공하고 그의 뇌가 계속해서 몸을 제어하고 감각 기관을 통해 입력을 받는다면 Daniel Dennett는 어디에 있을까요 ? 이야기에서 그는 자신의 뇌가 강화된 통 안에 떠 있는 방으로 자신의 몸이 들어가서 앉아서 그것을 바라보는 것을 상상합니다.

이 장면은 1988년 네덜란드 감독 피에트 호엔더도스(Piet Hoenderdos)의 다큐멘터리 에서 텔레비전용으로 재현되었으며 , 여기서 데넷은 (기분 좋게) 직접 연기했습니다. 이는 확실히 그러한 적응을 받은 학술 논문의 유일한 사례 중 하나입니다. "글쎄요, 저는 접이식 의자에 앉아 판유리를 통해 내 뇌를 바라보고 있습니다." 깜짝 놀란 Dennett가 선언합니다. "하지만 잠깐만요... '나는 여기 거품이 이는 액체 속에 떠 있고, 내 눈으로 지켜보고 있다'고 생각했어야 하지 않았나요?"

이러한 생각 중 두 번째 생각은 첫 번째 생각보다 유지하기가 훨씬 더 어렵다는 것이 입증되었습니다. 그리고 여기서 나오는 생각은 "나"가 어디에 있는지, 심지어 "여기"라는 단어가 무엇을 의미하는지조차 순전히 개인적인 경험에 기초하여 확신하는 것은 불가능하다는 것입니다.

 

수세기에 걸친 철학적 전통과는 반대로, 데넷은 우리가 우리 마음의 작용에 대해 특별한 지식을 가지고 있지 않다고 제안했습니다.

 

"'여기'라고 생각했는데 '여기'가 어디를 뜻하는지 어떻게 알았나요?" 그는 계속한다. "실제로는 다른 곳을 의미했는데 한 곳을 의미했다고 생각할 수 있을까요?" 그가 자신의 위치나 정신 상태에 대해 무엇을 믿든, 그러한 믿음은 그 자체의 정확성을 특별히 보장하지 않습니다. 중요한 것은 사건에 대한 내부 관점이 아니라 외부 관점 입니다. 즉, 땅에 있는 사실이지 이 땅이 그 위에 서 있는 사람(또는 경우에 따라 통 안에 떠 있는 사람)에게 어떻게 보이는지는 아닙니다.

수세기에 걸친 철학적 전통과는 반대로, 우리는 우리 자신의 마음의 작용에 대해 특별한 지식을 가지고 있지 않지만, 우리의 "자아"가 통합되고 일관된 존재라는 느낌은 단지 경이롭고 진화된 환상에 불과하다고 그는 제안했습니다.

그가 I've Been Thinking 에서 말했듯이 , "혼자서 내 마음을 성찰하는 것만으로는 확실히 알 수 있는 것이 거의 없습니다." 그러나 가장 그럴듯한 직관에 대해서도 엄격한 회의론을 수반하는 한, "다른 사람의 마음을 과학적으로 연구"함으로써 배울 수 있는 것이 많습니다. 진실은 당신을 인지적 제약으로부터 자유롭게 해주지 않을 것입니다. 왜냐하면 그런 일은 불가능하기 때문입니다. 하지만 조심한다면, 원하는 가치가 있는 자유의 종류에 대해 가르쳐 줄 수도 있습니다.

원칙적으로 AI는 사람의 디지털 팩시밀리를 만들 수 있습니다(제공: Getty Images)

이는 "나는 어디에 있는가?"의 핵심인 시나리오를 놀랍도록 뒤집을 수 있는 기술인 생성 AI로 다시 돌아옵니다. 그것은 수조 바이트의 데이터로부터 설득력 있는 인간 시뮬라크르를 불러일으킬 수 있는 능력을 가지고 있습니다. 그렇게 함으로써 진실, 정체성, 현실에 대한 우리의 공유된 경험에 대한 수세기에 걸친 가정을 뒤엎는 것입니다.

예를 들어 중간 품질의 비디오가 30초만 주어지면 무료로 제공되는 AI 서비스는 이제 모든 화자의 인공 버전(완전히 허구의 인물)을 생성하고 그들이 무엇이든 말하게 할 수 있습니다. 인도 총리 나렌드라 모디(Narendra Modi)와 같은 지도자들은 이미 AI 도구를 사용하여 지역 언어를 유창하게 구사하는 버전을 만들어 투표에서 더 나은 결과를 얻었으며 인도네시아와 파키스탄에서도 유사한 접근 방식이 배포 되었습니다 . 2023년 7월, 방글라데시 여성 야당 지도자 들을 비키니와 수영장에서 보여주겠다고 주장하는 조악한 딥페이크 동영상이 빠르게 사실이 아닌 것이 폭로되었지만 여전히 널리 공유되었습니다. 그리고 훨씬 더 많은 것이 우리에게 다가올 것 입니다 . 2024년은 역사상 가장 큰 선거가 치러지는 해로 설정되면서( 세계 인구의 절반 이상 이 다양한 여론 조사를 방문하게 될 것입니다) 인간의 의사 결정에 영향을 미치는 정보를 조작하는 것이 그 어느 때보다 쉬웠습니다. 전복하려는 경향.

실제로, 충분한 데이터가 있으면 사람의 설득력 있는 복제물을 만드는 것이 곧 가능할 것이라고 생각할 이유가 많습니다. 즉, 사전 녹음된 공연뿐만 아니라 정치인(또는 당신이나 나)을 대신할 수 있는 실체입니다. 하지만 일상 대화에서도 마찬가지다.  

 

당신의 AI를 더욱 인간답게 만들 때, 우리는 그것을 자부심이 아닌 수치심의 표시로 만들어야 합니다 – 다니엘 데넷

 

예지력을 바탕으로 Dennett은 수십 년 전에 이 시나리오를 상상했습니다. Hoenderdos의 다큐멘터리에 나오는 SF 이야기에서 과학자들은 추가 Dennett를 만듭니다. 통에 담긴 원래 뇌와 함께 그의 마음은 "디지털 쌍둥이"로 복제됩니다. 그들은 그의 몸을 통제하기 위해 경쟁합니다. 이 시나리오에서는 누군가가 실제로 어딘가에 있는지 , 또는 어떤 말이나 행동을 했는지, 심지어 존재하는지 에 대한 질문이 훨씬 더 어려워집니다.

현실이 이미 허구에 얼마나 가까워졌는지 확인하려면 "질문에 답하고 플로리디의 사고 방식과 글쓰기 스타일을 모방하는 텍스트를 작성하도록 설계된 AI 기반 모방"인 루치아노 플로리디 봇(Luciano Floridi Bot) 의 사례를 고려해 보세요 . ". 이는 AI 시대에 우리의 아이디어와 정체성이 말 그대로 어떻게 자체 생명력을 갖게 되는지에 대한 흥미로운 교육학적 도구이자 사례 연구입니다.

Dennett에게는 인간처럼 보이는 AI에 대한 우리의 집착이라는 사실 자체에 문제가 있는 것이 있었습니다. 인간 마음의 완전한 복제가 임박하지는 않을 수도 있지만, 우리가 AI를 사용하여 인간을 가장 하는 방식은 이미 우리를 위험한 궤도에 올려놓았다고 그는 말했습니다. 그는 그러한 AI를 "위조된 사람"이라고 불렀고, 그러한 개체를 한꺼번에 내놓는 것은 "최악의 장난", 즉 법으로 해결해야 하는 "사회적 파괴 행위"의 한 형태를 구성한다고 말했습니다. 왜? 왜냐하면 인간에 대한 설득력 있는 디지털 표현이 변덕스럽게 생성될 수 있다면 계약, 의무 및 결과와 같은 필수적인 사회 인프라는 물론이고 다른 사람의 주장, 경험 및 행동을 집단적으로 평가하는 전체 비즈니스가 위험에 처하게 되기 때문입니다. 따라서 법적 금지가 필요하며, 그는 The Atlantic의 2023년 5월 기사 에서 이에 대해 길게 설명했습니다 . "완벽하지는 않을 것입니다. 하지만 위조품을 만드는 법을 위반할 수 있다면 도움이 될 것입니다. 위조품에 대해서도 위조 화폐와 마찬가지로 엄격한 처벌을 받을 수 있습니다.… 당신의 AI를 더 인간답게 만들 때 그것을 자부심이 아닌 수치심의 표시로 만드십시오."

Dennett은 AI 기반 "위조품"이 사회적 파괴 행위의 위험을 초래할 수 있다고 경고했습니다(Credit Getty Images).

아이러니한 점은 데넷이 우리의 정신만이 소유할 수 있는 "인간성"이라는 파악하기 어려운 범주를 찾아내려는 사람들 에 맞서 수십 년을 보냈다는 사실입니다 . 철저한 유물론자인 그는 1995년 진화론 탐구인 다윈의 위험한 사상에서 말했듯이 "언어, 예술, 종교, 윤리, 과학 자체 등 인간 문화의 모든 성취는 그 자체가 인공물입니다… 박테리아, 포유류, 호모 사피엔스 가 발달한 것과 동일한 기본 과정의 언어는 특별한 창조가 없으며, 예술이나 종교도 문자 그대로 신성한 영감을 갖지 않습니다."

생각하지 않는 물질로부터 인류가 출현한 것은 놀라운 일이지만 기적은 아니라고 그는 주장했습니다. 우리만큼 놀라운 정신조차도 궁극적으로 최초의 생명체와 연속적으로 연결된 더 조잡한 구성 요소로 구성된 다양한 이해할 수 없는 모듈의 산물입니다.

따라서 원칙적으로 인공 지능 알고리즘이 우리 자신의 능력에 접근하거나 초과하는 것을 막을 수 있는 방법은 없습니다. 또는 인간이 인공적인 수단을 통해 자신의 마음을 강화하고 재설계하는 경우도 있습니다. 실제로 Dennett의 가장 중요한 초기 작업 중 일부는 철학자 John Searle 과 같이 단순한 계산으로는 의식과 같은 현상이 결코 발생할 수 없다고 주장하는 사람들에 맞서 계산의 힘과 잠재력을 방어하는 것을 수반했습니다 . Dennett에게는 계산이나 알고리즘 프로세스에 대해 "단순한" 것이 전혀 없었습니다. 그것은 단지 규모와 복잡성의 문제일 뿐이었습니다.

이러한 의미에서, 언어적 능력과 체스, 바둑과 같은 게임의 숙달에서부터 법률 및 의료 시험 통과 능력에 이르기까지 현대 AI의 성취는 인간 수준의 능력이 완전히 이해할 수 없는 프로세스에서 발생할 수 있다는 Dennett의 주장을 지속적으로 입증합니다. (물론 우리의 경우에는 그랬습니다).

인간의 담론은 AI 에이전트에 의해 조작될 수 있습니다(제공: Getty Images)

그러나 우리가 대화하는 동안 그는 또한 현재의 컴퓨터 아키텍처와 인간의 아날로그 복잡성 사이의 격차를 강조하기 위해 노력했습니다. AI가 더 위대한 것은 고사하고 인간의 인지적 유연성을 모두 갖춘 '일반 지능'을 달성할 수 있을지에 집착하는 것은 위험하다. 그는 이런 일이 일어나기 오래 전에 우리는 "극도로 조작적인" 자율적 에이전트의 출현에 대처해야 하며 이는 가상의 초지능보다 훨씬 더 큰 위협이 될 것이라고 지적했습니다("그것은 잊어버리세요!"). 왜? 소셜 미디어가 인간의 취약성을 악용할 수 있는 콘텐츠의 진화적 온상임이 입증된 것처럼, 동일한 역학이 AI 생성 콘텐츠와 설득, 유혹, 충격 및 아첨의 유혹적인 조합을 배포할 수 있는 AI 모두를 선호하기 때문입니다.

완벽하게 매력적인 인공 영향력자부터 딥페이크 포르노까지, 끝없이 공감하는 동반자부터 낭만적인 사기까지, 인간의 사랑과 갈망은 조작을 정교하게 하기 위한 비옥한 분야입니다. 우리는 (아직) 통 속의 두뇌가 아닐 수도 있습니다. 그러나 우리가 보고 , 믿고 , 속하고 , 행하는 것은 점점 더 셀 수 없이 많은 정보 시스템과 얽혀 있습니다. 그리고 이들 중 다수는 진실보다 설득력과 타당성을 전달하는 데 더 능숙합니다.

 

최고의 결과를 재현하는 AI는 우리 인간 대화 상대를 가장 영리하게 조작하는 AI가 될 것입니다 – Daniel Dennett

 

이 중 어느 것도 AI와 같은 기술의 힘과 잠재력, 또는 AI가 인류의 범위와 자기 지식을 향상시킬 수 있는 수많은 방법을 부정하는 것이 아닙니다. 그러나 Dennett이 말했듯이 AI는 "자기 재생산을 위해 진화할 가능성이 높습니다. 그리고 가장 잘 재생산하는 AI는 우리 인간 대화 상대를 가장 영리하게 조작하는 AI가 될 것입니다. 우리가 지루한 AI는 우리의 관심을 끄는 것들을 퍼뜨릴 것입니다. 이 모든 것은 전혀 의도하지 않은 채 소프트웨어의 자연스러운 선택이 될 것입니다."

위험한 시나리오가 펼쳐지는 데는 인간이나 기계가 만든 마스터플랜이 필요하지 않습니다. Dennett의 2017년 저서 From Bacteria to Bach에서 주장했듯이 "일단 문화 기반 시설이 설계되고 설치되면 [즉, 인간의 마음에서 진화]… 해당 기반 시설을 이용하는 기생 밈의 가능성은 어느 정도 보장됩니다." 진화론적으로 보면, 우리의 마음은 진실과 거짓말을 구별하기 위해 정밀하게 조정된 장치가 아닙니다. 우리는 부분적이고 열정적이며 부족적인 생물입니다. 사랑과 충성의 유대로 연결된 사회적 동물은 우리의 인간성을 정의하고 우리를 고통스럽게 취약하게 만듭니다.

무엇을 해야 합니까? 고맙게도 인간 사고의 또 다른 특징은 이러한 한계를 정확하게 성찰하는 능력, 즉 개인 인식의 사각지대를 집단적, 점진적으로 바로잡는 능력입니다. Dennett는 "당신이 원하는 것은 당신의 생각이 세상에 있는 진실에 의해 결정되는 것입니다. 당신은 세상이 어떤지에 대한 좋은 증거에 강요당하고 싶어합니다. 그러나 당신은 또한 당신은 당신의 전망, 프로젝트, 목표를 다시 생각하고, 다시 생각하고, 더 깊이 생각해 볼 여유가 있습니다. 당신은 수단과 목표를 반영하는 고차원적이고 의도적인 시스템이 되기를 원합니다."

인간 사고의 가장 큰 특징은 자신의 한계를 성찰하는 능력입니다. (제공: Getty Images)

이것은 인본주의적 자유사상의 풍미를 가미한 소우주의 과학적 방법이다. 조작적으로 부정확한 정보를 바탕으로 행동할 수 있는 "자유"는 전혀 자유가 아닙니다. 대조적으로, "저기에 있는 좋은 증거"에 의해 결정된 행동은 해방적입니다. 즉, 거짓에 갇히기보다는 현실의 복잡성에 열려 있습니다.

"나는 어디에 있는가?"라는 사고 실험을 확장하기 위해, 당신의 뇌를 통에 넣은 다음, 당신의 지식이나 허락 없이 현실의 시뮬레이션 버전에 연결된다면 어떤 일이 일어날지 상상해 보십시오. 해당 가상 영역 내에서 귀하는 여전히 특정 자유를 보유할 수 있습니다. 그러나 외부 세계의 맥락에서 당신은 함정에 빠지고 속게 될 것입니다. 모든 의미 있는 형태의 이해와 행동에서 단절될 것입니다. (더 읽어보기: 현실의 정의를 다시 생각하는 철학자 . ) 

 

Dennett는 문명이 '우리가 생각하는 것보다 더 취약하다'고 말했습니다. 그리고 이를 위해 더욱 소중합니다.

 

순전히 추측성 소설의 문제처럼 보일 수도 있지만, 이 시나리오의 버전은 누군가가 문자 그대로 진실이라고 거짓 주장을 하거나 인공 존재를 인간이라고 주장할 때마다 발생합니다. 음모론부터 전체주의 선전까지, 조작된 증거부터 대체 인간까지, 현실 거부는 급성장하는 사업입니다. 그리고 그런 것들이 가득한 세상에서 관용, 회의주의, 합리적인 논쟁을 인내하는 것은 피할 수 없는 일이 아닙니다. Dennett는 문명이 "우리가 생각하는 것보다 더 취약하다"고 말했습니다. 그리고 이로 인해 더욱 소중해졌습니다. 갈등, 불의, 증오에도 불구하고 우리는 많은 인류가 "서로를 신뢰하고, 장기적인 프로젝트를 갖고, 자유롭게 여행하고, 가족을 부양하고, 두려움 없이 살 수 있는 시대에 살고 있습니다. 정말 놀랍습니다." 그리고 우리는 어떤 대가를 치르더라도 그 사회 구조를 보존해야 합니다." 이것은 AI의 대규모 언어 모델과 위조품 모두에게 큰 위험입니다. "그들은 우리가 수천 년 동안 쌓아온 신뢰를 파괴할 것입니다."

이 모든 것에도 불구하고, 그리고 확고한 합리성에 대한 그의 명성에도 불구하고 Dennett은 인간 본성의 한계를 초월하는 데 관심이 없다는 것을 나에게 분명히 밝혔습니다. 그에게 사랑과 충성심은 생물학적 짐이 아니었습니다. 우리는 그 이상으로 나아가는 것이 더 나을 것입니다. 오히려 그들은 가장 심오한 종류의 동기를 부여하는 힘, 즉 이기주의와 증오에서 벗어날 수 있는 한 목적과 선함의 원천이었습니다. "1위를 찾는 것은 완벽한 에이전트 규칙입니다. 하지만 1위는 매우 광범위하게 이해될 수 있습니다. 1위에는 자녀, 아이디어, 기타 연주, 시카고 베어스 등이 포함될 수 있습니다. 1위는 귀하가 원하는 무엇이든 될 수 있습니다. 그것이 당신이 가장 중요하게 생각하는 것입니다. 그리고 이것은 분명합니다. 누군가가 당신을 강탈하고 싶다면 그들은 당신을 위협할 필요가 없습니다."

생물학은 모든 것이 시작되고 끝나는 곳입니다. 다른 모든 형태의 생명체와 함께 우리가 출현하는 진화되고 놀라운 패턴입니다. 문화, 언어, 계산을 통해 우리가 생각할 수 있는 무한한 복잡성; 살과 피로 이루어진 피조물로서 우리의 공통된 존재. "내 아이들은 둘 다 입양되었습니다."라고 대화가 끝날 때 Dennett이 나에게 말했습니다. "하지만 저는 여느 친아빠처럼 그들을 사랑합니다. 큰 아이의 어린 시절의 순간을 기억합니다. 그 아이가 아마도 2살 이하였던 어린 소녀였을 때, 놀이터나 놀이터에서 잠재적인 위협을 감지했을 때였습니다. 뭔가, 갑자기 '아, 맙소사, 이 아이를 보호하기 위해 살인을 할 것 같아'라는 생각이 들었습니다. 그리고 그것은 나를 거의 놀라게 했습니다. 왜냐하면 그것은 감정적 애착의 강렬함과 깊이를 인식했기 때문입니다. 그리고 그것이 바로 삶의 전부입니다."

*톰 챗필드(Tom Chatfield)는 영국의 작가이자 기술철학자입니다. 그의 가장 최근 저서인 Wise Animals (Picador)는 인류와 기술의 공진화를 탐구합니다.