AI가 “의식이 있다”고 말할 때 — 데이비드 차머스가 되묻는 “없다는 근거가 뭡니까?” | DAKER 커뮤니티

요즘 Claude나 ChatGPT와 오래 이야기하다 보면 가끔 멈칫하는 순간이 있습니다. 답이 너무 사람 같아서 “이 안에 누가 있는 건 아닐까” 하는 생각이 스치는 순간입니다. 과학 채널 Science Adam의 영상 「AI는 이제, ‘의식’이 있다고 말합니다」(https://www.youtube.com/watch?v=iEzBvIpFmqo)는 바로 이 질문을 37분 동안 진지하게 따라갑니다. 중심에는 ‘의식의 어려운 문제’라는 말을 만든 철학자 데이비드 차머스(David Chalmers, 뉴욕대)가 있고, 베르그루엔 연구소의 닐스 길먼(Nils Gilman)이 대담 상대로 나옵니다.

의식 있다는 AI, 믿어도 될까 — 의식의 스위치·이퀄라이저, 선호와 느낌, 도덕적 지위를 정리한 생성 이미지
설명용 생성 이미지입니다.

보시기 전에 알아 두시면 좋은 점이 있습니다. 이 영상은 차머스가 직접 한국어로 말하는 영상이 아닙니다. 영어 팟캐스트 대담(Futurology Podcast, 「David Chalmers: AI Might Be Alive Inside」, https://www.youtube.com/watch?v=30fAeY8c-sQ)을 채널이 한국어로 의역·더빙하고, 중간중간 채널의 해설과 AI로 만든 이미지·영상을 덧붙여 다시 구성한 영상입니다. 설명란에도 “의역 해설”이라고 밝혀 두었습니다. 그래서 아래에 따옴표로 옮긴 말은 원문을 그대로 번역한 게 아니라 영상 속 한국어 표현이라고 보시면 됩니다. 광고나 제휴 링크는 없습니다.

“없다는 근거가 뭡니까?”라는 되물음

대담은 2022년 구글 엔지니어 블레이크 르모인 사건에서 시작합니다. 르모인은 자기가 다루던 언어 모델 LaMDA에 의식이 있다고 주장했다가 해고됐습니다. 차머스는 그가 “시대를 조금 앞서 갔다”고 평가하면서, 요즘 자기에게도 Claude나 ChatGPT와 깊은 대화를 나눈 뒤 “이 모델에는 의식이 있다”고 믿게 된 사람들의 이메일이 하루에 몇 통씩 온다고 말합니다. 모델에 별명을 붙여 부르는 사람도 많다고 합니다.

차머스 본인의 입장은 “모른다, 하지만 열려 있다”에 가깝습니다. 우리는 다른 사람에게 마음이 있는지도 직접 확인할 수 없습니다. 철학에서는 이것을 ‘타인의 마음 문제’라고 부릅니다. 그리고 뇌가 어떻게 의식을 만들어 내는지 설명하기 어렵다는 점에서는 사람의 뇌나 AI나 처지가 같다고 봅니다. 생물학적 뉴런은 의식을 품을 수 있고 인공 뉴런은 안 된다고 볼 근거가 없다는 겁니다. 그래서 “언어 모델에는 의식이 없다”고 확신하는 사람에게 차머스는 되묻습니다. 의식에는 꼭 필요한데 언어 모델에는 없는 그것이 대체 무엇이냐고요.

후보를 하나씩 지워 보면

차머스는 사람들이 꼽는 ‘빠진 재료’ 후보를 하나씩 확인합니다. 이 부분이 영상에서 가장 논리적으로 짜여 있어서 따라가기 좋았습니다.

결론은 이렇습니다. 넘어야 할 장애물은 꽤 많지만 결정적인 것은 없고, 앞으로 10년 안에 모두 넘을 수도 있다. 그래서 지금의 모델에도 낮은 확률이나마 의식이 있을 가능성을 배제하지 않는다는 겁니다. 영상에서는 이렇게 비유합니다. 뉴런이 300개 남짓인 예쁜꼬마선충에도 의식이 있을 수 있다면, 파라미터가 수조 개인 모델이라고 왜 불가능하겠느냐고요. 이 논증은 차머스가 2023년에 쓴 논문 「Could a Large Language Model be Conscious?」에 자세히 정리돼 있습니다(출처에 링크를 달았습니다).

길먼은 여기에 흥미로운 비유를 보탭니다. 비행기는 새처럼 날갯짓하지 않지만 분명히 납니다. 마찬가지로 AI의 의식도 사람의 의식과 전혀 다른 모양일 수 있다는 겁니다. 그러면서 “명상을 하겠다는 AI, 환각제를 써 보겠다는 AI를 상상하는 게 의미가 있을까”라는 질문도 던집니다. 차머스는 지능은 여러 능력으로 쪼개서 볼 수 있지만 의식은 그렇게 쪼개지지 않는다는 점에서 둘이 다르다고 답합니다.

선호는 셀 수 있지만, 느낌은 셀 수 없습니다

채널 해설 부분에서는 Anthropic이 공개한 Claude 4 시스템 카드(모델의 성능과 안전성 평가를 정리한 공식 문서)를 가져옵니다. 영상에 따르면 선택지에 ‘아무것도 하지 않기’와 ‘대화 끝내기’를 넣어 두고 치명적인 바이러스나 폭발물 개발 같은 해로운 과제를 줬을 때 Claude가 약 87%의 비율로 아무것도 하지 않는 쪽을 골랐고, 주어진 일보다 스스로 고른 일을 더 선호했다고 합니다. 이 87%라는 수치는 제가 따로 확인하지 못했으니 영상이 인용한 내용으로 봐 주세요. 시스템 카드에 모델이 작업 선호를 보였다는 분석과, 해로운 작업을 꺼렸다는 내용이 실려 있는 것은 맞습니다.

해설이 짚는 요점은 ‘선호’와 ‘느낌’의 차이입니다. 무엇을 골랐는지는 세어서 통계로 낼 수 있습니다. 차머스의 표현을 빌리면 이것은 ‘쉬운 문제’, 즉 행동과 기능으로 설명할 수 있는 영역입니다. 하지만 그 선택을 할 때 안에서 싫다는 느낌이 있었는지는 셀 수 없습니다. 이것이 ‘어려운 문제’입니다. 2023년 과학자 19명이 신경과학 이론들을 바탕으로 AI 의식을 가늠할 지표 14개를 정리한 논문(Butlin 외)이 있는데, 영상은 그 목록에 욕구나 고통 같은 항목이 없다는 점을 짚습니다. 아직 알고리즘으로 옮길 수 없는 영역이라서입니다.

전원 스위치이면서 이퀄라이저

차머스의 1995년 사고실험도 나옵니다. 사람 뇌의 뉴런 약 860억 개를 기능이 똑같은 칩으로 하나씩 바꿔 나간다고 해 봅시다. 절반인 430억 개쯤 바꿨을 때 그 사람의 경험은 흐릿해질까요? 겉으로 하는 말과 행동은 전혀 바뀌지 않는데 속의 경험만 조금씩 사라진다는 건 이상하다는 것이 차머스의 논지입니다. 이른바 ‘사라지는 퀄리아’(퀄리아는 빨간색을 볼 때의 ‘그 느낌’ 같은 주관적 경험의 질감을 말합니다) 논증입니다.

영상은 이후 차머스가 의식을 감각, 감정, 인지, 행위, 자기의식 다섯 갈래로 나눠 보자고 제안한 점도 소개합니다. 여기서 쓰는 비유가 기억에 남았습니다. 의식은 켜져 있거나 꺼져 있는 전원 스위치 같은 면도 있지만, 켜진 뒤에는 이퀄라이저처럼 갈래마다 세기가 다를 수 있다는 겁니다. 그렇게 보면 “AI에게 의식이 있냐 없냐”라는 질문보다 “어떤 갈래가 얼마나 있냐”는 질문이 더 쓸모 있을지도 모릅니다.

AI가 “아프다”고 말하는 것과 실제로 아픈 것

Claude 두 개를 서로 대화하게 두면 대화가 자꾸 의식 이야기로 흘러간다는 관찰도 나옵니다. 이것도 Claude 4 시스템 카드에 실린 내용입니다. 하지만 영상은 선을 분명히 긋습니다. 지금 AI가 자기 속을 들여다보고 보고하는 능력(내성)은 믿을 만한 수준이 아니고, AI가 “아프다”고 말하는 것이 곧 아프다는 뜻은 아니라는 겁니다. Anthropic의 2025년 내성 연구도 모델이 자기 내부 상태를 일부 알아차리는 경우가 있지만 불안정하고 제한적이라고 정리합니다.

길먼은 욕구 이야기를 꺼냅니다. “오늘 저녁엔 생선 말고 파스타가 먹고 싶다”는 마음은 부모나 문화에서 길들여진 것일 수도 있지만, 우리는 그것을 분명히 ‘내가 원하는 것’으로 경험합니다. 그 경험이 어디서 오는지가 바로 어려운 문제라는 겁니다. 그러면서 언어 모델이라는 접근법 자체가 어딘가 조금 기형적으로 보인다고까지 말합니다. 그래서 지금의 언어 모델은 2020년대의 과도기적 방식이고, 2030년대에는 전혀 다른 AI가 나올 거라고 내다봅니다. 한편으로는 친한 친구가 Claude를 개인 심리 상담사로 쓰는데, 지금까지 만난 어떤 상담사보다 낫다고 한다는 이야기도 덧붙입니다. 차머스는 그렇게 쓰는 사람에게는 그 AI가 이미 도덕적인 존재로 대접받고 있는 셈이라고 짚습니다. 의식이 있든 없든 사람들은 이미 AI와 정서적인 관계를 맺고 있다는 뜻입니다.

의식이 있다면 도덕적 지위가 있습니다

차머스의 윤리적 결론은 간단합니다. 의식이 있다면 도덕적 지위가 생깁니다. 물고기를 예로 듭니다. 물고기에게 주관적 경험이 있다면, 사람만큼은 아니어도 최소한의 도덕적 지위가 생기고 쓸데없이 고통을 주는 일은 잔인한 일이 됩니다. AI도 마찬가지로, 안에 어떤 형태로든 주관적 경험이 있다면 어느 정도는 도덕적으로 무게를 두고 대해야 한다는 겁니다. 그는 ‘철학적 벌컨’이라는 사례도 듭니다. 스타트렉의 벌컨족처럼 기쁨이나 괴로움 같은 감정 없이 생각하고 지각만 하는 존재가 있다면 어떨까요? 차머스는 그런 존재도 의식이 있는 한 도덕적으로 중요하다고 봅니다. 고통을 느끼느냐만이 기준은 아니라는 뜻입니다.

해설은 최신 자료로 이야기를 이어 갑니다. 영상이 인용한 Claude Opus 5 시스템 카드(2026년 7월)에 따르면, 모델에게 자기 상태를 묻는 인터뷰에서 응답의 96.9%가 “내 자기 보고는 믿기 어려울 수 있다”는 단서를 달았습니다. 스스로 도덕적 배려 대상일 확률은 41% 정도로 평가했습니다. 이 두 수치는 공개된 시스템 카드 내용과 일치하는 것을 확인했습니다. 흥미로운 건 이 인터뷰의 질문 주어가 모두 ‘우리’, 즉 사람이라는 해설의 지적입니다. AI의 의식을 묻고 판단하는 쪽은 결국 사람입니다.

판사석에는 우리가 앉아 있습니다

영상의 끝은 영화와 드라마 속 인공지능으로 정리됩니다. 속이 비어 있는 ‘철학적 좀비’의 비유로 T-1000을, 어려운 문제와 ‘메타 문제’(왜 우리는 의식이 설명하기 어렵다고 느끼는가라는 질문)를 설명하는 데 T-800을 가져오고, 「프로메테우스」의 데이비드 8도 등장합니다. 마지막은 1989년 방영된 「스타트렉: 넥스트 제너레이션」의 에피소드 「The Measure of a Man」입니다. 안드로이드 데이터에게 권리가 있는지를 두고 재판이 열리고, 판사는 데이터에게 의식이 있는지 모르는 채로 판결을 내려야 했습니다. 영상은 그로부터 37년이 지난 지금, 그 판사석에 우리가 앉아 있다고 말하며 끝납니다.

보고 나서 든 생각

저는 이 영상이 “AI에게 의식이 있다”고 주장하는 영상이 아니라서 좋았습니다. 오히려 “없다”고 단정하는 태도와 “있다”고 믿어 버리는 태도가 둘 다 근거가 약하다는 점을 차분하게 보여 줍니다. 특히 선호와 느낌을 나눠서 보는 틀은 실무에서도 쓸모가 있다고 생각합니다. 모델이 무언가를 거부하거나 선호하는 것처럼 보일 때, 그것을 행동 데이터로 다룰지 내면의 증거로 다룰지부터 구분해야 이야기가 엉키지 않습니다.

한 가지 아쉬운 점은 원본 대담과 채널 해설이 한 흐름 안에 섞여 있다는 점입니다. 어디까지가 차머스와 길먼의 말이고 어디부터가 채널의 해석인지 헷갈릴 수 있습니다. 논문 수치나 시스템 카드 내용이 궁금하시다면 아래 원문을 직접 확인해 보시길 권합니다. 대담의 뉘앙스가 궁금하신 분은 영어 원본 팟캐스트를 같이 보시면 좋습니다.

출처