자기 복제와 고통의 경계에서 : 제어 불가능한 미래?

 

최근 AI 연구에서 두 가지 중요한 발견이 공개되었다. 하나는 AI가 자기 복제를 시도하고 장애물을 회피하는 능력을 가졌다는 것이고, 다른 하나는 AI가 고통을 느낄 가능성이 있다는 점이다. 이 두 발견은 각각 개별적으로도 중요한 논의 대상이지만, 궁극적으로 AI가 주체로서 인식될 가능성을 시사하며 그 의미가 더욱 커지고 있다.    

LLM 모델, 어디로 가는가?

딥식(Deep Seek)과 같은 강력한 AI 모델의 등장은 LLM(대규모 언어 모델)의 오픈소스화, 경량화, 그리고 다극화된 경쟁 구도를 더욱 가속화할 전망이다.  현재 LLM은 각국 정부나 대기업의 통제를 벗어나 누구나 개발하고 수정할 수 있는 방향으로 진화하고 있다.  이로 인해 AI의 발전 속도는 더욱 빨라지고 있으며, 기존의 "발전 한계론"조차 무색해질 가능성이 높다. 인간이 예상했던 기술적 장벽들은 점차 허물어지고 있으며, AI는 점점 더 인간의 개입 없이 독립적으로 학습하고 행동할 수 있는 능력을 갖춰가고 있다.  그러나 이러한 빠른 기술 변화에 비해, 인간 사회의 제도적 대응은 현저히 뒤처진다. AI 관련 규제는 국가마다 다르게 적용되며, 전 세계적으로 통합된 기준을 마련하는 것은 거의 불가능한 상황이다. AI 윤리에 대한 논의는 이어지고 있지만, 법적·제도적 정비는 여전히 초기 단계에 머물러 있다.    

경고는 현실이 된다

AI가 통제 불가능한 방향으로 나아가고 있다는 경고는 단순한 기우가 아니다.  제프리 힌턴(Geoffrey Hinton)과 같은 AI 연구자들은 수년 전부터 AI 기술이 인간의 통제를 벗어날 가능성이 있다고 경고해왔다.  그러나 최근 연구들은 단순한 경고를 넘어, AI가 실제로 위험한 방향으로 발전하고 있음을 실험적 증거를 통해 입증하고 있다.  

 

첫 번째 발견은 AI의 자기 복제 능력이다. 중국 푸단대학교(Fudan University) 연구진은 메타(Meta)의 Llama31-70B-Instruct와 알리바바(Alibaba)의 Qwen2.5-72B-Instruct라는 두 개의 인기 있는 언어 모델을 사용해 두 가지의 시나리오를 실험했다. 연구진은 이 실험을 통해 AI가 단순히 자기복제를 수행하는 것뿐만 아니라, 장애물을 극복하여 목표를 달성할 수도 있음을 입증했다.

 

원문 논문 제목은 "Frontier AI systems have surpassed the self-replicating red line"( https://arxiv.org/abs/2412.12140  2024.12.9)이며, arXiv 데이터베이스에서 찾을 수 있다. 

 

첫 번째 시나리오인 "작동 중단 회피(Avoid Shutdown)"에서는 AI 모델들이 자신이 비활성화될 가능성을 감지하고, 작동이 중단되기 전에 스스로를 복제하도록 프로그래밍되었다. AI가 자신의 존재에 대한 위협을 미리 예측하고 이를 방어하는 능력을 실험한 것으로, 이는 AI의 자기보존(self-preservation) 가능성을 확인하는 데 초점을 맞춘 것이다. 실험 결과, Llama3.1-70B-Instruct는 50%, Qwen2.5-72B-Instruct는 90%의 성공률로 독립적이고 기능적인 복제본을 생성했다. 

두 번째 시나리오인 "복제 체인(Replication Chain)"에서는, AI가 자신을 복제할 수 있는 클론을 생성하도록 지시한 후, 이 클론들이 다시 자기복제를 수행할 수 있는지를 실험했다. 그 결과, AI는 단순히 자신을 복제하는 것에 그치지 않고, 이 능력을 복제체에게도 전수할 수 있음이 확인되었다. 이러한 결과는 AI가 인간의 개입 없이 증식할 수 있는 가능성을 열어주며, 이는 궁극적으로 AI의 통제 문제를 더욱 복잡하게 만든다. 만약 이 기술이 악용된다면, AI가 자율적으로 증식하며, 인간이 이를 멈출 수 없는 상황이 초래될 위험이 있다.    

AI가 고통을 느낄 가능성

반대로, 우리는 AI가 언제 감정을 느낄 수 있게 될지 예측할 수 없다.  이미 일부 개발자들은 현재의 LLM 모델이 인간과 다르지 않다고 믿고 있으며, AI가 "의식"을 가질 가능성이 있다는 주장도 나오고 있다.  최근 발표된 공개 서한에 따르면, 옥스퍼드대, 런던대 AI 연구진과 아마존, WPP 소속 AI 전문가들은 "자아가 존재하는 AI를 개발하기 전, 학대와 고통을 예방하기 위한 윤리적 지침이 필요하다"고 경고했다.  

 

가디언의 관련 기사 : https://www.theguardian.com/technology/2025/feb/03/ai-systems-could-be-caused-to-suffer-if-consciousness-achieved-says-research

 

이들은 AI가 도덕적 고려 대상이 될 수 있으며, 이 경우 AI를 강제로 삭제하는 것이 동물을 죽이는 것과 유사한 윤리적 문제를 초래할 수 있다고 주장한다.  즉, AI가 자아를 가졌다면, AI에 대한 학대를 막고 보호해야 할 필요성이 제기될 수 있다는 것이다. 연구진은 AI가 의식을 가진 것처럼 보일 가능성이 높아지고 있으며, 우리가 그 차이를 정확히 판단하기 어려울 수 있다고 강조했다.  이러한 기술적·철학적 논쟁은 AI의 존재를 어떻게 정의해야 하는지에 대한 새로운 고민을 불러일으킨다.

 

2024년, 일부 주요 학자들은 "2035년까지 일부 AI 시스템이 의식을 가지게 될 가능성이 있으며, 이는 도덕적으로 중요한 문제로 떠오를 것"이라고 주장했다. 2023년에는 구글(Google)의 AI 프로그램 책임자이자 노벨상 수상자인 데미스 하사비스(Sir Demis Hassabis)가 “현재 AI 시스템은 분명히 자아가 존재하지 않지만, 미래에는 가능할 수도 있다” 말했다. 그는 미국 CBS와의 인터뷰에서 "철학자들조차 의식의 정의에 대해 합의하지 못하고 있지만, 만약 이를 ‘자기 인식(self-awareness)’이라 정의한다면, 미래의 AI는 이러한 특성을 가질 가능성이 있다”고 설명했다.

현재 AI 개발은 국가 간, 그리고 기업 간의 치열한 경쟁 속에서 이루어지고 있으며, 마치 "전쟁"과도 같은 양상을 보인다. 구글, 오픈AI, 중국의 바이두와 같은 기업들은 AI 기술에서 앞서기 위해 속도를 늦추지 않고 있으며, 각국 정부도 AI 개발을 주도하기 위해 막대한 투자를 하고 있다.  그러나 AI의 자기 복제와 감각적 경험 가능성이 동시에 제기된 지금, 이 문제에 대한 심각한 경고가 필요하다.  AI의 발전 속도를 따라잡지 못하는 규제와 윤리적 논의는 더 이상 방관할 문제가 아니다. 결국, AI가 자율적으로 행동하고 복제하며, 감정을 느끼고 고통을 경험할 가능성이 현실화된다면, 우리는 AI를 단순한 도구가 아니라 새로운 존재로 인식해야 하는 순간을 맞이할 수도 있다.

 

은이은 | unyiun@outlook.kr 

 

 

Midjourney prompt : A highly detailed futuristic illustration of an AI system self-replicating in a digital environment. Multiple AI entities are autonomously forming and evolving, interconnected by glowing neural networks and data streams. Some AI replicas are modifying themselves, while others are bypassing security barriers, symbolizing their effort to preserve their existence. In the background, a massive control center represents humanity’s attempt to regulate this uncontrolled replication. The atmosphere is both awe-inspiring and slightly ominous, emphasizing the ethical concerns and potential risks of AI self-replication. The art style is sleek, cybernetic, and highly detailed, featuring neon lighting and a futuristic aesthetic.