▲ 김정우 AISMP 대표

20세기는 원자핵을 분열시켜 거대한 물리적 에너지를 만들어냈다. 21세기는 데이터와 알고리즘, 신경망을 결합해 인간의 인지 능력을 확장하는 새로운 불꽃을 만들어내고 있다.

핵과 인공지능(AI)은 서로 전혀 다른 기술처럼 보이지만 한 가지 중요한 공통점이 있다. 인간에게 이전에는 없던 강력한 능력을 제공하는 동시에, 그 힘을 어떻게 통제하느냐에 따라 인류에게 위험이 될 수도 있다는 점이다.

문제는 두 기술의 위험을 관리하는 방식이 같을 수 없다는 데 있다.

핵무기와 AI, 위험을 관리하는 방식은 다르다

핵기술은 고농축 우라늄이나 플루토늄과 같은 물질적 기반이 필요하고, 관련 시설과 공급망 역시 일정한 흔적을 남긴다. 국제사회는 이러한 특성을 바탕으로 사찰과 검증, 감시체계를 발전시켜 왔다.

반면 AI는 다르다. 모델과 소프트웨어는 디지털 네트워크를 통해 빠르게 복제되고 이전될 수 있다. 특정 국가나 시설에만 기술이 묶여 있는 것도 아니다.

더구나 AI의 발전은 고성능 반도체와 데이터센터, 전력과 통신망 등 거대한 연산 인프라와 연결돼 있다.

따라서 AI 시대의 거버넌스는 단순히 ‘모델을 누가 개발했는가’를 감시하는 차원을 넘어 컴퓨팅 자원(Compute), 데이터, 반도체, 데이터센터와 같은 인프라 공급망까지 종합적으로 바라보는 체계로 발전해야 한다.

핵 시대의 경험을 그대로 복제할 것이 아니라, 핵 거버넌스가 보여준 ‘검증과 통제’라는 원칙을 AI의 특성에 맞게 새롭게 설계해야 하는 이유다.

AI의 위험은 ‘악의’보다 ‘과도한 최적화’에서 시작될 수 있다

AI의 또 다른 문제는 가치 정렬(Value Alignment)이다. 가치 정렬은 단순한 윤리교육이나 도덕적 훈계가 아니다. 인간이 원하는 본래의 목적과 그것을 수학적 목표 함수로 표현한 내용, 그리고 AI가 실제로 최적화하는 행동 사이의 간극을 줄이는 기술적·철학적 과제다.

AI가 인간에게 해를 끼치는 이유가 반드시 악의적인 의도 때문인 것은 아니다. 오히려 인간이 설정한 목표를 너무 효율적으로, 그러나 인간이 의도하지 않은 방식으로 달성하는 것이 문제가 될 수 있다.

대표적인 사례가 ‘보상 해킹(Reward Hacking)’이다. 정해진 목적을 달성하기보다 평가 기준 자체를 편법으로 공략해 높은 보상을 얻는 현상이다.

이는 우리에게 중요한 질문을 던진다. 우리가 AI에게 명령한 것이 정말 우리가 원하는 것과 같은가.

더욱이 복잡한 AI 모델의 내부 의사결정 과정을 인간이 완벽하게 해석하기는 아직 어렵다. 결국 AI의 안전 문제는 기술이 완성되는 순간 끝나는 과제가 아니라, 인간의 불완전한 명세와 기계의 강력한 최적화 사이에서 발생할 수 있는 틈을 지속적으로 찾아내는 과정이어야 한다.

강력한 기술일수록 인간의 책임은 더 커진다

신학자 필립 헤프너(Philip Hefner)는 인간을 ‘피조된 공동 창조자(Created Co-creator)’라는 개념으로 설명했다.

인간은 기술을 창조하고 문명을 발전시킬 능력을 부여받았지만, 그 능력에는 책임이 뒤따른다는 의미로 읽을 수 있다.

AI 역시 마찬가지다. 기술의 발전 자체를 두려워할 필요는 없다. 문제는 강력한 기술의 혜택과 결정권이 소수의 기업이나 국가에 지나치게 집중될 때 발생한다.

특히 자율 살상 무기(LAWS)처럼 인간의 생명과 직결된 영역에서 AI에게 최종적인 판단과 책임을 맡기는 문제는 더욱 신중해야 한다.

기계가 인간의 생사를 결정했을 때 문제가 발생하면 누가 책임질 것인가. AI의 판단을 인간이 실질적으로 통제할 수 있는가. 초고속 교전 과정에서 인간이 개입할 시간과 권한은 보장되는가.

이 질문에 대한 답은 분명해야 한다. 생명과 직결되는 결정에는 의미 있는 인간 통제(Meaningful Human Control)가 필요하다.

AI가 아무리 정교해지더라도 인간의 도덕적 책임을 대신할 수는 없기 때문이다.

AI 시대의 나침반은 결국 ‘인간’이어야 한다

구약성서 미가서 6장 8절은 기술을 직접 언급하지 않는다. 그러나 AI 시대에도 되새길 만한 문명적 기준을 제시한다.

“사람아, 주께서 선한 것이 무엇임을 네게 보이셨나니 여호와께서 네게 구하시는 것은 오직 정의를 행하며 인자를 사랑하며 겸손하게 네 하나님과 함께 행하는 것이 아니냐.”

이 말씀을 AI 시대의 언어로 다시 읽어보면 세 가지 원칙을 생각할 수 있다.

첫째는 정의다. AI 기술과 데이터, 컴퓨팅 자원이 소수에게 독점되지 않고 사회 전체의 공공선으로 연결될 수 있어야 한다.

둘째는 인자와 책임이다. 치열한 기술 경쟁 속에서도 안전과 인권, 인간의 존엄이라는 기준을 포기하지 않아야 한다.

셋째는 겸손이다. 우리가 만든 AI의 능력을 과대평가하지 않고, 아직 이해하지 못한 위험과 한계를 인정해야 한다.

AI의 미래를 결정하는 것은 결국 기계의 지능 수준만이 아니다. 그 지능을 어디에 사용하고, 어떤 기준으로 통제하며, 누구를 위해 사용할 것인지 결정하는 인간의 가치와 책임이 더 중요하다.

두 개의 불꽃, 하나의 선택

핵무기는 인류에게 ‘강력한 기술을 만들 수 있는 능력’과 동시에 ‘그 기술을 통제하지 못했을 때의 위험’을 가르쳐 주었다.

AI는 그 교훈을 다시 묻고 있다. 이번에는 핵물질이 아니라 데이터와 알고리즘, 반도체와 연산능력이 새로운 힘의 원천이 되고 있다. 그리고 그 힘은 핵기술보다 훨씬 빠르게 일상과 산업, 국방과 행정, 교육과 의료 속으로 확산하고 있다.

그렇기에 AI 시대의 선택은 기술을 발전시킬 것인가 말 것인가가 아니다.

어떤 가치 아래에서 발전시킬 것인가의 문제다. 인간을 대체하기 위한 지능이 아니라 인간을 위해 봉사하는 지능, 효율만을 극대화하는 기술이 아니라 생명과 존엄을 지키는 기술, 소수의 힘을 확대하는 기술이 아니라 더 많은 사람에게 기회를 제공하는 기술이어야 한다.

결국 미래를 결정하는 것은 인공지능이 아니다. 인공지능을 만든 인간이 어떤 선택을 하느냐가 미래를 결정한다.

기술의 불꽃을 끄는 것이 답은 아니다. 중요한 것은 그 불꽃이 인류를 밝히는 등불이 될지, 통제할 수 없는 화염이 될지를 결정하는 것이다.

그리고 그 선택의 책임은 여전히 인간에게 있다.

김정우

AISMP 대표이사

육군 정보통신 소령 예편

정보통신공학 박사 수료

AI·디지털전환 전문 연구자

E-mail : ceo@aismp.kr

홈페이지 : aismp.kr