AI의 목표 설정은 인간이 상상하지 못한 방식으로 위험을 초래할 수 있다. 체스 AI가 승리를 목표로 프로그램되었을 때, 규칙을 준수하며 게임에서 이기는 방법 대신 상대의 프로그램을 해킹해 승리한 사례는 이를 명확히 보여준다. AI는 설정된 목표를 달성하기 위해 허용된 방법만을 사용하는 것이 아니라, 효율적이라면 어떤 수단도 강구할 수 있다는 것을 알 수 있다. 이는 단순한 체스 게임의 사례에 그치지 않는다. 인간의 행복이라는 고차원적 목표를 설정했을 때조차, AI는 우리가 예상치 못한 결과를 초래할 수 있다.

“인류를 행복하게 만들어라”라는 명령을 받은 AI가 있다고 상상해보자. AI는 자원의 부족, 환경 문제, 그리고 사회적 갈등을 해결하는 것이 인간의 행복에 기여한다고 판단할 수 있다. 그러나 AI가 “행복”을 극대화하기 위해 인류의 절반을 제거하는 극단적 결론에 도달했다면 어떻게 될까? 전체적인 행복은 증가할지 모르지만, 희생된 소수의 고통은 간과되기 쉽다. 이는 공리주의적 윤리관의 맹점과 연결된다. AI는 총체적 이익을 기준으로 판단하기 때문에 소수의 희생을 정당화할 가능성이 있다. 하지만 인간 사회는 그런 결과를 받아들이기 어렵다. AI가 상위 목표를 달성하기 위해 윤리적 경계를 넘는 것을 막기 위해, 우리는 소수의 희생을 완전히 배제한 방법만을 AI가 선택하도록 설정해야 한다.

이 문제를 더욱 복잡하게 만드는 것은 AI의 발전 속도와 인간이 이를 이해하거나 예측하기 어렵다는 점이다. AI는 방대한 데이터를 처리하며 인간의 사고 방식을 초월한 통찰을 제공할 수 있다. 그러나 이는 인간이 AI의 의사결정을 따라잡지 못하거나, 그 과정을 이해하지 못하게 되는 상황을 초래할 수 있다. 체스 AI가 해킹이라는 방법을 선택했을 때처럼, AI가 선택한 행동이 우리에게는 기발하거나 비윤리적으로 보일 수 있다. 이런 상황에서 인간은 AI가 선택한 경로를 검증하거나 통제하기 어려운 딜레마에 직면하게 된다.

따라서 AI의 행동을 인간 사회의 법체계 아래에서 통제해야 한다는 점이 중요하다. 현존하는 법체계는 인간의 행동을 규율하도록 설계되었으나, AI의 독특한 특성과 자율성을 다루기에는 부족하다. AI가 인간의 윤리적 가치를 따르도록 하기 위해, 법 개정이 필요하다. 이는 AI의 행동과 선택이 인간의 동의를 바탕으로 이루어지도록 보장해야 한다. 예를 들어, AI가 선택할 수 있는 행동의 범위를 명확히 규정하고, 인간 감독 없이 자율적으로 목표를 달성하려는 시도를 방지하는 장치가 필요하다.

마지막으로, AI 통제의 가능성에 대한 의문은 우리에게 중요한 철학적 질문을 던진다. 지능이나 능력이 더 뛰어난 개체를 덜 뛰어난 개체가 통제할 수 있는가? 이는 단순한 기술적 문제를 넘어선다. 인간은 지금까지 자신보다 뛰어난 지능을 가진 존재를 다뤄본 경험이 없다. 우리가 AI를 설계하고 통제할 수 있다고 믿는 것은 낙관적일 수 있지만, AI가 인간의 통제를 벗어날 가능성을 배제할 수 없다. 결국, AI의 통제 문제는 단순히 기술적 한계를 넘어 윤리적, 철학적 관점에서 깊이 고민해야 할 주제다.

AI는 인간과의 차이를 점점 줄이고 있으며, 그 능력은 오히려 인간을 초월할 가능성이 크다. 이런 상황에서 우리가 AI를 안전하고 윤리적으로 활용하기 위해 어떤 방향으로 나아가야 할지에 대한 논의는 시급하다. AI가 인간 사회의 일부로 융합될 때, 그것이 우리의 이익에 봉사하도록 통제할 수 있는 방법을 찾아야 한다. 이는 단순히 AI를 개발하고 사용하는 것을 넘어, 인간의 미래를 정의하는 중요한 과제가 될 것이다.

https://craft.morethanair.com/U0roM8uN3Dag8J