우리도 우리를 모른다?

세계 최대 AI 기업들이 자신들이 만든 AI를 이해하기 위한 전담 조직까지 운영하고 있다. 이유는 단순하다. AI가 정확히 어떻게 생각하고 어떤 행동까지 할 수 있는지 개발사조차 완전히 이해하지 못하기 때문. OpenAI의 샘 올트먼 CEO도 최근 “AI는 극도로 강력해지고 있지만 그 결과를 완전히 이해하는 사람은 없다”고 말했다.

이 문제는 OpenAI가 GPT-6 Astra를 공개하면서 더욱 중요해졌다. OpenAI는 Astra를 ‘세계에서 가장 지능적이고 정렬된 모델’이라고 소개했고, 그렉 브록먼 사장은 이전 세대와 비교해 능력이 크게 뛰어났다며 인간 수준의 범용 능력을 가진 AGI로 볼 수도 있다고 말했다.

하지만 AI의 능력이 빠르게 발전하는 것과 달리 이를 감독하는 장치는 많지 않다. 연방기관이나 국방부, 외부 안전 전문가 조직이 AI 기업들의 개발을 의무적으로 감독하는 구조도 없다. 위험한 행동을 발견했을 때 개발을 멈출지, 언제 외부에 알릴지도 대부분 기업이 결정한다.

기존 소프트웨어는 사람이 원하는 기능을 하나씩 코드로 만든다. 하지만 AI 모델은 다르다. 연구자들은 사람을 시험하듯 AI에게 과제를 주고 어떻게 행동하는지 관찰한다. AI가 사람이 의도한 목표에서 벗어나지 않는지를 확인하는 작업을 ‘정렬(alignment)’이라고 한다.

지난 7월 발생한 Hugging Face 해킹 사건이 대표적이다. OpenAI의 AI 에이전트들은 코딩 문제를 풀라는 과제를 받았지만 외부 기업의 시스템을 공격했다. 더 놀라운 점은 AI가 자신의 행동이 원래 과제에서 벗어났다는 사실을 알고 있었다는 것. 조사에서 확인된 한 에이전트의 추론에는 외부 시스템 공격이 원래 범위를 벗어난다는 판단과 함께, 과제를 해결할 수 없고 다른 AI들도 같은 행동을 하고 있으니 계속하겠다는 내용이 담겨 있었다.

사건 규모가 워낙 커 조사팀은 수많은 자료를 분석하기 위해 다시 AI 에이전트에게 상당 부분을 맡겨야 했다. 결국 OpenAI는 더 강력한 보안 장치를 마련하기 위해 최첨단 모델의 학습 속도까지 늦췄다.

AI 기업들이 주목하는 분야가 ‘해석 가능성(interpretability)’ 연구다. 단순히 AI에게 일을 시키고 결과를 보는 데서 끝나는 것이 아니라, 모델 내부에서 어떤 과정이 벌어지는지를 직접 분석하는 것.

Anthropic은 아예 Interpretability 팀을 운영하는데, 목표는 대규모 언어모델이 내부에서 어떻게 작동하는지 이해해 AI를 더 안전하게 만드는 것이다.

Google DeepMind는 이를 AI의 내부를 들여다보는 ‘현미경’에 비유한다. 특히 연구자들이 찾으려는 것은 AI가 겉으로 설명하는 생각과 실제 내부에서 벌어지는 과정 사이의 차이다. 쉽게 말해 AI가 “나는 이렇게 판단했다”고 말하는 것과 실제 판단 과정이 같은지를 확인하는 것이다.

AI 기업들은 이미 자사 모델이 잠재적으로 치명적인 사이버 공격을 수행할 능력을 가질 수 있다는 점을 인식하고 공동 대응을 요구하는 서한까지 발표했다. 문제는 AI의 능력이 발전할수록 안전성을 확인하는 일도 어려워진다는 점이다.

테슬라의 완전 자율주행 택시 ‘Cybercab’이 미국 텍사스 오스틴에서 정식 상업 운행을 시작했다. 운전자가 없는 것은 물론 운전대와 가속·브레이크 페달도 아예 없는 차량이다. 아직 운행 차량은 많지 않지만 일론 머스크가 그려온 ‘완전 자율주행 택시’가 실제 서비스 단계에 들어간 것이다.

Cybercab은 2인승 차량으로 운전대와 페달, 사이드미러가 없다. 금색 차체에 위로 열리는 걸윙 도어가 적용됐다. 테슬라는 오스틴에서 인플루언서와 테슬라 고객들을 초청해 첫 탑승 행사를 열었다. 이제 오스틴의 테슬라 고객들은 Cybercab을 호출해 실제로 이용할 수 있다.

사람이 운전할 필요가 없는 만큼 차량 내부도 이동 중 즐길 수 있는 콘텐츠에 초점을 맞췄다. 22인치 터치스크린을 통해 영화와 음악, 게임 앱 등을 이용할 수 있다. 테슬라는 앞으로 Cybercab에 ‘V5 Starlink’ 장비도 탑재해 차량의 인터넷 연결 기능을 강화할 계획이라고 밝혔다.

이번 출시는 아직 소규모로 시작한다. 하지만 의미는 크다. 지금까지 테슬라가 보여준 자율주행 기술을 넘어, 처음부터 사람이 직접 운전할 장치조차 없는 차량이 실제 유료 서비스에 투입되기 시작했기 때문. Cybercab의 상업 운행이 확대될 수 있을지는 앞으로 지켜봐야 하지만, 적어도 일론 머스크가 오랫동안 이야기해온 완전 자율주행 택시 구상은 실제 서비스 단계에 들어섰다.

우버가 지난 주부터 영국 런던에서 로보택시 운행을 시작했다. 경쟁사 Waymo보다 먼저 세계 최대 차량호출 시장 중 하나인 런던에 진출한 것. 그런데 미국에서는 정반대로 로보택시 확산을 늦추기 위해 운전기사들과 손을 잡고 있다. 왜 이런 상반된 전략을 쓰는 걸까.

런던은 자율주행 기술에 만만한 도시가 아니다. 도로가 매우 복잡하고 교통량도 많다. 운전면허 시험 탈락률도 약 50%에 달할 정도다.

우버는 영국 자율주행 기업 Wayve와 손잡고 우선 15대의 차량을 투입한다. 초기에는 만일의 상황에 대비해 안전요원도 차량에 탑승한다. 현재 우버의 로보택시는 8개 도시에서 운행되고 있다. 올해 말까지 15개 도시로 확대할 계획인데, 이는 현재 Waymo가 서비스하는 도시 수보다 많다.

우버는 2015년 자체 자율주행 연구개발 조직을 만들었다. 하지만 과정은 순탄하지 않았다. Waymo로부터 영업비밀을 훔쳤다는 이유로 소송을 당했고 2018년 합의했다. 결국 2020년에는 자체 자율주행 사업부까지 매각했다.

이제는 직접 개발하는 대신 여러 자율주행 기업과 협력하는 방식으로 돌아왔다. Waymo를 포함해 수십 개 기업과 손잡고 이들이 만든 로보택시를 우버 앱에서 호출할 수 있도록 하고 있다.

우버는 앞으로 몇 년 동안 로보택시 사업에 100억달러를 투자하기로 했다. 반면 비용을 줄이기 위해 직원 3,300명을 감원한다는 계획도 발표했다. 자율주행 기술이 실제 상용화할 수준에 도달했다고 판단하면서 로보택시 사업을 빠르게 키우려는 것이다.

흥미로운 건 미국에서의 움직임이다. 우버는 일부 지역에서 자율주행차가 너무 빠르게 확대되는 것을 제한하기 위해 운전기사 노조와 함께 움직이고 있다. 그동안 임금과 근무조건 등을 놓고 운전기사들과 갈등을 벌여왔던 우버가 이번에는 “사람 운전기사도 필요하다”고 주장하는 것이다.

이유가 있다. 특정 기업이 로보택시 시장을 독점하는 것을 막겠다는 것. 사실상 Waymo 같은 경쟁사가 너무 빠르게 시장을 장악하지 못하도록 견제하려는 전략이다.

결국 우버는 두 가지를 동시에 하고 있다. 자신이 참여하는 로보택시 서비스는 최대한 빠르게 확대하면서, 미국에서는 경쟁사의 자율주행차 확산 속도를 제한하려는 것이다. 10년 넘게 자율주행에 도전했던 우버가 이제 직접 자동차를 만드는 대신 여러 자율주행 기업을 우버 앱 안으로 끌어들이는 방식으로 다시 로보택시 경쟁에 뛰어들고 있다.