[AI는 지금] "로봇 오작동인 줄 알았는데 해킹?"…피지컬 AI, 보안 위협 커진다

인공지능(AI)이 로봇과 자율주행차 등 현실 세계로 활동 영역을 넓히면서 사이버보안 위협도 달라지고 있다. 외부 공격으로 AI의 판단이 왜곡되더라도 정상적인 환경 적응 과정과 구분하기 어려워 인명·설비 사고로 이어질 수 있다는 경고가 나온다.

7일 글로벌 시장조사업체 가트너가 발표한 '피지컬 AI가 최고정보보호책임자(CISO)에게 미칠 5가지 영향과 대응 방안' 보고서에 따르면 기존 네트워크 중심의 보안 체계만으로는 피지컬 AI의 안전성을 확보하기 어려운 것으로 나타났다.

피지컬 AI는 로봇과 드론, 자율주행차 등에 탑재돼 주변 환경을 인식하고 스스로 판단해 움직이는 기술이다. 기존 산업용 제어 시스템과 달리 센서 정보를 지속적으로 분석하고 상황에 맞춰 행동을 조정하는 만큼 공격자가 이러한 적응 과정을 악용할 가능성이 있다.

가트너가 주목한 위협은 AI의 인식 정보를 조금씩 왜곡하는 공격이다. 카메라와 라이다(LiDAR), 레이더 등에 미세한 잡음을 주입해 주변 환경을 잘못 판단하도록 유도하는 방식으로, 보고서가 인용한 IEEE 연구에서는 이러한 공격으로 최대 8m의 경로 편차나 존재하지 않는 장애물 인식이 발생할 수 있는 것으로 나타났다.

이 같은 공격은 기존 보안 체계에서 탐지하기 어려울 수 있다. 피지컬 AI가 환경 변화에 맞춰 행동을 조정하도록 설계된 만큼 외부에서 유도한 움직임의 변화도 정상적인 적응 과정으로 받아들일 수 있어서다.

AI 모델 자체의 예측 불가능성도 새로운 위험 요인으로 꼽혔다. 생성형 AI의 환각이 잘못된 답변을 내놓는 데 그쳤다면 피지컬 AI에서는 로봇 관절의 비정상적인 움직임이나 모터 출력 이상으로 이어질 수 있다. 특히 산업용 로봇이나 자율주행차처럼 물리적 힘을 사용하는 시스템에서는 소프트웨어 차원의 통제만으로 사고를 막기 어려울 수 있다.

이에 따라 가트너는 AI 모델과 독립적으로 작동하는 물리적 안전장치를 마련해야 한다고 권고했다. AI가 잘못된 명령을 내리더라도 기계식 제한장치나 비상정지 장치를 통해 전원을 차단하고 움직임을 멈출 수 있도록 설계해야 한다는 것이다.

기존 네트워크 보안 방식도 재검토가 필요하다고 봤다. 휴머노이드 로봇의 균형 제어나 드론의 경로 탐색처럼 실시간 처리가 필요한 환경에서는 보안 검사로 발생하는 미세한 지연도 시스템 작동에 영향을 줄 수 있기 때문이다.

가트너는 네트워크 검사 과정에서 발생하는 15밀리초(ms) 수준의 지연만으로도 실시간 제어에 문제가 생겨 물리적 고장이나 예기치 않은 시스템 중단으로 이어질 수 있다고 경고했다. 이에 보안 검사와 실시간 제어 경로를 분리하고 반도체부터 AI 모델, 구동 장치까지 보호 범위를 확대할 필요가 있다고 제안했다.

외부 공격과 AI 오작동을 구분하기 위한 별도의 감시 체계도 요구된다. AI가 사용하는 센서와 독립된 장치로 실제 움직임을 확인하고 비정상적인 변화가 감지되면 사전에 정해진 안전 모드로 전환하는 방식이다.

피지컬 AI 도입에 따른 기업의 책임 범위도 넓어질 것으로 예상된다. 자율적으로 움직이는 AI가 작업 현장에서 사고를 일으킬 경우 단순한 소프트웨어 결함뿐 아니라 기업이 적절한 안전장치를 갖추고 운영했는지도 책임 판단의 대상이 될 수 있다는 것이다.

이에 가트너는 아직 대부분의 산업용 사이버물리시스템(CPS)에 피지컬 AI가 본격적으로 적용되지는 않았지만 확산에 앞서 보안 전략을 재정비해야 한다고 강조했다. 특히 보안 담당자가 실제 작업 환경을 확인하고 설비 도입 단계부터 하드웨어 기반 안전장치를 의무화할 것을 권고했다.

가트너는 "사이버보안 책임자들은 기존 네트워크 통제를 넘어 반도체 수준의 실행 과정과 공간 기반 신원 관리, 독립적인 모니터링, 하드웨어 기반 물리적 안전장치까지 보안 전략을 발전시켜야 한다"고 강조했다.