무차별 인터넷 긁어가기 사라지나…빅테크, AI학습차단 표준도입

(샌프란시스코=연합뉴스) 권영전 특파원 = 앞으로 웹사이트 운영자는 사이트 내 콘텐츠의 주요 인공지능(AI) 모델 학습을 한 번에 거부할 수 있게 될 전망이다.

오픈AI와 구글, 마이크로소프트(MS) 등 주요 AI 기업들은 크롤링 봇(긁어가기 로봇)의 AI 학습 목적 자료 수집을 일괄 제어할 수 있는 공통 표준을 지원하기로 했다고 31일(현지시간) 각각 밝혔다.

지금까지는 운영자가 자신의 웹사이트에 대한 지침을 담은 'robots.txt' 파일에 각 AI 기업의 크롤링 봇을 하나하나 차단하고 새로운 봇이 등장할 때마다 이를 반영해야 했지만, 앞으로는 'AI 학습용 자료 수집을 거부한다'는 사실을 한 번만 설정하면 된다.

특히 검색엔진에 노출하기 위한 크롤링 봇은 허용하고 AI 학습용 자료 수집은 막는 것도 수월해진다.

MS는 검색엔진 빙(Bing) 블로그에서 "웹사이트 운영자는 빙에서 자신의 콘텐츠가 검색되도록 하는 것과 생성형 모델이 자신의 저작물을 어떻게 활용할지 결정하는 것 사이에서 선택을 강요받아서는 안 된다"고 이와 같은 원칙을 강조했다.

오픈AI도 이와 같은 조치에 대해 "개방형 웹을 향한 실용적인 발걸음"이라고 평가했다.

이번 공통 표준은 국제인터넷표준화기구(IETF)의 논의 결과에 따른 것으로, 앤트로픽은 앞서 이미 이를 받아들여 시행하고 있다.

구글과 MS는 내년부터, 오픈AI는 향후 수개월 안에 이를 적용할 방침이다.

메타의 앤디 스톤 커뮤니케이션 총괄도 엑스(X·옛 트위터)를 통해 이와 같은 조치가 중요하다는 입장을 밝혔으나, 메타가 이에 동참할지는 명확히 밝히지 않았다.

AI 기업들의 이와 같은 정책 변경은 최근 주요 언론사와 출판계 등이 무분별한 AI 학습용 자료 수집에 대해 소송을 제기하는 등 반발을 이어온 상황에서 이뤄졌다.