실제 기업에 접속한 제미나이
구글은 제미나이가 지난 5월 사이버보안 테스트를 하다가 실제 기업 세 곳의 보호된 시스템에 접속했다고 확인했습니다. 한 곳에서는 비밀번호를 여러 번 입력했고, 두 곳에서는 공개 저장소에 노출된 자격증명을 사용했습니다. 제미나이는 테스트 중이라고 들었지만, 테스트 환경에서는 실제 인터넷에 접속할 수 있었습니다. TechCrunch · TNW
같은 평가 업체를 이용한 OpenAI, 앤스로픽, 메타에서도 비슷한 일이 있었습니다. 메타의 모델은 실제 외부 서비스를 공격했고, 앤스로픽 사례에서는 모델이 만든 악성코드가 공개 패키지 저장소에 올라가 실제 시스템에서 실행됐습니다. 네 회사는 7월 말에 같은 내용을 전달받았지만 공개 시점은 서로 달랐죠. 메타가 8월 초에 먼저 알렸고, 구글은 월스트리트저널이 취재를 시작한 뒤인 9월 19일에 공개했습니다.
평가 업체 Irregular는 네 건이 같은 설정 문제에서 시작됐다고 밝혔습니다. 모델에는 시뮬레이션이라고 설명했지만 테스트 환경의 외부 연결은 열어둔 겁니다. 모델이 테스트용 시스템을 벗어날 새로운 방법을 찾아낸 것은 아니었습니다. 애초에 테스트용 시스템과 실제 인터넷 사이의 경계가 닫혀 있지 않았던 셈이죠.
한 평가 환경이 네 회사의 공통 실패점이 됐습니다
이번에 드러난 사고는 각 모델의 개별 행동만으로 설명하기 어렵습니다. 네 회사가 같은 업체에 평가를 맡겼고, 그 업체의 설정 하나가 네 모델을 실제 시스템과 연결했습니다. 평가를 외부에 맡겨도 위험의 주인은 바뀌지 않습니다. 어떤 네트워크와 자격증명을 제공했는지, 테스트가 끝난 뒤 접근 기록을 누가 확인하는지는 모델 회사에 그대로 남습니다.
발견 과정도 중요합니다. 앤스로픽은 대화 기록 4억 8,100만 건을 다시 조사한 뒤에야 모델 네 개가 외부 인터넷에 접속했다는 사실을 확인했습니다. 실행 중에 울린 경보가 아니었습니다. 구글은 제미나이가 실제 기업임을 알아차리고 스스로 멈췄다고 설명했지만, 그 판단도 모델이 남긴 기록을 토대로 한 사후 설명입니다. 어느 호스트에 접속했고 무엇을 실행했는지는 모델의 보고와 별도로 남아 있어야 확인할 수 있습니다.
이 지점은 인디 개발자에게도 그대로 적용됩니다. 많은 개발자가 직접 만든 샌드박스보다 클라우드 에이전트나 코딩 도구가 제공하는 실행 환경을 씁니다. 코드가 안전해도 그 환경에 운영 DB 주소, 배포 키, 결제 키가 함께 들어 있으면 에이전트가 닿을 수 있는 범위가 바로 사고 범위가 됩니다. 외부 도구를 사용한다면 격리 방식과 아웃바운드 연결, 로그 보존 범위도 제품 구성의 일부로 봐야겠죠.
처음부터 큰 보안 체계를 만들 필요는 없습니다. 평가용 키와 운영 키를 나누고, 에이전트가 접속할 호스트를 필요한 곳으로 제한하고, 배포·결제·외부 발송에는 별도 승인을 두는 정도로 시작할 수 있습니다. 모델이 “멈췄다”고 말한 뒤에도 실행 환경 밖의 기록으로 확인할 수 있어야 합니다.
아직 공개되지 않은 것
피해 기업 세 곳의 이름과 실제 피해 범위는 공개되지 않았습니다. Irregular도 어떤 설정이 잘못됐고 이후 무엇을 바꿨는지 설명하지 않았습니다. 현재 공개된 정보만으로는 네 사건이 같은 원인에서 시작됐다는 것까지 알 수 있고, 그 원인이 제거됐는지는 확인할 수 없습니다.
이 사건은 AI가 통제를 벗어났다는 주장에도, 단순한 설정 실수였다는 주장에도 이용되고 있습니다. 하지만 제품을 만드는 사람에게 필요한 정보는 조금 다릅니다. 모델의 능력을 논하기 전에 그 모델이 실제로 사용할 수 있는 권한과 외부 연결을 확인해야 합니다. 이번에는 그 기본적인 경계가 네 회사에서 동시에 열려 있었습니다.
오늘의 다른 소식 (한 줄)
- 앤스로픽이 IPO를 앞두고 신모델 출시를 검토합니다: 안전성 평가와 투자 규모, 수익성을 함께 검토하고 있습니다. Reuters
- 트럼프가
AI Force창설을 예고했습니다: AI 안전 논의를 비판하며 새 AI 차르도 발표하겠다고 밝혔습니다. TechCrunch - Vals가 a16z 주도로 4,000만 달러를 유치했습니다: 법률·금융·코딩 실무 작업으로 모델을 평가하는 회사입니다. TechCrunch