일본에서 생성형 인공지능(AI) 기술을 이용해 기시다 후미오 등 전·현직 일본 총리의 목소리를 모방한 가짜 오디오 클립을 만드는 앱이 인터넷에 공개돼 파문이 일고 있다.

22일 요미우리신문에 따르면 이 앱은 스마트폰 및 기타 기기에서 무료로 사용할 수 있다. 사용자가 기시다, 아베, 또는 스가의 사진이 표시된 앱 화면에 문장을 입력하면 텍스트는 자동으로 세 명 중 하나를 모방하는 음성에 의해 읽힌다. 이 앱의 URL은 소셜 미디어 및 기타 사이트에서 공유되며, 스마트폰, 컴퓨터 및 기타 기기에서 접속할 수 있다.

이 앱의 URL은 소셜미디어 등에서 확산되고 있다. 스마트폰 외에도 PC 등으로 접속하면 바로 사용할 수 있다. 실제로 X(옛 트위터)에는 이 앱으로 만든 것으로 보이는 ‘가짜 발언’이 게시됐다. 아베는 이 ‘가짜 발언’에서 “딥스테이트 포위망 구축에 대해 푸틴 대통령과 위기감 공유” 등의 허위 발언을 한다.

요미우리에 따르면 문제의 앱은 일본 중부 효고현에 살고 있는 한 남성(25)이 개발한 것이다. 아베, 스가 및 기시다의 음성을 온라인 연설 및 기타 자료의 온라인 비디오에서 학습시켜 앱을 만들었다고 한다.

이 남성은 지난해 가을부터 아베, 스가, 기시다 총리의 가짜 음성을 사용해 동영상을 제작하고 정기적으로 게시해왔다. 그는 앱을 만든 이유에 대해 "나는 다른 사람들이 정치인 및 기타 사람들을 풍자하고 그들을 비웃을 수 있도록 하고 싶었다"고 했다.

이달 초에는 기시다가 저속한 발언을 하는 것처럼 보이는 가짜 비디오가 X에 게시되었습니다. ‘Nippon Television Network Corp.’ 로고가 붙은 이 가짜 비디오는 SNS을 통해 확산됐다. 이 비디오는 오사카에 사는 25세 남성이 만든 것이다.

소셜미디어 전문가인 야마구치 신이치 일본 국제대학교 교수는 생성형 AI의 급속한 확산으로 누구나 전문 지식이나 상당한 자본 없이도 가짜 비디오를 만들 수 있게 되면서 딥페이크(deepfake·인공지능을 이용해 특정인의 얼굴 등을 다른 화면에 덧입히는 기술)가 점점 더 인기를 얻고 있다고 말했다.

올해 조사에서 야마구치 교수와 그의 연구팀은 온라인에서 확산된 정치에 관한 여섯 가지 거짓이나 오도된 정보를 나열하고 사람들에게 그들이 보거나 들은 정보가 진실인지 거짓인지를 물었다.

각 정보가 노출된 횟수를 기준으로 가중 평균으로 계산할 때 2,018명의 응답자 중 단지 13%만이 ‘정보가 거짓이라고 생각했다’고 대답했다.

야마구치 교수는 "정치인의 가짜 비디오와 가짜 목소리가 선거, 주식 가격 및 재해와 같은 일들에 대한 혼란을 일으킬 수 있다는 것을 상상하기는 쉽다"며 "또 다른 위협은 이러한 가짜 비디오와 오디오가 소셜 미디어를 통해 국경을 넘어 세계로 퍼져 국제적인 문제로 사용될 수 있다는 것"이라고 했다.

그는 “AI로 생성된 비디오와 오디오가 게시될 때 명확히 AI로 생성된 것임을 표시하도록 하고 AI로 생성된 비디오와 오디오를 감지할 수 있는 기술을 적극적으로 도입하는 것과 같은 더 강력한 대책이 필요하다"고 강조했다.

이와 관련 마쓰노 히로카즈 관방장관은 지난 6일 기자회견에서 "정부의 정보를 거짓으로 발신하는 것은 경우에 따라서는 민주주의의 기반을 훼손시킬 수도 있기 때문에 행해져서는 안 된다"며 "AI 전략협의회의에서 국제 논의와 토의를 기반으로 필요한 조치를 채택하기 위해 관련 부처 및 기관과 협력할 것"이라고 했다.

양연희 기자 takahee@hanmail.net