Police recently filed for an arrest warrant against a YouTuber on charges of spreading false information after broadcasting AI-generated voice recordings and manipulated messenger conversations.
경찰은 최근 AI로 조작한 녹음 및 메신저 대화 내용을 방송한 한 유튜버에 허위사실 유포 혐의로 구속영장을 청구했다.
Kim Se-ui, head of the YouTube channel Garo Sero Institute, released an audio recording purported to be of the late actor Kim Sae-ron in May last year. He claimed it had been provided by her bereaved family and that it was evidence she had been in a relationship with actor Kim Soo-hyun since her middle school years. However, police concluded that the recording was fake and generated using artificial intelligence.
유튜브 채널 가세연을 운영하고 있는 김세의는 작년 5월 배우 고 김새론의 육성 녹음이라고 알려진 녹취록을 공개했다. 배우의 유족들이 제공한 녹음본이며 이것이 그녀가 중학교 시절부터 배우 김수현과 교제했다는 증거라는 주장을 펼쳤다. 그러나 경찰은 그 녹음파일이 조작된 것이며 인공지능을 이용해 만들어진 것이라는 결론을 내렸다.
According to reports, the arrest warrant states that the screenshots of KakaoTalk conversations presented by the YouTube channel as messages exchanged between Kim Sae-ron and Kim Soo-hyun in 2016, when she was a middle school student, had likewise been manipulated: Although the other party’s name originally appeared as “Unknown” in the messages, it had allegedly been changed to “Kim Soo-hyun.”
보도에 따르면 체포영장은 해당 유튜브 채널에서 2016년 당시 중학생이었던 김새론과 김수현이 교환한 메시지라고 제시한 카카오톡 대화내용 캡처 이미지 또한 조작된 것이라고 적시했다. 메시지 원본에서는 대화 상대가 "알 수 없음"으로 표시되어 있었으나 이를 "김수현"으로 변경했다는 것이다.
Kim Soo-hyun suffered extensive damage after Kim Se-ui raised these allegations. It is reported that his financial losses amount to tens of billions of won, as multiple advertising contracts and drama productions were canceled, leading to penalty claims and lawsuits for damages. He was also forced to endure public moral criticism over allegations that he had dated a minor, and his acting career was, for all practical purposes, over.
김세의가 제기한 이러한 주장들로 김수현은 큰 타격을 입었다. 다수의 광고 계약 및 드라마 제작 취소는 위약금 청구 그리고 손해배상 소송으로 이어졌고 이에 따른 경제적 손실은 수백억원대에 달하는 것으로 알려졌다. 미성년자와 교제했다는 혐의로 여론의 도덕적 비난을 감내해야 했고 배우로서의 생명은 사실상 끝난 것과 다름없었다.
Although a final court ruling has yet to be made, if the AI fabrication is confirmed through the trial, severe punishment will be necessary to serve as a warning about evidence manipulation using advanced technology. Because he is an actor whose public image is of critical importance, the harm he suffered was likely particularly severe. However, evidence manipulation using AI is a threat that could affect any member of the public.
법원의 최종판결은 아직 내려지지 않았으나 재판을 통해 AI 조작이 확인되면 첨단 기술을 이용한 증거 조작에 대한 경고 차원에서 엄중한 처벌이 내려져야 할 것이다. 대중에의 이미지가 매우 중요한 배우이기에 그가 입은 피해는 더욱 심각했을 것이다. 그러나 AI를 이용한 증거 조작은 누구에게나 영향을 줄 수 있는 위협이다.
In this case, police are said to have been able to determine whether the recordings were manipulated by analyzing the voice data in the audio files. This may have been possible because the material had been broadcast since March of last year. Had the evidence been manipulated using today’s AI technology, it might not have been so easy to detect.
이번 사건에 있어 경찰은 녹음 파일의 목소리 데이터 분석을 통해 녹음이 조작되었다는 것을 판단할 수 있었다고 한다. 해당 자료가 작년 3월부터 방송되었기 때문에 가능했을 수도 있다. 증거가 지금의 AI 기술을 사용해 조작되었다면 발견이 쉽지 않았을 수도 있다.
Evidence fabrication using AI had already appeared even before this case, creating confusion in both investigations and trials.
AI를 사용한 증거 조작은 이 사건 전에도 있었고 수사와 재판 모두에 혼란을 초래했다.
Last year, a man in his 20s who committed investment fraud by forging documents with AI image-generation tools managed to avoid detention after submitting a fake bank balance certificate to a judge, but was later taken into custody once the certificate was found to be falsified.
작년 한 20대 남성은 AI 이미지 생성 도구를 이용해 문서를 조작해 투자사기를 저질렀고 법원에 위조된 잔고증명서를 제출해 구속을 피했으나 추후 증명서가 가짜라는 사실이 밝혀지면서 구속되었다.
AI-generated fake content about celebrities is often seized upon by “cyber wreckers” who spread sensational rumors to boost their subscriber counts, resulting in damage that rapidly snowballs for the celebrities concerned.
AI로 만든 유명인에 관한 가짜 컨텐츠는 종종 구독자 수를 늘리기 위해 자극적인 루머를 퍼뜨리는 "사이버 렉카"에 입수되어 해당 유명인에게 겉잡을 수 없이 커지는 피해를 낳는다.
As AI technology advances, people become more likely to accept fake content as real, and once someone is stigmatized, it is difficult to remove that label — no matter how strongly the victim asserts their innocence.
AI 기술이 발전함에 따라 가짜 컨텐츠는 사실로 받아들여질 확률이 높아진다. 그리고 한번 오명이 씌워지면 아무리 피해자가 무고를 주장한다고 해도 그 낙인을 없애기는 어렵다.
Furthermore, AI is making rapid progress not only in text and voice generation, but also in image and video production and processing. It is getting harder and harder to verify the authenticity of content, be it text, voice, images, or video, as AI manipulation becomes more sophisticated.
더욱이 AI는 글이나 목소리를 만들어내는 것 뿐 아니라 이미지와 영상 생성 및 처리에 있어서도 빠르게 발전하고 있다. AI 조작이 더욱 정교해짐에 따라 글, 목소리, 이미지, 비디오 등 종류에 상관없이 컨텐츠의 진위를 파악하는 것이 한층 더 어려워지고 있다.
AI is driving a paradigm shift across almost every sector of society. The criminal justice system is no exception.
AI는 사회 거의 모든 분야에 걸쳐 패러다임의 변화를 주도하고 있다. 형사법 체계도 예외는 아니다.
Investigative authorities must ensure experts are trained to detect AI-based manipulation of evidence and the relevant supporting infrastructure. In addition, changes in trial procedures are needed to strengthen the verification of evidence reliability.
수사당국은 AI에 기반한 증거 조작을 포착해낼 수 있는 전문가를 양성하고 관련된 지원 인프라를 확보해야 한다. 또한 증거 신뢰성 검증을 강화하기 위한 재판절차의 변화도 필요하다.
Above all, AI-based manipulation of evidence should be regarded as a grave obstruction of justice, and those who manipulate or maliciously disseminate it must be held strictly accountable.
무엇보다 AI 기반 증거 조작은 심각한 사법방해죄로 다루어져야 할 것이며 조작 혹은 악의적으로 이를 전파한 이들은 엄격하게 그 책임을 물어야 한다.
purported ~라고 알려진
bereaved family 유족
stigmatize 오명을 씌우다
disseminate 퍼뜨리다
khnews@heraldcorp.com
