가짜를 찾는 대신 진짜를 증명한다

6일차에 AI 기본법을 정리하면서 "AI가 만든 건 표시해야 한다"는 의무를 다뤘습니다. 그때는 제도 얘기였는데, 그 표시를 실제로 어떻게 구현하는지가 궁금해졌습니다.

찾아보니 업계가 두 갈래로 접근하고 있더군요. 그리고 그 둘의 발상이 정반대라는 게 흥미로웠습니다.

두 가지 접근

워터마크 방식은 AI 생성물에 사람이 알아챌 수 없는 신호를 심어둡니다. 이미지라면 픽셀 패턴에, 텍스트라면 단어 선택 확률 분포에 흔적을 남기는 식입니다. 탐지 도구를 돌려야 확인되고요.

구글은 SynthID로 제미나이가 만든 텍스트·이미지·영상에 적용하고 있고, 누적 1,000억 개 이상의 이미지와 영상에 워터마크를 넣었다고 밝혔습니다. 앤트로픽도 EU AI법 투명성 의무에 대응해 클로드 모델에 기계 판독용 텍스트 워터마크를 적용하기 시작했습니다. 제3자가 확인할 수 있는 탐지 도구와 기술 문서도 공개할 계획이라고 하고요.

텍스트 워터마크가 기술적으로 더 까다롭습니다. 이미지는 사람 눈에 안 보이는 미세한 변화를 줄 여지가 크지만, 텍스트는 단어 하나만 바꿔도 의미가 달라질 수 있으니까요. 그래서 토큰 선택 확률에 편향을 주는 방식을 쓰는데, 문장이 짧으면 신호가 묻힙니다.

**출처 증명 방식(C2PA)**은 반대로 갑니다. "AI가 만들었다"를 표시하는 게 아니라 "누가 언제 어떻게 만들었는지"를 암호 서명으로 기록합니다. 어도비, 마이크로소프트, 오픈AI, BBC 등이 참여하는 표준이고, 촬영·편집 이력이 메타데이터로 따라다니다가 변조되면 서명 검증이 깨집니다.

카메라에 들어간 게 신호다

C2PA에서 주목할 대목이 있습니다. 구글이 픽셀 10부터 기본 카메라 앱으로 찍은 사진에 C2PA 자격 증명을 넣기 시작했다는 것입니다. AI로 만든 것뿐 아니라 실제로 촬영한 것에도요.

이게 발상 전환의 지점이라고 봅니다. 지금까지는 "이게 가짜인지 찾아내자"였는데, 이제 "이게 진짜라는 걸 증명해두자"로 옮겨가는 거죠.

논리적으로 이쪽이 더 견고합니다. 가짜를 만드는 쪽은 표시를 지우면 그만이지만, 진짜를 증명하는 쪽은 증명이 있느냐 없느냐로 판별됩니다. 25일차 AI 저작권 글에서 "출처 증명이 자산이 됐다"는 얘기를 했는데, 콘텐츠 진위에서도 같은 흐름이 보입니다.

그런데 뚫린다

문제는 이 모든 게 생각보다 쉽게 무력화된다는 점입니다.

제거가 쉽습니다. 캡처하거나 재편집하면 메타데이터는 날아가고 워터마크도 상당수 손상됩니다. 심지어 깃허브에 SynthID 같은 비가시 워터마크, C2PA 메타데이터, 로고까지 제거하는 오픈소스 도구가 공개돼 있습니다.

적용 범위가 좁습니다. 규제를 따르는 대형 서비스만 표시를 붙입니다. 오픈 모델을 로컬에서 돌리거나 규제 밖 서비스를 쓰면 아무 표시도 없습니다. 실제로는 표시 없는 생성물이 훨씬 많습니다.

확인하지 않습니다. 이게 가장 근본적입니다. 표시가 있어도 사람들이 눌러서 확인하지 않으면 아무 소용이 없습니다. 기술 해법이 인간의 행동 패턴을 바꾸지는 못한다는 지적이 나오는 이유입니다.

역효과 가능성도 있습니다. "표시가 없으니 진짜겠지"라는 오해를 만들 수 있습니다. 표시 체계가 불완전한 상태에서는 오히려 판단을 흐릴 위험이 있습니다.

그래도 무의미하지는 않다

이렇게 정리하면 회의적으로 들리는데, 저는 방향 자체는 맞다고 봅니다.

완벽한 판별이 목표가 아니라 마찰을 늘리는 게 목표라고 보면 평가가 달라집니다. 워터마크를 지우려면 추가 작업이 필요하고, 그 과정에서 품질이 떨어지거나 흔적이 남습니다. 대량으로 자동화된 허위 콘텐츠를 만드는 비용이 조금이라도 올라가면 의미가 있습니다.

그리고 책임 추적에는 확실히 쓸모가 있습니다. 문제가 생겼을 때 "어디서 만들어졌는가"를 사후에 확인할 수 있는 것과 없는 것은 다릅니다.

서비스 만드는 입장에서

콘텐츠를 다루는 서비스라면 몇 가지가 실무로 내려옵니다.

메타데이터를 지우지 않기. 많은 서비스가 이미지 업로드 시 최적화 명목으로 메타데이터를 통째로 제거합니다. C2PA 정보도 같이 날아가죠. 앞으로는 출처 정보를 보존하고 표시하는 쪽으로 가는 게 맞습니다.

표시를 UI에 드러내기. 6일차에서 다룬 표시 의무는 결국 화면에 구현됩니다. 배지를 어떻게 보여줄지, 스크린리더에서도 읽히는지가 27일차 접근성 글과도 맞물립니다.

검증 결과를 단정적으로 쓰지 않기. 탐지 도구는 확률적입니다. "AI 생성물임"이라고 단정하는 UI는 오탐 시 문제가 커집니다.

정리

AI 생성물을 완벽히 구분하는 기술은 없고, 당분간 나오기도 어려울 것 같습니다. 흐름은 "가짜 찾기"에서 "진짜 증명하기"로 옮겨가는 중이고, 카메라 단계에서 증명을 시작한 게 그 신호입니다.

다만 기술이 어디까지 가든 마지막 판단은 사람 몫으로 남습니다. 출처가 불분명한 콘텐츠를 의심하는 습관이 결국 가장 확실한 방어선이라는 결론은, 좀 허무하지만 사실인 것 같습니다.