최신 모델들로 실험하지는 않았지만, Gemma-3, GPT-2 모델에서는 프롬프트와 결과값 임베딩에 전혀 충돌을 보이지 않았다고 합니다. 이말인 즉슨 모델이 결과값을 내는 과정에서 프롬프트를 압축하거나 추상화하지 않음을 의미합니다. (그리고 이건 기존의 컨센과 매우 반대되는 결과입니다)
이는 LLM 연산 결과값을 통해 정확한 입력값을 추출할 수 있다는 말로, 다양한 프라이버시 / 컴플라이언스 문제가 모델 수준에서 발생할 수 있음을 뜻합니다. 예전에 단순한 비전 모델 등에서 입력값을 뽑아내는 data extraction attack이라는게 있었는데, LLM에는 더 강력한 공격벡터가 나왔네요.
입력값을 추출한다고 하더라도 직접적으로 식별하기 어렵게 보호하는 방식이 의무화되지 않을까 하는 생각이 먼저 들고, AI로 생성된 결과물을 보다 쉽게 탐지하게 될 수 있지 않을까 하는 생각도 드는데, 저는 전문가가 아닌지라 AI 박사님들이 잘 설명해주시지 않을까 싶네요.
https://x.com/GladiaLab/status/1982818213206315120