DAPPOS, Deduplication이 필요한 이유 4/10

뉴스 검색을 하다 보면 여러 사이트가 사실상 같은 내용을 반복해서 올리는 경우가 많음.

AI 입장에서는 이걸 그대로 넣으면 문제가 생길 수 있음.

같은 주장 10개가 복제돼 있다는 이유만으로 마치 서로 다른 10개의 근거가 있는 것처럼 보일 수 있기 때문임.

DAPPOS의 공식 기술 설명에서는 Contextual RAG가 검색 결과를 처리하면서 redundant results를 deduplicate하는 단계를 거친다고 설명합니다.

쉽게 말하면

기사 10개 = 근거 10개

라고 단순 계산하지 않는 것임.

중복된 정보를 걷어내야 실제로 서로 다른 근거가 얼마나 존재하는지 더 명확하게 볼 수 있음.

특히 루머가 빠르게 복제되는 Web3에서는 꽤 중요한 과정임.