DAPPOS, Cross-Encoder Reranking이 필요한 이유 5/10

검색 엔진에서 위에 나온 자료가 항상 최종 답변에 가장 중요한 자료인 것은 아님.

검색 단계에서는 관련 있어 보였지만 질문을 자세히 보면 다른 자료가 더 직접적인 근거일 수도 있음.

DAPPOS는 Hybrid Retriever로 가져온 결과들을 정리한 뒤 Cross-Encoder를 이용해 relevance 기준으로 다시 reranking한다고 설명합니다.

흐름을 단순화하면

1차 검색
↓
후보 자료 확보
↓
질문과 자료를 다시 비교
↓
중요도 재정렬

임.

즉 Retrieval에서 끝나는 것이 아니라 검색된 자료를 다시 심사하는 단계가 하나 더 존재하는 것임.

좋은 AI 검색 시스템은 자료를 많이 찾는 것보다 찾은 자료 중 무엇을 위에 놓느냐도 중요함.