대부분의 RAG는 문서를 500~1000 토큰 정도의 Chunk 로 잘라 벡터 DB 에 저장합니다. 지금까지는 이게 거의 표준처럼 사용되어 왔습니다.
그런데 최근에는 문제를 검색 (Retrieval) 이 아니라 데이터 구조에서 찾는 접근이 늘어나고 있습니다.
Chunk 는 결국 토큰 길이에 맞춰 잘라 놓은 텍스트 덩어리일 뿐이라 문장이 중간에서 끊기거나, 표가 잘리거나, 같은 내용의 여러 버전이 동시에 검색되는 문제가 자주 발생합니다.
그래서 최근에는 문서를 그대로 저장하지 않고 AI 가 먼저 내용을 읽어 '질문 → 검증된 답변 → 메타데이터' 형태의 원자 단위 지식 (Atomic Knowledge) 으로 증류한 뒤 저장하는 방식이 주목받고 있습니다.
예를 들면
Q. RTX5090 의 VRAM 은?
A. 32GB GDDR7
처럼 하나의 사실만 하나의 객체로 관리하는 방식입니다.
이렇게 저장하면 검색도 질문과 질문이 직접 매칭되고, 중복 문서는 하나로 합쳐지며, 버전·권한·출처 같은 메타데이터도 각 지식 블록 단위로 관리할 수 있습니다.
사실 새로운 개념이라기보다는 최근 고성능 RAG 들이 공통적으로 발전하는 방향에 가깝습니다. 검색 알고리즘이나 임베딩 모델만 계속 바꾸는 것보다 데이터를 어떻게 증류해서 저장할 것인가가 성능에 더 큰 영향을 주는 경우가 많다는 이야기입니다.
저도 RAG 를 이것저것 만들어 보면서 느낀 점인데, 결국 검색 품질은 모델보다 데이터가 더 많이 결정하는 경우가 많았습니다. 앞으로는 문서를 그대로 벡터화하는 방식보다, AI 가 먼저 지식을 정제한 뒤 저장하는 구조가 점점 기본이 될 것 같습니다.