아마 테크에 관심이 있는 사람이라면 한 번쯤은 들었을 기술일 것이라고 생각합니다.
RAG(검색증강생성)는 LLM이 답변을 생성하기 전에 데이터베이스에서 관련 정보를 검색하여 활용하도록 하는 기술입니다.
즉, 문서 데이터에서 단순 검색하여 검색 결과를 가지고 답변을 생성하는 것입니다.
이 과정에서 어떤 것을 검색할지는 벡터로 변환한 유사도를 기반으로 제공합니다.
하지만, GraphRAG의 경우에는 지식 그래프를 구축해 관계를 따라가며 찾습니다. 또한, 거시적인 맥락을 파악하여 답변을 제공합니다.
유사도 기반의 RAG 기술은 유사도가 떨어지지만, 관계가 있는 정보가 있다면 연결해내지 못합니다.
하지만, GraphRAG 기술은 유사도가 떨어져도, 관계가 있는지를 파악해서 연결해두기 때문에 추후 데이터를 활용할 때 더 넓게 유의미한 것들을 다룰 수 있게 됩니다.
GraphRAG는 정보를 저장할 때, 이미 있는 정보들간의 관계를 구축하고 - 추후 정보를 꺼내서 사용할 때에 그 관계를 기반으로 정보를 제공하는 것입니다.
즉, 정보 저장의 체계화 구조를 만드는 것입니다. (정보가 들어오면, AI가 검토해서 내용이 관련성이 있는 것들과 자연스럽게 연결시키고, 다른 요소들과 중간에 있는 요소를 생성해서 연결시킴, 추후 정보가 필요할 때는 연결되어 있는 것들을 다 검토하고 검색엔진에서 검색하여 정보를 추가하여 더 질 좋은 결과를 제공함.)
마치, 나무위키에서 '백종원'을 검색하면 태그(상위범주)에 '요리사', '방송인', '기업인'이 나오는 것과 같고 관련 인물에 '안성재'와 같은 사람이 나오는 것이죠. 하위 범주로는 '더본코리아'와 같은 내용이 나올 것이구요.
즉, AI가 활용할 수 있는 데이터베이스의 구조화와 데이터 연결에서 사용되는 기술이며, 이러한 구조는 개인들에게도 적용되어 더 높은 지식 저장의 데이터베이스(메모)가 될 수 있습니다.
몇몇 분들은 이미 개인이 굳이 기억하지 않아도 되는 '세컨드브레인'이라는 것에 관심을 크게 가지고 있는 것으로 아는데, 세컨드브레인이 실제 가능해지려면 GraphRAG 기술은 필수적이라고 생각합니다.
또한, 정보를 수집하는 것의 범위를 광범위하게 시각적 데이터, 청각적 데이터 등...을 통합하여 하나의 정보로 구축하고 다루려면 그 광대한 정보를 다루기 위한 GraphRAG 기술이 무조건적으로 필요해집니다. 저는 이러한 기술이 기반이 되어서, 스마트글래스와 같은 웨어러블 기기들이 수집하는 정보를 AI를 활용한 GraphRAG DB가 정보들을 관리하고, 나무위키처럼 각 항목별로 연결을 시켜 구축하고, 추후 사용자가 요청할 때 AI가 해당 DB에서 연결되어 있는 정보들을 기반으로 더 높은 결과를 제공할 수 있을 것이라고 생각합니다. 또한, 이러한 기술이 개인화된 지적 구조 및 AI를 구축하는 데에 필수적이라고 생각하고 있습니다.
개인적인 생각이지만, 이러한 과정에서 엄청난 비용이 드는 것은 사실입니다. 하지만, 계속해서 기술이 발전하며 비용이 절감되고 있는 상황입니다.
그래픽카드가 급등했고, 램이 현재 급등한 상태입니다. 추후, 막대한 양의 데이터를 효율적으로 관리할 수 있는 시대가 온다면 그때는 데이터를 저장할 수 있는 저장공간이 문제가 되는 시기가 오지 않을까?라고 생각하고 있습니다. 다음 타자는 SSD와 같은 저장공간 수요가 폭발하지 않을까...라고 조심스럽게 예측하고 있습니다.