📌[테크뉴스] ES..QL? 엘라스틱 서치 8.18에 Join 기능 추가

안녕하세요. BQ개발자입니다.

오늘은 Elasticsearch 8.18 버전이 추가되면서 재밌는 기능이 나왔는데요. 이 새로운 기능이 무엇인지 궁금해서 정리해봤어요.

요약하면 Elasticsearch 8.18 버전에 ES|QL의 LOOKUP JOIN 명령이 기술 프리뷰로 추가되다고 합니다.

처음에 저는 "ES|QL? 이 무슨 잡종이야..."라는 생각이 들었습니다.
또 "검색 엔진인 Elasticsearch가 왜 SQL JOIN 같은 기능을 구현하는 걸까?" 하는 의문도 들었죠.

ES|QL은 Elasticsearch Query Language의 약자로, Elasticsearch의 JSON DSL과 SQL의 하이브리드 성격을 가진 쿼리 언어입니다.

Elastic이 이런 방향으로 간 이유는 실용적인 목적일 것 같아요. JSON DSL은 강력하지만 학습 곡선이 가파르고, 대부분의 데이터 분석가들은 이미 SQL에 능숙하기 때문이죠.

근데 이것도 사실 이제 GPT가 다해주긴 하는데.. 흠

LOOKUP JOIN은 LEFT OUTER JOIN 방식으로 동작하며, 'lookup'이라는 새로운 인덱스 모드를 사용합니다.

✔️주요 특징은 다음과 같아요:

기존 enrich 방식과 달리 정책 생성이나 실행 없이 참조 데이터를 바로 업데이트할 수 있음.

복잡한 정책 관리 없이 간단히 사용할 수 있어 개발 및 운영 부담이 줄어들어듬

이는 특히 집계나 그룹화 분석 시 SQL과 유사한 동작 방식을 제공

이 기능이 의미하는 바는 크게 두 가지라고 생각합니다.

첫째, Elasticsearch가 단순한 검색 엔진을 넘어 데이터 분석 플랫폼으로 진화하고 있다는 것이에요.
둘째, 개발자와 데이터 엔지니어가 ETL 파이프라인을 단순화할 수 있는 가능성이 생겼습니다.

예를 들어, 보안 이벤트 로그와 자산 데이터를 따로 보관하면서도 실시간으로 JOIN해 분석할 수 있게 되었어요.

다만 lookup 인덱스는 단일 샤드로 제한되어 최대 2십억 문서까지만 지원하는 등 실제 관계형 DB의 JOIN과는 차이가 있습니다.
이는 분산 환경에서 JOIN 연산의 복잡성을 관리하기 위한 타협점으로 보이네요.

Elasticsearch가 점점 더 다양한 데이터 처리 기능을 갖추면서 검색 엔진의 경계를 넘어서고 있는 것 같습니다.

이제 시작인 이런 변화가 앞으로의 데이터 파이프라인 구성에 어떤 영향을 줄지 궁금하네요.

---

여러분의 좋아요와 공유는 사랑입니다 😍