문장을 벡터(임베딩)로 변환해 의미 기반 검색과 유사도 비교, 재순위를 가능하게 하는 프레임워크
• 텍스트 의미 유사도 계산과 검색 시스템 구축에 필요한 임베딩 계산·학습 로직을 매번 새로 만들 필요 없이 제공
• Sentence Transformer 모델로 임베딩 계산, Cross-Encoder(리랭커)로 유사도 점수 산출, Sparse Encoder로 희소 임베딩 생성까지 세 가지 접근 지원
• 임베딩 생성과 재순위(reranking)를 하나의 프레임워크에서 함께 처리한다는 점이 특징
• 검색, 질의응답, 문서 유사도 분석, RAG 파이프라인 구축 등에 활용
https://github.com/huggingface/sentence-transformers
AI의 최신 흐름과 다양한 큐레이션 된 정보를 제공합니다.
__Good Vibe AI