Liquid AI가 공개한 오픈 모델 LFM2.5-24B-A2B.

전체 24B 중 한 번에 2.45B만 계산하는 구조라, M5 Max 맥에서 초당 184토큰이 나오고 메모리는 15GB를 씁니다.

llama.cpp 명령 세 줄이면 내 컴퓨터에서 서버로 띄울 수 있습니다.
상업적 무료 사용은 연매출 1천만 달러 미만 조건입니다.

모델 카드: huggingface.co/LiquidAI/LFM2.5-24B-A2B