Inferact는 vLLM이라는 엔진을 만드는 팀인데, GPU 메모리를 효율화해 여러 요청을 빠르게 처리할 수 있게 해주는 데에 초점이 맞춰져 있습니다. 설립 멤버 중 한국분(권우석님)이 계시네요..
https://x.com/a16z/status/2014387286788698122?s=20
Inferact는 vLLM이라는 엔진을 만드는 팀인데, GPU 메모리를 효율화해 여러 요청을 빠르게 처리할 수 있게 해주는 데에 초점이 맞춰져 있습니다. 설립 멤버 중 한국분(권우석님)이 계시네요..
https://x.com/a16z/status/2014387286788698122?s=20