ai_inference

lm studio

ollama: 適用多使用者

上面兩者底層都是llama.cpp

jan: 有點像lm studio，但apache licence https://www.jan.ai/