如果你常在本機做 LLM 小工具，應該遇過這種尷尬：A 家免費額度快用完、B 家模型比較快、C 家今天突然 429。FreeLLMAPI 想解決的就是這件事：把多家免費 tier 的 API key 收進同一個自架代理，對外提供 OpenAI 相容的 /v1/chat/completions，讓你的 app 先不要被一個 provider 的限速卡死。
專案在 GitHub 上是 tashfeenahmed/freellmapi，官方網站在 FreeLLMAPI GitHub Pages。截至 2026-05-20 查詢 GitHub API，repo 約有 2,101 stars、296 forks、9 個 open issues；這類數字會變動，請以即時頁面為準。專案使用 TypeScript，授權為 MIT。
它實際上做什麼？
FreeLLMAPI 是一個 self-hosted、single-user 的 LLM gateway。你把 Google、Groq、Cerebras、SambaNova、NVIDIA、Mistral、OpenRouter、GitHub Models、Cohere、Cloudflare、Z.ai 等 provider 的 key 放進 dashboard，它會用 AES-256-GCM 加密後存在 SQLite，並用一組統一 API key 對外服務。
- OpenAI 相容 chat completions，支援 streaming 與 non-streaming。
- 支援
GET /v1/models、tool calling、model="auto"。 - 遇到 429、5xx 或 timeout 時自動 fallback，最多嘗試 20 次。
- 追蹤每把 key 的 RPM、RPD、TPM、TPD，盡量避開免費額度上限。
- 有 React/Vite dashboard、health check、analytics，官方也標榜 Raspberry Pi friendly。
適合誰？
我會把它定位成「個人實驗用的本機路由器」。例如你在寫 Telegram bot 原型、CLI 小助手、內部 demo，想用同一套 OpenAI SDK 測不同免費模型，FreeLLMAPI 會很省事。OpenRouter 也有自己的 model routing / fallback 機制；差別是 FreeLLMAPI 更偏向把你自己的多 provider key、quota ledger 與本機 dashboard 統一管理。
| 可以期待 | 不要期待 |
|---|---|
| 本機 OpenAI 相容端點 | 正式商用 SLA |
| 免費額度之間自動備援 | 無限、穩定、合法可轉售的流量 |
| chat completions 與工具呼叫 | embeddings、圖片、音訊、vision、多租戶計費 |
快速開始
官方建議 Node.js 20+。基本流程是 clone repo、安裝套件、複製 .env.example、產生 ENCRYPTION_KEY，再跑開發模式。Dashboard 預設在 localhost:5173，後端 proxy 在 :3001。
git clone https://github.com/tashfeenahmed/freellmapi.git
cd freellmapi
npm install
cp .env.example .env
npm run dev接著在 dashboard 加入 provider keys、調整 fallback chain，應用端則把 OpenAI SDK 的 base_url 指到 http://localhost:3001/v1，API key 使用 FreeLLMAPI 的 unified key。回應 header 也會帶 X-Routed-Via 與 X-Fallback-Attempts，方便你知道這次實際跑到哪裡。
幾個務實提醒：ToS、穩定性與安全
FreeLLMAPI 不是把免費 tier 變成付費級基礎建設的魔法棒；它只是幫你更聰明地使用你本來就有資格使用的額度。
官方明確寫給 personal experimentation / learning 使用，不建議公開到網際網路，也不適合多租戶服務。各 provider 的免費 tier 規則會變，可能限制一人一帳號、禁止轉售、禁止共享 endpoint，或不允許把免費額度當正式產品後端。這裡不是法律意見；真的要上線，請逐一讀 provider ToS，並在出貨前換成付費 API 或正式雲端方案。
另外，它目前不支援 embeddings、image generation、audio/speech、vision/multimodal input、legacy completions、moderation、n > 1 與多租戶 billing/auth。免費模型也不等於 frontier model；當比較強的免費額度耗盡，實際回答品質可能下降，延遲也會隨 provider 狀態波動。
結論
FreeLLMAPI 很適合「我想在本機用同一套 OpenAI 介面玩多家 LLM」的人：架起來不算重，概念清楚，fallback 與配額追蹤也實用。但它的最佳場景仍是個人、自架、低風險實驗。若你的產品需要穩定 SLA、法務可交代的使用條款與可預測成本，這套工具可以當原型期好幫手，不該是最後一哩的正式後端。