整合雲端甲骨文免費主機（Sub2API）、商業模型配額控管與家中顯卡穿透連線，打造專屬於 SaaS 系統與團隊的永續高彈性 AI 基礎設施。
這是一座私有 AI 算力中繼池（AI Gateway & Quota Pool）。它把昂貴的商業付費模型（Claude、OpenAI）、24 小時免費運行的雲端微型模型（Qwen 1.5B），以及你家中或辦公室電腦開機時釋放的強大顯卡算力（7B～14B 模型），全部匯流到同一個 OpenAI 相容標準介面下。
把 Claude 或 OpenAI 帳號掛在後台，你可以單獨發行一組金鑰給
opcosv2
或朋友，設定只給 100 萬字元（Token）額度。用完自動切斷，完全不用擔心信用卡被無限刷爆。
家裡的電腦有獨立顯卡，平時閒置太可惜。開機啟動 Ollama 並掛上安全隧道，平台自動感應並納入算力池，把重度運算引導至家中顯卡；關機時自動退出，無縫切回雲端。
輕量工作（逐字稿斷句、提取待辦、整理標籤）直接丟給甲骨文內建 1.5B 模型，零花費；複雜商務決策才喚醒 Claude。即使本機電腦關機，甲骨文主機也能自動備援，服務永不中斷。
如果你覺得各種伺服器、網關與顯卡聽起來抽象，可以用智慧社區水電站來理解這套系統：
水質最好、口感最佳，但每立方公尺水費極為昂貴。適合招待重要貴賓或烹調精緻料理（深度商務決策、關鍵分析）。
24 小時不斷水、完全免費，雖然水壓小、容量有限，但日常洗手、沖水、澆花（整理逐字稿、提取代辦、分類）足夠應付。
只要開動抽水馬達（開機連線），出水量充沛、乾淨且完全免費（7B～14B 中大型模型）。出門時關閉電源，馬達即刻休息。
整棟社區的水喉總管。負責檢查用水戶的許可，井水馬達有開就優先抽井水，沒開就切水塔，特殊大單才打開自來水開關。
水管接得越多只會水壓變小，但顯卡推論有嚴格的顯存（VRAM）與並發（Concurrency）上限。如果同時有 10 個人向本機顯卡發送請求，顯卡無法像自來水管一樣無限分流，必須排隊等待。因此雲端網關需要設置排隊逾時機制，避免單一請求卡住整個通道。
下圖呈現三層結構：左側為消費者層（SaaS 與外部使用者），中間為雲端中繼核心（甲骨文 Sub2API 網關），右側為三階算力池。
客戶端發送標準 OpenAI 格式請求至 /v1/chat/completions。Sub2API 透過金鑰查表，瞬間判定該金鑰的可用點數與所屬群組。
網關評估任務類型：若為常規摘要且家中顯卡在線，優先指派至家裡顯卡；若家中電腦已關機，無縫降級交由甲骨文內建 1.5B 處理。
運算完成後，網關按實際產生的 Token 數扣除該金鑰配額，並寫入營運日誌，管理員在後台一覽無遺。
我們以一個具體業務場景為例：會員在 opcosv2 錄製了一段 3 分鐘語音，要求「整理成條列重點與待辦事項」。系統在不同時間點會經歷兩條路徑：
sk-opcos... 發送逐字稿內容，指定模型 qwen2.5。
opcosv2 收到高品質會議記錄。
172.17.0.1:11434）。
opcosv2 使用者順利拿到重點清單，完全無感背後伺服器的自動調度。
402 Insufficient Balance，任何請求都進不去 Claude，主帳號固若金湯。
為了防止把這套架構過度外推到不合適的場景，我們必須嚴肅列出它的物理限制與適用邊界：
一般消費級電腦（RTX 4070/4080: 12～16GB VRAM，或 Mac 16～32GB 記憶體），最合適的模型規模是 7B 至 14B 量化版。若想強行跑 70B 巨大模型，會發生記憶體溢出（OOM）或推論速度暴降至每秒 1～2 字元，失去實用價值。
家中顯卡透過隧道傳輸，如果家中寬頻的上傳速度不足或正在下載大檔案，字元串流（Streaming）可能會出現 100～300 毫秒的延遲抖動。這套架構適合內部工具、後台批次與筆記助理，不適合作為高頻即時對話或大型公開流量產品。
輕量開源模型（如 1.5B）雖然標稱支援 32k 上下文，但實際在超過 8k～16k 字元時，對事實細節的檢索能力會顯著下降。百頁合約審查或全系統代碼重構，依然必須路由給 Claude 3.5 Sonnet。
Mac 與 Windows 系統預設在閒置數十分鐘後會進入「系統睡眠（System Sleep）」。一旦休眠，網路晶片會斷電，隧道即刻中斷。若想讓本機顯卡穩定待命，電腦必須在設定中勾選「只關閉螢幕、不讓電腦進入睡眠」。
在裝有顯卡的本機電腦（Mac 或 PC），只需透過終端機執行兩行指令，即可打通安全隧道：
# 1. 本機啟動 Ollama 並監聽連接埠 ollama serve # 2. 另開視窗，使用 Cloudflare 免費建立快速隧道（免登入即可測試） cloudflared tunnel --url http://localhost:11434 # 終端機將印出專屬安全網址，例如： # https://brave-whale-alpha.trycloudflare.com # 將此網址填入 Sub2API 後台即完成串接！
登入已經繁體化的 Sub2API 管理後台（https://support.startkiter.dev/admin/channels）：
local-gpu-station（本機顯卡工作站）。https://brave-whale-alpha.trycloudflare.com/v1。ollama），並將支援模型勾選為 qwen2.5:7b 或 qwen2.5:14b。
在 opcosv2 的環境變數 .env.local 與 AI 模組中，直接沿用官方標準 OpenAI SDK：
// packages/ai/index.ts
import { createOpenAI } from "@ai-sdk/openai";
// 宣告指向甲骨文 Sub2API 私有網關
export const privateGateway = createOpenAI({
baseURL: process.env.PRIVATE_AI_BASE_URL || "https://support.startkiter.dev/v1",
apiKey: process.env.PRIVATE_AI_API_KEY || "sk-4b6d955bf00de529addc993f93442df06353b7bac5e9d3d7ef6720bec6619cda",
});
// 定義輕量記憶整理模型
export const memoryAssistantModel = privateGateway("qwen2.5:1.5b");
// 呼叫範例：整理逐字稿
// const result = await generateText({
// model: memoryAssistantModel,
// prompt: "請將以下語音逐字稿整理為 3 點會議結論與待辦事項：...",
// });