進階型 AI 電腦
面向較大型模型、高效能本地推理及進階 AI 工作流，適合需要更高 VRAM、RAM 及長時間運算能力的專業用家。
這個方案是為誰而設？
進階型不是單純把 CPU 換成更高階，而是把整部電腦的 GPU VRAM、記憶體、散熱、電源及儲存都提升到適合長時間 AI 運算的級別。Qwen3 14B / 32B、DeepSeek-R1-Distill 14B / 32B 等量化模型是常見目標；至於 70B 級模型，則必須明確考慮量化、Offload、Context Cache 及多 GPU。
支援的 AI 模型與工具方向
以下列出的模型及工具是「適用方向」而非代表任何一個固定配置可以無限制高速運行所有項目。實際可用性取決於模型版本、量化格式、VRAM、Context、解析度及工作流。
模型 / 平台
- Qwen3 14B / 32B（量化）
- DeepSeek-R1-Distill 14B / 32B
- Llama 3.1 70B（量化 / Offload / 多 GPU）
- Ollama / vLLM
- 本地 Embedding / Reranker
常見工作
- 大型 Local LLM
- 進階 RAG / Agent
- AI Coding Agent
- 長 Context 工作流
- 模型量化與推理測試
- 高負載多工
適合人群
AI 開發者、研究人員、專業 Coding、企業內部 AI、需要較大型本地模型或長時間推理的用家。
建議硬件方向
如果目標是 32B 級量化模型，較高 VRAM 會直接改善可用性；如果目標是 70B，單卡 16GB / 24GB 並不能等同於「完整高速載入」。可能需要 4-bit 量化、CPU RAM Offload 或多 GPU，而實際效能會因軟件框架、Context 長度及量化格式而大幅變化。
配置邏輯
Ollama / vLLM → Quantized LLM → RAG / Tool Calling → Agent → 本地 API。若以 70B 為目標，HKAIPC 會先按實際模型、Context、tokens/s 目標及預算計算 VRAM，而不是只用「70B」作為硬件標籤。
模型容量與 VRAM：不要只看「幾 B」
模型大小 ≠ 實際所需顯存
模型參數量只是第一個指標。推理時還要考慮權重精度、量化格式、KV Cache、Context 長度、Batch Size、Framework 及其他 runtime 開銷。因此「14B / 32B / 70B」不能直接等同於一個固定 VRAM 數字。
量化與 Offload
4-bit、8-bit 等量化可以降低權重記憶體需求；CPU RAM Offload 則可以把部分資料放到系統記憶體，但通常會犧牲速度。多 GPU 亦需要從主機板 PCIe、電源及散熱整體規劃。
適合的實際工作流
| 工作流 | 建議方向 | 注意事項 |
|---|---|---|
| Local Chat | Ollama / LM Studio + 量化 LLM | VRAM 決定可載入模型的彈性；Context 越長，額外記憶體需求越高。 |
| RAG | Embedding + Vector DB + LLM | 資料庫規模、Embedding 模型及同時運行服務會增加 RAM / SSD 需求。 |
| AI Agent | LLM + Tool Calling + Browser / Files | 需要穩定長時間運行；Agent 工具本身未必是本地模型。 |
| 圖像 / 影片 | ComfyUI / Diffusion / Video Workflow | 解析度、模型、ControlNet、LoRA、幀數及 Upscale 都會影響 VRAM。 |
實際配機時，我們會看什麼？
① 先確認模型
先列出你真正會使用的模型、版本及量化格式，再估算權重、KV Cache、Context 與其他 Runtime 所需資源。這樣可以避免只按「8B、14B、32B」等參數量作錯誤判斷。
② 再確認工作流
同一張 GPU 用於 Local LLM、ComfyUI、AI Video、RAG 或 Agent，瓶頸可能完全不同。工作流會直接影響 VRAM、RAM、CPU、SSD、散熱及電源的比例。
③ 最後規劃升級
如果預計未來增加模型尺寸、加入 AI 圖像／影片、Fine-tuning 或 Agent，首次配置應預留 RAM、SSD、電源、機箱及 PCIe 擴充空間，避免短期內重新砌機。
直接告訴我們你想跑甚麼。
模型名稱 + 用途 + 預算，已經足夠作為第一次配機討論的起點。