Ollama 使用教學：在自己電腦上跑本地 AI 模型入門

在自己的筆電上，跑一個不連雲端的 AI 模型

Ollama 解決的是一件很實際的事——『我想用大型語言模型，但不想把資料丟上別人的雲』。它把跑本地 LLM 這件原本很麻煩的事，簡化成幾行指令：裝好、ollama pull 下載模型、ollama run 開始對話，就這樣。底層是 llama.cpp，模型用 GGUF 格式，Mac 的 Metal、NVIDIA 的 CUDA、還有 Vulkan 現在都吃同一種檔案。我自己在 MacBook 上跑，比兩年前那套要編譯一堆東西的流程，輕鬆太多了。

Ollama 能做什麼

• 一行指令安裝，自動處理模型下載、GPU 偵測、API 服務
• ollama pull／ollama run 就能下載並開聊，CLI 為主
• 模型庫超過 100 種(Llama、Qwen、Gemma、DeepSeek 等)
• 內建 REST API，且相容 OpenAI 格式，方便接進自己的程式
• 用 Modelfile 自訂模型參數(像 LLM 版的 Dockerfile)
• 支援 Docker，資料全留在本機、不外流

怎麼開始用（步驟）

1. 到官網下載安裝 Ollama(macOS／Windows／Linux 都有)
2. 開終端機輸入 ollama pull qwen3:8b 下載一個模型(8B 量級適合一般筆電起步)
3. 輸入 ollama run qwen3:8b，等它載入後就能直接在終端機對話
4. 要接進程式就打開內建 API(預設 http://localhost:11434)，用 OpenAI 相容格式呼叫
5. 想客製化就寫一份 Modelfile，設定系統提示、溫度等參數再 ollama create

進階技巧

• 記憶體不夠就選量化版：Q4_K_M(4-bit)約省 75% 記憶體，7B 模型從 ~16GB 降到 ~4GB，品質掉很少
• 模型大小要配硬體：8GB 記憶體跑 3B～8B、16GB 以上才比較順跑 13B 以上
• 從 Hugging Face 抓的 GGUF 檔可以用 Modelfile 匯入，不限官方庫
• 要圖形介面可搭 LM Studio 或前端 UI，CLI 不順手的人友善很多
• 把 Ollama 的 OpenAI 相容端點接進你現有的程式，幾乎不用改 SDK

要注意的事

• 本地模型的能力通常比不上 GPT、Claude 這種頂規雲端模型，別期待一模一樣
• 吃硬體：沒有獨顯或記憶體小，大模型會很慢甚至跑不動
• 首次下載模型動輒數 GB，留意網路與硬碟空間
• 雖然資料不外流，但本機安全(誰能存取這台機器、API 有沒有曝露)還是要自己顧

TheAI學院 總結與評語

老實說，Ollama 是我會直接推薦給『在意隱私』和『想學 LLM 怎麼運作』兩種人的工具。法務、醫療、研發這些不能把資料外傳的場景，本地模型是少數解法;而對開發者來說，它把實驗成本壓到幾乎是零——想換模型就 pull 一個，想接 API 就用 OpenAI 相容端點，幾乎不用改程式。它的天花板就是你的硬體和開源模型的能力，這兩年開源模型進步很快，4-bit 量化又讓一般筆電也跑得動，這條路只會越走越寬。如果你只是要好用的對話，雲端的 ChatGPT、Claude 還是更省事;但只要『資料不能外流』這條線出現，Ollama 就值得你花一個下午裝起來玩。延伸閱讀：AI 隱私與資安實用指南、LM Studio 怎麼用。

一句話評語：Ollama 把跑本地 LLM 變成幾行指令，最適合在意隱私和想學 LLM 的人;能力天花板看你的硬體和開源模型，但 4-bit 量化讓一般筆電也跑得動。

資料來源

依官方公告與公開資料整理、以官方為準。