自動化與 Agent

16GB 顯卡同時跑多個本地 AI 模型不當機：VRAM 排程實作筆記

完全新手也能照做。假設你：電腦有一張 NVIDIA 顯卡、想在本機同時跑『一個負責生文字的 AI』+『一個負責生圖或生語音的 AI』，卻常常卡死或報錯。讀完大概 20–30 分鐘可以理解＋動手試第一步。

2026/09/10 ｜ 4 分鐘閱讀

這份筆記給你什麼

讀完你會知道：①為什麼兩個本地 AI 模型一起開會當機（不是你的顯卡爛）；②怎麼判斷是不是「顯存（VRAM）」爆了；③怎麼寫一段簡單邏輯，讓兩個模型「輪流」用同一塊顯存，不會互搶。

一個核心觀念（全篇最重要）

你電腦的「顯卡記憶體」叫 VRAM（Video RAM），它跟你電腦的一般記憶體（RAM）是分開的兩塊資源。AI 模型（不管是負責寫文字的、生圖片的、還是生語音的）只要被載入去運算，就會佔用一塊 VRAM，而且不會自動釋放——除非你主動叫它關掉／卸載。

所以，如果你同時開兩個模型：

  • 模型 A 佔 6GB VRAM
  • 模型 B 佔 8GB VRAM
  • 你的顯卡總共 16GB

看起來 6+8=14GB，應該夠用對吧？但實際上系統本身、其他背景程式也會吃一點 VRAM，經常會踩到臨界值直接爆掉、當機、或是報錯訊息裡出現 CUDA out of memory / out of memory 字樣。

解法不是換更貴的顯卡，是「排時間」：讓模型 A 用完就關掉、讓出顯存，模型 B 才開始工作；模型 B 做完了，如果還要用模型 A，再重新把它打開。兩個模型從「同時搶」變成「輪流用」，同一塊 16GB 顯存就綽綽有餘了。

按步驟做

Step 1｜先確認你真的是「VRAM 不夠」導致的問題，不是別的原因

打開工作管理員（Windows：按 Ctrl+Shift+Esc）→ 點「效能」分頁 → 找到你的顯卡（GPU）→ 看「專用 GPU 記憶體」那條使用量。如果你的模型一開始跑，這條線很快衝到接近滿格（例如 15.8GB / 16GB），然後程式當掉或報錯——那就是 VRAM 爆了，不是別的問題。

如果你不確定怎麼看，或看不懂畫面上的數字，直接把這句貼給 AI（ChatGPT / Claude / Gemini 都行）：

「我是新手，想確認我的 Windows 電腦跑 AI 模型時是不是顯存（VRAM）不足導致當機。請一步一步教我怎麼在工作管理員或用指令查看目前 GPU 顯存使用量，並告訴我什麼樣的數字代表『快爆了』。」

Step 2｜找出你的兩個模型分別是「用什麼方式啟動」的

本地 AI 模型通常是用一個「服務程式」在背景常駐執行（例如 llama-server.exe、ComfyUI 這類），你的程式再去呼叫它。你需要知道：

  • 這個服務程式的啟動指令長什麼樣（通常是一行 .bat 檔或終端機指令）
  • 有沒有辦法用指令把它「關掉」（通常是找到它的處理程序 process 然後結束它）

如果你不知道自己用的工具怎麼查、怎麼關，把你用的工具名稱＋下面這句一起問 AI：

「我在跑 [你的工具名稱，例如：llama.cpp / ComfyUI]，它是用一個背景服務程式常駐執行。請教我：①怎麼用指令查目前是不是有這個服務在跑並佔用 GPU 記憶體；②怎麼用指令安全地把這個服務關掉、釋放顯存；③關掉之後要怎麼重新啟動它。請假設我是完全新手，一步一步給我可以直接複製貼上執行的指令。」

Step 3｜在你的自動化流程裡，加一段「卸載檢查點」

如果你是自己寫程式串接這些模型（例如 Python 腳本），核心邏輯只有三步：

  1. 在呼叫「重量級任務」（生圖、生語音）之前，先呼叫一個函式把模型 A 的服務關掉
  2. 等模型 A 完全關閉、確認顯存釋放後，再讓模型 B 開始工作
  3. 模型 B 做完後，如果流程後面還要用模型 A，再重新啟動它一次

如果你不會寫這段邏輯，把下面這句貼給 AI（附上你自己的程式碼片段效果更好）：

「我在寫一個 Python 腳本，需要依序呼叫兩個本地 AI 服務（[服務A]、[服務B]），但它們同時開會讓顯卡的 VRAM 爆掉當機。我想在呼叫第二個服務之前，先用程式碼把第一個服務的背景進程關掉、釋放顯存，等確認關閉後再繼續往下執行；如果後面流程還要用回第一個服務，能不能再重新啟動它。我是新手，請給我完整可執行的 Python 範例程式碼，並解釋每一段在做什麼。」

Step 4｜實際跑一次，確認顯存有真的被釋放

跑你的流程時，同時開著 Step 1 的工作管理員視窗盯著 GPU 記憶體那條線。正常的話你應該會看到：模型 A 跑的時候線衝高→關閉模型 A 之後線立刻掉下來→模型 B 開始跑線又衝高，但不會疊加爆表。如果卸載之後線沒掉下來，代表沒有真的釋放，通常是關閉的方式不對（例如只是暫停而非真的結束程序），回到 Step 2 用「問 AI 咒語」再確認一次正確關法。

你一定會踩的坑

  1. 以為「切換模型」就等於「釋放顯存」：很多工具的介面上你點了「切換」或「換一個模型」，但背景舊的服務進程可能還沒真正關閉，顯存還被佔著。務必用 Step 4 的方法親眼確認顯存數字真的掉下來，不要只看介面上有沒有反應。

  2. 啟動參數亂抄，導致速度慢到像當機：本地模型的啟動指令（尤其牽涉到「多少層放進顯卡」這類參數）如果沒對照官方文件或別人驗證過的設定亂調，輕則跑得極慢（讓你誤以為又當機了），重則直接崩潰。凡是你不確定意義的啟動參數，先問 AI 這句：

「我要啟動 [你的模型名稱] 這個本地 AI 模型，官方或社群建議的啟動參數是什麼？請解釋每個參數在做什麼、對顯存和速度分別有什麼影響，我是新手不想亂設。」

  1. 「省一步」不主動卸載，改用花錢的雲端方案繞過：如果你的顯卡真的太小（例如只有 8GB 以下）、模型又特別大，排程卸載也救不了，這時候更務實的做法是：把其中一個任務改成呼叫雲端 API（要花錢或有用量額度限制，但不佔用你自己的顯卡）。不用死磕本地——先問自己「這個任務本地跑划算，還是花小錢讓雲端做」，再決定。

一句話總結

本地顯卡同時跑多個 AI 模型會當機，八成不是硬體爛，而是你讓兩個模型同時佔著同一塊顯存——解法是排時間軸：用完就卸、要用再載，讓模型們「輪流用」而不是「一起搶」。

萬用救援：卡住怎麼問 AI

不管你在上面哪一步卡住、看到看不懂的錯誤訊息，都可以把下面這個模板填一填丟給任何一個 AI 聊天工具：

我是 [你的作業系統，例如 Windows 11] 新手，正在嘗試 [你正在做的事情，例如：讓兩個本地 AI 模型輪流使用顯卡]。我執行了 [你做的操作/指令]，但出現了以下錯誤（或現象）：
『[把完整的錯誤訊息原文貼上來，或詳細描述畫面發生什麼事]』
請你假設我是完全新手，一步一步解釋可能的原因，並給我可以直接複製貼上執行的解法，不要跳步驟。

版本、作業系統相關的細節會一直變，與其照抄可能過時的指令，不如每次都用這個模板讓 AI 針對你當下的環境即時回答，最準確也最新。

延伸閱讀

支持這裡的內容：前往 Ko-fi 斗內