本地端部署生成式AI：使用 Ollama+Open WebUI 打造你的私人助理
在家也能擁有私人AI助理！五步驟部署本地端生成式AI
你是否曾經想過能在自己的電腦上運行一個強大的AI模型？今天，我們將帶你實現這個想法！本文將指導你如何使用Ollama和Open WebUI，在本地部署臺灣自製的TAIDE繁體中文大型語言模型。無需複雜的設置，只需跟隨我們的五個簡單步驟，你就能擁有屬於自己的AI助理。
- OS name: Ubuntu 22.04 LTS
- OS type: 64-bits
- Python version: 3.10.12
- Ollama 官方網站：https://www.anaconda.com/download
- Open WebUI 官方網站：https://openwebui.com/
- TAIDE 官方網站：https://taide.tw/index
- 本篇教學為 Step by Step，跟著下面5個步驟走完即可安裝成功
成果預覽：你的私人AI助理就在眼前
在我們開始動手之前，先讓我們一睹為快，看看最終的成果會是什麼樣子：
五步驟實現本地AI部署
Step 1: 安裝 Ollama - 你的AI模型管理器
首先，我們需要安裝Ollama。它是一個強大的工具，能幫助我們輕鬆管理和運行各種AI模型。安裝非常簡單，只需在終端機中輸入以下命令：
1 | curl -fsSL https://ollama.com/install.sh | sh |
Step 2: 下載 TAIDE 模型 - 來自臺灣本土的可信賴大型語言模型
TAIDE 是臺灣自製的可信賴大型語言模型。我們這次要使用的是經過量化的4bits版本，它能在較小的記憶體中運行，非常適合個人電腦使用。輸入以下命令開始下載：
作者有在 Ollama上傳2個繁體中文模型，它是臺灣可信賴大型語言模型 ，一個是 4bits 的量化模型，另一個是 FP16的原模型，連結過去有詳細的模型介紹卡可以參考，這邊我們使用 4bits 模型來示範。剛剛 Step 1. 安裝完成後可以直接輸入以下指令。
1 | ollama run weilin1205/llama3-taide-lx-8b-chat-alpha1-awq-4bit |
FP16模型下載指令(建議您的設備VRAM需大於16GB)
1 | ollama run weilin1205/llama3-taide-lx-8b-chat-alpha1-fp16 |
Step 3. 先離開聊天互動模式
模型下載成功後您會進到聊天互動介面，您可以先跟模型互動看看，互動完後直接輸入以下指令關掉。接下來我們要部屬前端介面了。
1 | \bye |
Step 4. 使用 Open WebUI 部屬前端介面
以下使用 Docker來部屬，還沒裝過 Docker的可以參考我之前寫過的文章安裝(也是詳細的逐步教學，把該文章中的Step1.走完就好)，以下 Docker指令已經很好地封裝了您前端介面的部屬，直接輸入然後等待安裝完成即可。
1 | sudo docker run -it --rm --network=host --add-host=host.docker.internal:host-gateway -e PORT=9090 -e OLLAMA_BASE_URL=http://127.0.0.1:11434 ghcr.io/open-webui/open-webui:main |
步驟4：開始使用你的AI助理！
一切就緒！打開你的瀏覽器，訪問：
你會看到一個登錄界面。註冊一個帳號（數據只存儲在你的本地），然後你就可以開始使用你的私人AI助理了！
使用技巧
- 選擇合適的模型：進入聊天界面後，記得選擇我們剛才下載的TAIDE模型。
- 探索設置：Open WebUI提供了許多自定義選項，比如調整溫度、top_p等參數。多多嘗試，找到最適合你的設置。
- 創建多個對話：你可以為不同的任務創建不同的對話，例如一個用於寫作，一個用於編寫程式碼。
- 利用提示詞：學習如何編寫好的提示詞，可以極大地提高AI的輸出品質。
結語
恭喜你！你現在擁有了一個強大的、私密的、完全屬於你自己的AI助理。它可以幫助你寫作、編程、回答問題，甚至成為你的討論夥伴。
記住，這只是開始。隨著你對模型和工具的深入了解，你可以進行更多有趣的實驗，比如微調模型以適應特定任務，或者集成到你的其他工作流程中。