ローカルAIはGPUの性能が重要ですが、AIを使いたいPCすべてに高性能なGPUを搭載すると費用がかさんでしまいます。そこで1台の高性能PCをAIサーバーにし、ほかのPCからAIを利用できる環境を構築してみます。
今回はAIエージェント「Hermes Agent」で各PCのブラウザを操作しつつ、AIの推論だけを別のPCに任せる構成を目指します。複数人で使うことを想定し、ユーザー認証や利用履歴の記録にも対応させます。
構成は以下を予定しています。
AIサーバー側
①Ollama：AIモデルの実行
②Open WebUI：API中継・ユーザー管理・利用記録
③NetBird：VPN接続
クライアントPC側
④NetBird：VPN接続
⑤Hermes Agent：AIへの指示やツールの実行など
今回の記事では①と②の部分まで、つまりローカルAIを実行するサーバーへのOllamaとOpen WebUIのインストールまでを行ってみます。
◆1：Ollamaのインストール
OllamaはAIモデルをローカルPCで実行できるソフトウェアです。今回、AIを動作させるサーバーとしてIntel Arc Pro B70 32GBを搭載したPCを使用します。
まずOllamaの公式サイトの「Download」を開き、インストール用のコマンドをコピー。Windowsでは以下になります。
irm https://ollama.com/install.ps1 | iex
スタートメニューからWindows PowerShellを起動して貼り付け、エンターキーで実行します。
インストールが完了したら「ollama run qwen3.8:27b」コマンドでQwen3.8-27Bを起動します。メッセージ待ちの表示が出れば準備完了です。
試しに「こんにちは。qwen3.8-27Bの4bit量子化モデルがどれくらいVRAM必要か分かる？」とプロンプトを入力してみました。自身のモデル名である「qwen3.8-27B」を知らないようでしたが、27Bというパラメーター数と4bit量子化という情報からVRAMの使用量を計算してくれました。トークンの出力速度は読むのが追いつかないレベルで爆速でした。
念のため、PowerShellをもう一つ起動して「ollama ps」を実行すると「100% GPU」とモデルがGPUにすべてロードされている状態でした。コンテキストサイズが32kになっていますが、Hermes Agentの動作には64k必要なので設定を変更していきます。
タスクトレイのOllamaアイコンを右クリックし、「Settings」をクリック。設定画面が開いたら最下部の「Context length」を64kにスライドさせればOKです。
◆2：Open WebUIのインストール
次に「Open WebUI」を導入します。Open WebUIはローカルAIをブラウザから利用できるようにするソフトで、ユーザー管理機能やOpenAI互換APIも備えています。
Open WebUIの実行にはDockerを使用するので、Docker DesktopがPCに入っていない場合は先に公式サイトからインストールしておきます。インストール後はDocker Desktopを起動して、Docker Engineを動作させればOKです。
Docker Engineを実行できたら下記のコマンドを入力して実行。自動でOpen WebUIがダウンロードされて起動します。
docker run -d `
-p 127.0.0.1:3000:8080 `
--add-host=host.docker.internal:host-gateway `
-v open-webui:/app/backend/data `
-e OLLAMA_BASE_URL=http://host.docker.internal:11434 `
--name open-webui `
--restart always `
ghcr.io/open-webui/open-webui:main
Open WebUIにアクセスするにはブラウザを起動してURL欄に「http://localhost:3000/」と入力すればOK。Open WebUIの画面が開いたら「はじめる →」をクリックします。
初回は管理者アカウントを作成する必要があります。「名前」「メールアドレス」「パスワード」を入力して「管理者アカウントを作成」をクリック。
Open WebUIは自動でOllamaと連携する機能があり、何も設定せずともOllamaで実行されているモデルである「qwen3.8:27b」とのチャット画面が開きました。
Ollamaに行ったのと同じ質問で動作確認してみましたが特に問題なし。相変わらず爆速です。
次回は各個人用のユーザーアカウントを発行し、以降の手順を進めていきます。