← 開発ノート

自宅で LLM を使う:Ollama の導入からメモ要約の自動化まで

この記事の目次

家庭で個人用 LLM を使うには、Ollama をインストールし、PC で実行するモデルをダウンロードして、小さな作業につなぐところから始めます。この記事は韓国語での会話と短いメモの要約が対象で、例の指示とメモも韓国語です。既存モデルの実行方法と指示を用途に合わせるもので、モデルを一から学習させる作業は含みません。

まず Ollama のローカルモデルと会話し、次に同じモデルを Python から呼び出してメモを要約します。インストールと API の説明は 2026 年 11 月 05 日に確認した公式文書に基づきます。Ollama クイックスタート

モデルファイルと同じ容量のメモリで足りるか?

例のモデルは qwen3:4b-instruct-2507-q4_K_M です。Ollama では Q4_K_M モデルとして掲載され、その大きさは約 2.5GB です。Q4_K_M は重みを少ないビット数で表現する量子化形式です。ファイルサイズは実行に必要な全メモリ量ではありません。モデルファイルとライセンス

実行時には重みに加え、会話コンテキスト用の KV キャッシュとその他の実行資源が必要です。OS や他のアプリもメモリを使います。コンテキストを大きくすると使用量が増えるため、例では num_ctx を 4096 に設定します。モデルが対応する最大コンテキストを家庭の PC で使えるという意味ではありません。Ollama のコンテキスト長とメモリ

資源 選択時に考慮すること
GPU または統合メモリ 外付け GPU の VRAM とシステム RAM を区別します。Apple Silicon は他のアプリと統合メモリを共有します。
実行時に使えるメモリ 不足する場合は小さいモデルか短いコンテキストから始めます。ファイルサイズを最小 RAM 要件とみなしません。
ディスク空き容量 モデルファイルと追加ダウンロード用の空きを確保します。複数モデルを保存すると使用量が増えます。
GPU とドライバーの対応 モデルを選ぶ前に、現在の OS と機器が対応しているか確認します。

Ollama の macOS 文書は macOS 14 以降を要件とし、Apple M 系では CPU/GPU、Intel Mac では CPU の実行を案内しています。Windows は Windows 10 22H2 以降が必要で、ドライバー条件は GPU により異なります。ハードウェアを買う前に、現在の PC で小さな作業の応答速度とメモリ使用量を確認します。macOS の要件、Windows の要件、GPU 対応

インストールしてローカル専用に設定する

macOS または Windows では公式ダウンロードページからインストーラーを取得してアプリを起動します。Linux では公式文書のコマンドを使います。以下の Linux コマンドはソフトウェアとサービスをインストールするため、Ollama を入れる PC で実行します。Linux のインストール

curl -fsSL https://ollama.com/install.sh | sh

インストール後、新しい端末でバージョンを確認します。アプリやサービスがすでにサーバーを実行していれば、ollama serve を重ねて起動する必要はありません。

ollama --version

個人データをローカルで処理するには、モデルの選択とサーバー設定の両方を確認します。Ollama はローカル API 経由でもクラウドモデルを呼び出せます。localhost アドレスだけでは推論がどこで動くか確定できません。 ローカル API とクラウドモデル

macOS または Windows のユーザーアプリでは、サーバーを実行するアカウントの ~/.ollama/server.json に次の設定を入れます。Windows の ~ はユーザーのホームディレクトリです。ファイルがあれば他の設定を残して追加し、アプリを再起動します。クラウドモデルと Web 検索が無効になるので、サーバーログの Ollama cloud disabled: true で適用を確認します。モデルのインストールとダウンロードにはインターネットが必要です。ローカル専用設定

{
  "disable_ollama_cloud": true
}

Linux の systemd サービスはログインユーザーと異なるアカウントで動く場合があります。その場合は sudo systemctl edit ollama.service でサービスの環境変数を設定し、以下を保存してから再起動します。Linux サービスの設定

[Service]
Environment="OLLAMA_NO_CLOUD=1"
Environment="OLLAMA_HOST=127.0.0.1:11434"
sudo systemctl daemon-reload
sudo systemctl restart ollama.service

サービスを使わず直接サーバーを起動する場合、POSIX shell で OLLAMA_NO_CLOUD=1 OLLAMA_HOST=127.0.0.1:11434 ollama serve を実行した端末を開いたままにします。サーバーが動作中なら重複して起動しません。どちらの場合も、個人データを入力する前にクラウド機能が無効か確認します。

次のコマンドで例のモデルをダウンロードして会話を始めます。これは non-thinking 版なので、別の thinking オプションを使いません。短いタグは他の版を指す場合があるため、完全なタグを使います。Qwen モデルカード

ollama pull qwen3:4b-instruct-2507-q4_K_M
ollama run qwen3:4b-instruct-2507-q4_K_M

最初の質問は「한국어로 답해 줘. 내가 적은 메모를 요약할 때 확인할 기준 세 가지를 알려 줘」(韓国語で答え、メモを要約する際の確認基準を三つ挙げてください)などで構いません。回答が韓国語で依頼の範囲内か確認し、/bye で会話を終えます。別の端末で ollama list によりモデル ID を、ollama ps により CPU/GPU の配置とメモリ状態を確認します。インストール済み Ollama のバージョンとモデル ID をタグとともに記録すれば、後で違いを比較しやすくなります。モデルの実行状態を確認

自分の用途に合わせた指示をデフォルトにする

次のファイルを空の作業ディレクトリに保存します。FROM はベースモデル、SYSTEM はデフォルト指示を指定します。num_predict は生成トークン数の上限、temperature はランダム性に影響します。次の値は短いメモ要約の例です。temperature が低くても事実の正確性は保証されません。Modelfile の構文

Modelfile

FROM qwen3:4b-instruct-2507-q4_K_M
PARAMETER num_ctx 4096
PARAMETER num_predict 512
PARAMETER temperature 0.2
SYSTEM """
한국어로 간결하게 답하세요.
제공된 자료에서 확인할 수 없는 내용은 추측하지 말고 모른다고 말하세요.
원문에 있는 사실과 제안을 구분하세요.
"""

次のコマンドで home-assistant というカスタムモデル設定を作ります。

ollama create home-assistant -f Modelfile
ollama run home-assistant

指示を変えただけで新しい知識を学習したり、ディスク上のファイルを読めるようになったりはしません。次の例のように必要な資料をリクエストに含めます。文書が多い場合は関連箇所を検索して渡す検索拡張生成(RAG)を別途設計できます。まずは短いファイル一つの要約品質を確認します。

選んだメモ一つを Python で要約する

この例は Python 3 の標準ライブラリのみを使います。保存済みファイルを一つ読み、127.0.0.1:11434/api/chat に送り、結果を出力します。環境の HTTP プロキシ設定は使わず、モデルにファイル参照やコマンド実行のツールも与えません。

Ollama のインストールとモデルのダウンロード後にカスタム設定を作る。選択したメモを検査してローカル API に送り、応答を検査して原文と比較する。

図のインストールとモデルのダウンロードは外部通信を伴う準備段階です。その後の推論はローカルモデルの選択とクラウド機能の無効化が前提です。入力または応答の検証に失敗した場合、要約を出力せずエラー終了します。

notes.txt

2026-11-05 집 서버 정리
결정: 사진 백업용 디스크 상태를 주말에 점검한다.
후속 작업: 작업 전 복구 테스트 방법을 찾아본다.
담당자와 정확한 시각은 정하지 않았다.

summarize.py

import json
from pathlib import Path
import sys
from urllib.request import ProxyHandler, Request, build_opener

ENDPOINT = "http://127.0.0.1:11434/api/chat"
MODEL = "home-assistant"
MAX_CHARS = 2000


def summarize(path):
    text = path.read_text(encoding="utf-8")
    if not text.strip() or len(text) > MAX_CHARS:
        raise ValueError(f"메모는 비어 있지 않은 {MAX_CHARS}자 이하의 UTF-8 텍스트여야 합니다.")
    prompt = (
        "다음 메모의 결정 사항과 후속 작업을 나누어 한국어로 요약하세요. "
        "원문에 없는 담당자나 기한을 추가하지 마세요.\n\n<자료>\n"
        + text + "\n</자료>"
    )
    payload = {
        "model": MODEL,
        "messages": [{"role": "user", "content": prompt}],
        "stream": False,
        "options": {"num_ctx": 4096, "num_predict": 512},
        "keep_alive": 0,
    }
    request = Request(
        ENDPOINT,
        data=json.dumps(payload, ensure_ascii=False).encode("utf-8"),
        headers={"Content-Type": "application/json"},
        method="POST",
    )
    opener = build_opener(ProxyHandler({}))
    with opener.open(request, timeout=120) as response:
        result = json.load(response)
    message = result.get("message") if isinstance(result, dict) else None
    answer = message.get("content") if isinstance(message, dict) else None
    if not isinstance(answer, str) or not answer.strip() or result.get("done") is not True:
        raise RuntimeError("완료된 텍스트 응답을 받지 못했습니다.")
    if result.get("done_reason") == "length":
        raise RuntimeError("출력 길이 제한에 도달했습니다. 메모나 요청 범위를 줄이세요.")
    return answer


if __name__ == "__main__":
    if len(sys.argv) != 2:
        raise SystemExit("사용법: python3 summarize.py notes.txt")
    try:
        print(summarize(Path(sys.argv[1])))
    except (OSError, ValueError, RuntimeError) as error:
        print(f"요약 실패: {error}", file=sys.stderr)
        raise SystemExit(1)

両ファイルを同じフォルダーに保存して実行します。Windows では Python のインストール環境に応じて python3 の代わりに py -3 を使います。

python3 summarize.py notes.txt

stream: false は一つの JSON 応答を要求します。例は空入力と 2000 文字超の入力を拒否し、HTTP エラー、無効な応答、出力長の上限をエラーとして扱います。文字数の上限は正確なトークン数ではないため、入力と回答がコンテキストウィンドウ内に収まるかも確認します。keep_alive: 0 は処理後のモデルのアンロードを要求するため、繰り返すと再ロードが必要な場合があります。チャット API と応答フィールド

クライアントの正常系・エラー処理は Python 3.13.0 のローカル模擬 HTTP サーバーで確認しました。この記事の準備環境では Ollama のインストール、Modelfile ビルド、モデルのダウンロード、推論速度、要約品質を実行・検証していません。インストール後に上のメモと結果を比較してください。120 秒のネットワークタイムアウトは、サーバーがモデルの処理を停止したことを確認するものではありません。

三点を確認します。ディスク状態の確認が決定事項として残っているか、復旧テスト方法の調査が後続作業として分かれているか、未定の担当者や正確な時刻をモデルが作り出していないかです。文章の滑らかさと原文への忠実さは別々に評価します。

日常の作業と停止基準を選ぶ

作業 小さく始める入力 使用前に確認すること
個人メモの整理 短い会議・学習メモ一つ 決定、提案、未定事項が区別されているか
草稿の推敲 自分の書いた段落と希望する文体 意味、数値、出典が保たれているか
コード理解の補助 共有可能な公開例または小さな関数 説明がコードと実行結果に一致するか

このクライアントは応答を表示するだけで、ファイル変更や shell コマンド実行を行いません。生成したコマンドを自動実行するエージェントへ拡張する場合は、AI エージェントの権限境界のように実行権限と承認を別途設計します。ローカルモデルも文書内の悪意ある指示の影響を受けたり、誤った回答を出したりすることがあります。

API はデフォルトでローカルアドレスにバインドされ、ローカル API に認証は必要ありません。まず一台の PC 内で使い、ルーターのポート転送で 11434 を公開しません。家族や他の機器からのアクセスには、認証とアクセス範囲を定めた別構成が必要です。接続アプリ、プラグイン、ログ、バックアップがデータを保存・外部送信するかも確認します。ローカル推論だけでは判断できません。デフォルトのバインド、認証範囲

回答が遅い場合は、まず ollama ps で CPU/GPU の配置と他のアプリのメモリ使用量を確認します。長い入力と大きなコンテキストを減らし、同じ作業で再比較します。接続を拒否されたらアプリやサービスが動いているか、モデルが見つからなければ ollama list と home-assistant の作成有無を確認します。タイムアウトした要求を積み重ねるより、すでに動く処理を先に確認します。

同じメモをいくつか固定し、モデルや設定を変えるたびに抜け、推測、待ち時間を比較します。

コメント

GitHubで見る ↗