コンテンツにスキップ

完全オフライン・機密保護AI読書:Yomitomo + Ollama ローカルLLM活用実践

学術研究、企業デューデリジェンス、コードレビュー等でLLMの活用が進む中、大きな課題が生じています。それは、未公開特許、M&A契約書、最先端論文といった高価値な文書ほど、パブリッククラウドのAPIに送信できないという問題です。

また、航空機内や社内イントラネット環境下では、クラウド依存のAIリーダーは機能停止します。

Yomitomoはローカル推論エンジン(OllamaLM Studio)との接続にネイティブ対応しており、完全な物理的隔離・データ漏洩リスクゼロ・脱ネット環境での全機能動作を実現します。


フェーズ 入力 (Input) ローカル処理 (System Processing) 成果物 (Output) セキュリティ境界 (Boundaries)
モデル稼働 Ollamaで qwen2.5deepseek-r1 を起動 ローカル端末で http://localhost:11434 を提供 端末上で高速オフライン推論が可能に 外部通信ゼロ;重みファイルはローカルに保存
エンドポイント設定 Yomitomoで http://localhost:11434/v1 を指定 ローカル検証を行い各コンパニオンへ割り当て 各AI専門家がローカルモデルと紐付け完了 外部API Key不要;トークン費用ゼロ
ハイライトと議論 テキスト選択(A)後、スレッドで質問 Yomitomoがアンカー文脈を抽出しローカルへPOST ミリ秒単位で論理批判や概念解説を生成 パケットは localhost 内でのみ循環
知識の結晶化 T キーでスタジオを開き草稿を推敲 ローカルモデルが論理構成と表現をチェック 高密度なMarkdown結晶化カードをSQLiteに保存 成果物は完全にオフラインで永久保存

ステップ1:Ollamaのインストールと起動

Section titled “ステップ1:Ollamaのインストールと起動”
  1. Ollama公式サイト からOS用インストーラを取得。
  2. ターミナルで読書分析に適したモデルを取得:
    Terminal window
    # 多言語の専門書・概念読解に最適:
    ollama run qwen2.5:14b
    # 論理検証・批判的推論に最適:
    ollama run deepseek-r1:14b

ステップ2:Yomitomoでプロバイダーを設定

Section titled “ステップ2:Yomitomoでプロバイダーを設定”
  1. Yomitomoの「設定 > AIモデル」を開く。
  2. 「プロバイダーを追加」をクリックし、以下を設定:
    • タイプCustom / OpenAI Compatible
    • Base URLhttp://localhost:11434/v1
    • API Key:任意の文字列(例:ollama
    • モデル名:取得したタグ(例:qwen2.5:14b または deepseek-r1:14b
  3. 接続テストを実施して保存。

ステップ3:各アシスタントにローカルモデルを割り当て

Section titled “ステップ3:各アシスタントにローカルモデルを割り当て”

「設定 > AIアシスタント」で、各伴読・レビュー専門家のデフォルトモデルをOllamaに指定します。

ステップ4:完全オフラインでの精読実践

Section titled “ステップ4:完全オフラインでの精読実践”

Wi-Fiをオフにして機内モードにし、EPUBやPDFを開いて A キーで注釈をつけ、スレッドで @周硯 を呼び出すと、ローカルGPUが即座に推論を開始します。


環境 推奨モデル 特徴 想定推論速度
Apple Silicon (16GB RAM) qwen2.5:7b / deepseek-r1:8b 素早い概念解説、標準的な論理監査 30〜45 tokens/s
Apple Silicon (32GB+ RAM) qwen2.5:14b / deepseek-r1:14b 学術的な深い推論、厳密な論証点検 20〜35 tokens/s
PC + RTX 4070/4080 (12〜16GB VRAM) qwen2.5:14b-instruct 長文の超高速解析とディスカッション 40〜60 tokens/s

Q1: ローカルモデルの実行でバッテリーが急激に減りませんか?

Section titled “Q1: ローカルモデルの実行でバッテリーが急激に減りませんか?”

回答: Yomitomoは読者が明示的に @ で質問した瞬間や結晶化の推敲時のみ局所的に推論を行うため、常時高負荷がかかることはなく、バッテリー消費は最小限に抑えられます。

Q2: ファイアウォールの特別な設定は必要ですか?

Section titled “Q2: ファイアウォールの特別な設定は必要ですか?”

回答: 同一PC内で localhost 経由で通信するため、特別なポート開放は不要です。