コンテンツにスキップ

OllamaでPDF・EPUBを読む:YomitomoのローカルAI設定

YomitomoはOpenAI互換の接続を通じて、同じ端末で動くOllamaモデルに読書の質問を送信できます。Base URLを http://localhost:11434/v1 に設定し、取得済みのローカルモデルを読書タスクに割り当てます。

Yomitomoプロジェクトがv0.16.2の設定と Ollama公式の互換API文書に基づいてまとめました。ハードウェアの実測レポートではありません。

Ollama公式サイトからインストールし、オンラインでモデルを取得します。以下は設定例です。

ターミナルウィンドウ
ollama pull qwen2.5:7b
ollama run qwen2.5:7b

実行できるサイズや速度は、メモリ、量子化、コンテキスト長などによって変わります。先にOllamaで応答を確認してください。ローカル推論が目的なら、クラウドモデルではなく端末に取得したモデルを選びます。localhostへの接続だけでは推論先を保証できません。

モデルとルーティングの設定でプロバイダーを追加し、OpenAI Chat Completionsプロトコルを選択します。

項目 設定例
名前 Ollama local
Base URL http://localhost:11434/v1
API Key ローカルサーバー用の仮の値 ollama
モデル 取得済みの完全なタグ。例:qwen2.5:7b

モデル一覧を取得するか手動で追加し、接続テスト後に保存します。デフォルトモデルに指定し、タスク別の設定がリモートモデルを使っていないことも確認してください。まずは速い応答を優先するモードで試せます。ツールを使う処理にはモデル側の対応も必要です。

3. 原文と照合できる質問を試す

Section titled “3. 原文と照合できる質問を試す”

文字を選択できるPDFまたはEPUBを取り込み、短い段落を選びます。A でハイライトを作成し、対話欄の @ から助手を選択してください。「この結論を支える文章はどこか」などの質問を送り、回答を原文と照合します。

スキャンPDFには別途OCRが必要な場合があります。最初は機密性のない資料で動作を確認します。基本操作は読書ガイドを参照してください。

取り込み済みの文書、手動メモ、取得済みで互換性のあるローカルモデルは、クラウドモデルAPIなしで利用できます。必要なファイルとモデルを先に取得してから、ネットワークを切った状態で使いたい作業を確認してください。

Web記事の取得、WeRead同期、更新確認、モデルのダウンロードには通信が必要です。匿名の利用指標には設定内の切り替えがあります。また、公開のモデル価格カタログを models.dev から定期的に取得します。ローカルAIへの接続は、これらの機能を無効にしたり、端末を物理的に隔離したりする設定ではありません。詳しくはモデルとデータの設定を参照してください。

  • 接続拒否:同じ端末でOllamaが起動し、設定したポートで応答するか確認します。
  • モデルが見つからない:サイズを含む完全なタグを確認します。
  • 遅い・メモリ不足:小さいモデルや短い文脈で試します。
  • 普通の応答は成功するがレビューに失敗:モデルとタスクの互換性を確認します。
  • リモートへの送信が残る:デフォルトモデルと各タスクの割り当てを確認します。

ローカル推論は電力やGPU、メモリを多く使う場合があります。一定の生成速度や小さいバッテリー消費を保証するものではありません。

YomitomoをダウンロードしてローカルAI読書を試す。