<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
  <channel>
    <title>Rag on OHTLY Blog</title>
    <link>https://blog.ohtly.com/tags/rag/</link>
    <description>Recent content in Rag on OHTLY Blog</description>
    <generator>Hugo</generator>
    <language>zh-cn</language>
    <lastBuildDate>Sun, 12 Jul 2026 21:19:26 +0800</lastBuildDate>
    <atom:link href="https://blog.ohtly.com/tags/rag/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>PageIndex 工具链：让 AI Agent 读懂教材</title>
      <link>https://blog.ohtly.com/posts/2026-07-12-pageindex-opencode-tools/</link>
      <pubDate>Sun, 12 Jul 2026 17:56:08 +0800</pubDate>
      <guid>https://blog.ohtly.com/posts/2026-07-12-pageindex-opencode-tools/</guid>
      <description>&lt;h2 id=&#34;背景&#34;&gt;&#xA;  背景&#xA;  &lt;a class=&#34;heading-link&#34; href=&#34;#%e8%83%8c%e6%99%af&#34;&gt;&#xA;    &lt;i class=&#34;fa-solid fa-link&#34; aria-hidden=&#34;true&#34; title=&#34;链接到标题&#34;&gt;&lt;/i&gt;&#xA;    &lt;span class=&#34;sr-only&#34;&gt;链接到标题&lt;/span&gt;&#xA;  &lt;/a&gt;&#xA;&lt;/h2&gt;&#xA;&lt;p&gt;&lt;a href=&#34;https://blog.ohtly.com/posts/2026-07-09-pageindex-token-comparison/&#34; &gt;上一篇&lt;/a&gt; 对比了四种 PageIndex 检索方案的 Token 消耗，结论是手写 Agent 循环最省 Token，但每次都要自己写编排逻辑。&lt;/p&gt;&#xA;&lt;p&gt;能不能把 PageIndex 的检索能力直接注册为 Agent 的原生工具，让 LLM 自己决定什么时候查、怎么查？&lt;/p&gt;&#xA;&lt;p&gt;Opencode 支持自定义工具（TypeScript 插件），于是把 PageIndex 的三个查询能力封装成三个工具，注册到 Agent 的工具列表中。&lt;/p&gt;&#xA;&lt;h2 id=&#34;三个工具&#34;&gt;&#xA;  三个工具&#xA;  &lt;a class=&#34;heading-link&#34; href=&#34;#%e4%b8%89%e4%b8%aa%e5%b7%a5%e5%85%b7&#34;&gt;&#xA;    &lt;i class=&#34;fa-solid fa-link&#34; aria-hidden=&#34;true&#34; title=&#34;链接到标题&#34;&gt;&lt;/i&gt;&#xA;    &lt;span class=&#34;sr-only&#34;&gt;链接到标题&lt;/span&gt;&#xA;  &lt;/a&gt;&#xA;&lt;/h2&gt;&#xA;&lt;h3 id=&#34;qdrant-search--语义搜索&#34;&gt;&#xA;  qdrant-search — 语义搜索&#xA;  &lt;a class=&#34;heading-link&#34; href=&#34;#qdrant-search--%e8%af%ad%e4%b9%89%e6%90%9c%e7%b4%a2&#34;&gt;&#xA;    &lt;i class=&#34;fa-solid fa-link&#34; aria-hidden=&#34;true&#34; title=&#34;链接到标题&#34;&gt;&lt;/i&gt;&#xA;    &lt;span class=&#34;sr-only&#34;&gt;链接到标题&lt;/span&gt;&#xA;  &lt;/a&gt;&#xA;&lt;/h3&gt;&#xA;&lt;p&gt;给定一个问题，通过 bge-m3 向量化后在 Qdrant 中检索，返回命中的教材、章节、页码和文本片段。用于快速定位&amp;quot;哪本书、哪一页&amp;quot;。&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;&#34;&gt;&lt;code class=&#34;language-typescript&#34; data-lang=&#34;typescript&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;export&lt;/span&gt; &lt;span style=&#34;color:#66d9ef&#34;&gt;default&lt;/span&gt; &lt;span style=&#34;color:#a6e22e&#34;&gt;tool&lt;/span&gt;({&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  &lt;span style=&#34;color:#a6e22e&#34;&gt;description&lt;/span&gt;&lt;span style=&#34;color:#f92672&#34;&gt;:&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;搜索教材内容（Qdrant 语义搜索），返回命中的教材页面及完整文本&amp;#34;&lt;/span&gt;,&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  &lt;span style=&#34;color:#a6e22e&#34;&gt;args&lt;/span&gt;&lt;span style=&#34;color:#f92672&#34;&gt;:&lt;/span&gt; {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#a6e22e&#34;&gt;query&lt;/span&gt;: &lt;span style=&#34;color:#66d9ef&#34;&gt;tool.schema.string&lt;/span&gt;().&lt;span style=&#34;color:#a6e22e&#34;&gt;describe&lt;/span&gt;(&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;搜索内容，如《平面向量的数量积》&amp;#34;&lt;/span&gt;),&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#a6e22e&#34;&gt;top_k&lt;/span&gt;: &lt;span style=&#34;color:#66d9ef&#34;&gt;tool.schema.number&lt;/span&gt;().&lt;span style=&#34;color:#66d9ef&#34;&gt;default&lt;/span&gt;(&lt;span style=&#34;color:#ae81ff&#34;&gt;5&lt;/span&gt;),&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#a6e22e&#34;&gt;book&lt;/span&gt;: &lt;span style=&#34;color:#66d9ef&#34;&gt;tool.schema.string&lt;/span&gt;().&lt;span style=&#34;color:#a6e22e&#34;&gt;optional&lt;/span&gt;().&lt;span style=&#34;color:#a6e22e&#34;&gt;describe&lt;/span&gt;(&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;限定单书&amp;#34;&lt;/span&gt;),&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  },&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  &lt;span style=&#34;color:#66d9ef&#34;&gt;async&lt;/span&gt; &lt;span style=&#34;color:#a6e22e&#34;&gt;execute&lt;/span&gt;(&lt;span style=&#34;color:#a6e22e&#34;&gt;args&lt;/span&gt;, &lt;span style=&#34;color:#a6e22e&#34;&gt;context&lt;/span&gt;) {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#66d9ef&#34;&gt;const&lt;/span&gt; &lt;span style=&#34;color:#a6e22e&#34;&gt;script&lt;/span&gt; &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; &lt;span style=&#34;color:#a6e22e&#34;&gt;path&lt;/span&gt;.&lt;span style=&#34;color:#a6e22e&#34;&gt;join&lt;/span&gt;(&lt;span style=&#34;color:#a6e22e&#34;&gt;root&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;bin/qdrant-search&amp;#34;&lt;/span&gt;)&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#66d9ef&#34;&gt;const&lt;/span&gt; &lt;span style=&#34;color:#a6e22e&#34;&gt;cmd&lt;/span&gt; &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;`&lt;/span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt;${&lt;/span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;script&lt;/span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt;}&lt;/span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt; &amp;#34;&lt;/span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt;${&lt;/span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;args&lt;/span&gt;.&lt;span style=&#34;color:#a6e22e&#34;&gt;query&lt;/span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt;}&lt;/span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34; --top-k &lt;/span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt;${&lt;/span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;args&lt;/span&gt;.&lt;span style=&#34;color:#a6e22e&#34;&gt;top_k&lt;/span&gt; &lt;span style=&#34;color:#f92672&#34;&gt;||&lt;/span&gt; &lt;span style=&#34;color:#ae81ff&#34;&gt;5&lt;/span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt;}&lt;/span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt;`&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#66d9ef&#34;&gt;return&lt;/span&gt; &lt;span style=&#34;color:#a6e22e&#34;&gt;execSync&lt;/span&gt;(&lt;span style=&#34;color:#a6e22e&#34;&gt;cmd&lt;/span&gt;, { &lt;span style=&#34;color:#a6e22e&#34;&gt;encoding&lt;/span&gt;&lt;span style=&#34;color:#f92672&#34;&gt;:&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;utf-8&amp;#34;&lt;/span&gt; }).&lt;span style=&#34;color:#a6e22e&#34;&gt;trim&lt;/span&gt;()&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  },&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;})&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;h3 id=&#34;pageindex-structure--树结构&#34;&gt;&#xA;  pageindex-structure — 树结构&#xA;  &lt;a class=&#34;heading-link&#34; href=&#34;#pageindex-structure--%e6%a0%91%e7%bb%93%e6%9e%84&#34;&gt;&#xA;    &lt;i class=&#34;fa-solid fa-link&#34; aria-hidden=&#34;true&#34; title=&#34;链接到标题&#34;&gt;&lt;/i&gt;&#xA;    &lt;span class=&#34;sr-only&#34;&gt;链接到标题&lt;/span&gt;&#xA;  &lt;/a&gt;&#xA;&lt;/h3&gt;&#xA;&lt;p&gt;给定 book_id，返回该教材的章节树（仅标题、摘要、页范围，不含正文）。轻量快速，用于查看章节结构。&lt;/p&gt;</description>
    </item>
    <item>
      <title>四种 PageIndex 检索方案的 Token 消耗对比</title>
      <link>https://blog.ohtly.com/posts/2026-07-09-pageindex-token-comparison/</link>
      <pubDate>Thu, 09 Jul 2026 15:21:34 +0800</pubDate>
      <guid>https://blog.ohtly.com/posts/2026-07-09-pageindex-token-comparison/</guid>
      <description>&lt;h2 id=&#34;背景&#34;&gt;&#xA;  背景&#xA;  &lt;a class=&#34;heading-link&#34; href=&#34;#%e8%83%8c%e6%99%af&#34;&gt;&#xA;    &lt;i class=&#34;fa-solid fa-link&#34; aria-hidden=&#34;true&#34; title=&#34;链接到标题&#34;&gt;&lt;/i&gt;&#xA;    &lt;span class=&#34;sr-only&#34;&gt;链接到标题&lt;/span&gt;&#xA;  &lt;/a&gt;&#xA;&lt;/h2&gt;&#xA;&lt;p&gt;PageIndex 是一个无向量（vectorless）、基于推理（reasoning-based）的 RAG 框架。核心思路是将文档解析为树状索引，让 LLM 通过推理来导航定位内容，而不是靠向量相似度搜索。&lt;/p&gt;&#xA;&lt;p&gt;这次实验的数据源是一本人教版《物理必修第二册》扫描版 PDF。因为纯扫描件没有文字层，先用 MinerU（vlm-engine）OCR 提取了结构化文本，再插入 &lt;code&gt;&amp;lt;!-- page N --&amp;gt;&lt;/code&gt; 标记以使页码可追溯。最后用 PageIndex 对这份带页码的 markdown 建立树索引。&lt;/p&gt;&#xA;&lt;p&gt;基于同一份数据，实现了四种检索方案，对比它们的实现差异和 Token 消耗。&lt;/p&gt;&#xA;&lt;h2 id=&#34;四种方案的设计差异&#34;&gt;&#xA;  四种方案的设计差异&#xA;  &lt;a class=&#34;heading-link&#34; href=&#34;#%e5%9b%9b%e7%a7%8d%e6%96%b9%e6%a1%88%e7%9a%84%e8%ae%be%e8%ae%a1%e5%b7%ae%e5%bc%82&#34;&gt;&#xA;    &lt;i class=&#34;fa-solid fa-link&#34; aria-hidden=&#34;true&#34; title=&#34;链接到标题&#34;&gt;&lt;/i&gt;&#xA;    &lt;span class=&#34;sr-only&#34;&gt;链接到标题&lt;/span&gt;&#xA;  &lt;/a&gt;&#xA;&lt;/h2&gt;&#xA;&lt;h3 id=&#34;方案-a简单查询&#34;&gt;&#xA;  方案 A：简单查询&#xA;  &lt;a class=&#34;heading-link&#34; href=&#34;#%e6%96%b9%e6%a1%88-a%e7%ae%80%e5%8d%95%e6%9f%a5%e8%af%a2&#34;&gt;&#xA;    &lt;i class=&#34;fa-solid fa-link&#34; aria-hidden=&#34;true&#34; title=&#34;链接到标题&#34;&gt;&lt;/i&gt;&#xA;    &lt;span class=&#34;sr-only&#34;&gt;链接到标题&lt;/span&gt;&#xA;  &lt;/a&gt;&#xA;&lt;/h3&gt;&#xA;&lt;p&gt;两步走，两次独立 LLM 调用：&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;LLM #1 看树结构 → 返回行号范围&#xA;LLM #2 取内容 → 回答&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;没有验证步骤，LLM 一次定生死。&lt;/p&gt;&#xA;&lt;h3 id=&#34;方案-b手写-agent-循环&#34;&gt;&#xA;  方案 B：手写 Agent 循环&#xA;  &lt;a class=&#34;heading-link&#34; href=&#34;#%e6%96%b9%e6%a1%88-b%e6%89%8b%e5%86%99-agent-%e5%be%aa%e7%8e%af&#34;&gt;&#xA;    &lt;i class=&#34;fa-solid fa-link&#34; aria-hidden=&#34;true&#34; title=&#34;链接到标题&#34;&gt;&lt;/i&gt;&#xA;    &lt;span class=&#34;sr-only&#34;&gt;链接到标题&lt;/span&gt;&#xA;  &lt;/a&gt;&#xA;&lt;/h3&gt;&#xA;&lt;p&gt;三步走，三次独立 LLM 调用：&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;LLM #1 identify_ranges → 返回候选行号列表&#xA;LLM #2 evaluate → 判断内容是否包含答案&#xA;LLM #3 final_answer → 基于内容给出最终回答&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;写了 for 循环遍历候选清单，显式 evaluate 确认命中后才回答。&lt;/p&gt;</description>
    </item>
    <item>
      <title>开发环境 Rerank 配置：llama-server &#43; BGE Reranker</title>
      <link>https://blog.ohtly.com/posts/2026-06-26-rerank-with-llama-server/</link>
      <pubDate>Fri, 26 Jun 2026 18:44:33 +0800</pubDate>
      <guid>https://blog.ohtly.com/posts/2026-06-26-rerank-with-llama-server/</guid>
      <description>&lt;h2 id=&#34;背景&#34;&gt;&#xA;  背景&#xA;  &lt;a class=&#34;heading-link&#34; href=&#34;#%e8%83%8c%e6%99%af&#34;&gt;&#xA;    &lt;i class=&#34;fa-solid fa-link&#34; aria-hidden=&#34;true&#34; title=&#34;链接到标题&#34;&gt;&lt;/i&gt;&#xA;    &lt;span class=&#34;sr-only&#34;&gt;链接到标题&lt;/span&gt;&#xA;  &lt;/a&gt;&#xA;&lt;/h2&gt;&#xA;&lt;p&gt;RAG 流水线中，embedding 检索召回 top-K 后，需要 rerank 做二次排序提升精度。&#xA;开发环境希望方案足够轻量——不需要高性能，但模型不使用时最好不占显存。&lt;/p&gt;&#xA;&lt;p&gt;Ollama 在 v0.30 换回了 llama.cpp 引擎（此前 fork ggml 自研引擎一年多，性能落后 30-70%，社区压力下切回），体验上很方便，但 &lt;strong&gt;&lt;code&gt;/api/rerank&lt;/code&gt; 端点至今未实现&lt;/strong&gt;。&lt;/p&gt;&#xA;&lt;p&gt;相关 issue 和 PR：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;a href=&#34;https://github.com/ollama/ollama/issues/3368&#34;  class=&#34;external-link&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;Reranking models · Issue #3368&lt;/a&gt; — 2024 年 3 月提出，至今 open&lt;/li&gt;&#xA;&lt;li&gt;&lt;a href=&#34;https://github.com/ollama/ollama/pull/7219&#34;  class=&#34;external-link&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;FEAT: add rerank support · PR #7219&lt;/a&gt; — 最早尝试，未合并&lt;/li&gt;&#xA;&lt;li&gt;&lt;a href=&#34;https://github.com/ollama/ollama/pull/11156&#34;  class=&#34;external-link&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;Add reranking support · PR #11156&lt;/a&gt; — 被拒绝，理由是当时已不再给旧引擎加功能&lt;/li&gt;&#xA;&lt;li&gt;&lt;a href=&#34;https://github.com/ollama/ollama/pull/11389&#34;  class=&#34;external-link&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;Complete Production-Ready Reranking · PR #11389&lt;/a&gt; — 最完整的一次实现，修复了分数提取 bug，社区验证通过，但因含 AI 生成文件被要求清理，最终也未合并&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;h2 id=&#34;方案直接用-llama-server&#34;&gt;&#xA;  方案：直接用 llama-server&#xA;  &lt;a class=&#34;heading-link&#34; href=&#34;#%e6%96%b9%e6%a1%88%e7%9b%b4%e6%8e%a5%e7%94%a8-llama-server&#34;&gt;&#xA;    &lt;i class=&#34;fa-solid fa-link&#34; aria-hidden=&#34;true&#34; title=&#34;链接到标题&#34;&gt;&lt;/i&gt;&#xA;    &lt;span class=&#34;sr-only&#34;&gt;链接到标题&lt;/span&gt;&#xA;  &lt;/a&gt;&#xA;&lt;/h2&gt;&#xA;&lt;p&gt;llama.cpp 自带的 &lt;code&gt;llama-server&lt;/code&gt; 原生支持 &lt;code&gt;--reranking&lt;/code&gt; 和 &lt;code&gt;--pooling rank&lt;/code&gt;，开箱即用。&lt;/p&gt;</description>
    </item>
  </channel>
</rss>
