Canonical: https://botbento.com/zh/usecases/audit-blog-files-for-ai-crawler-readability/
Format: Markdown representation of the public HTML page.

# 审计博客文件以确保 AI 爬虫可读性

[运营](https://botbento.com/zh/usecases/ops/) · 中级

检查爬虫规则、markdown 端点和请求日志中的差距。

定期审查博客的公开文件和日志，以确认 AI 爬虫是否能够找到并读取文章。该 Bot 会检查爬虫规则组是否存在覆盖情况，查找已声明的机器可读摘要，抽样检查请求日志，并报告已发布内容与爬虫实际请求内容之间的不匹配之处。

## 快速解答

**它做什么？** 检查爬虫规则、markdown 端点和请求日志中的差距。结果：可读性差距报告。

**它需要什么？** 工具：浏览器, 终端, 文档, 电子表格。中级：需一些设置。提示词包含审批步骤。

**如何运行？** 按计划触发：每周站点抓取审查。把下方的提示词复制到 BotBento 中的 Bot。

## 运作方式

1. 按计划触发：每周站点抓取审查
2. 然后：检查爬虫规则和公开文件
3. 结果：可读性差距报告

## 起步提示词

```text
每次运行时，打开站点的公开爬虫规则文件，列出每个 user-agent 组及其规则。记录特定组是否覆盖了更广泛的组，并检查任何已声明的机器可读摘要或 markdown 链接。审查用户提供的日志样本，查找对这些路径的请求，然后在文档和电子表格中生成差距报告。请勿更改站点文件。任何外部发送、发布、付款、购买或删除操作都必须等待用户的批准。
```

## 所用工具

浏览器, 终端, 文档, 电子表格

## 适用于

BotBento

## 标签

crawlers, robots-txt, logs, site-audit, markdown

## 来源

[Making My Blog Readable by AI Agents](https://news.ycombinator.com/item?id=50225443) — Hacker News · 已核查 2026-11-13

内容以我们自己的话概述。其中描述的任何结果均为原作者所述，并非 BotBento 实测。

由 AI 辅助自英文版翻译，并经自动审核模型检查。以英文文本为准。

验证于 2026-11-13：已通过全部自动化关卡及第二模型审核（kimi-code/k3.1-pro）。为自动化验证，非人工审核。 [验证如何运作](https://botbento.com/zh/usecases/verification/)

作者：BotBento Editorial · 发布于 2026-11-13 · 更新于 2026-11-13 · [提交更正](https://botbento.com/zh/contact/)

## 相关用例

- [将在线文档转换为整洁的 markdown 笔记](https://botbento.com/zh/usecases/convert-online-documentation-into-clean-markdown-notes/) — 抓取外部文档门户并提取结构化 markdown 以供参考
- [为智能体任务过滤冗长的终端输出](https://botbento.com/zh/usecases/filtering-verbose-terminal-outputs-for-agent-tasks/) — 剥离 shell 命令中不必要的日志和样板文本，保持上下文清晰
- [使用只读命令排查生产服务器故障](https://botbento.com/zh/usecases/investigating-production-issues-via-safe-read-only/) — 检查日志并运行安全查询，在更改前暂停以等待批准
