一、知乎 robots.txt 整体架构
| User-Agent 组 | Allow | Disallow |
|---|---|---|
| Googlebot / Googlebot-Image | /tardis/jm |
/appview/、/login、/logout、/resetpassword、/terms、/search、/notifications、/settings、/inbox、/admin_inbox、/*?guide*（兜底 Disallow: / 隐含） |
| bingbot | /tardis/jm |
同上 Googlebot 禁列 |
| Baiduspider / Baiduspider-news / Baiduspider-render | /tardis/jm |
百度禁列 + 额外 Disallow: /en/ |
| Baiduspider-image | — | 百度禁列 + /en/ |
| AdsBot-Google | /en/ |
/ |
| Sogou web spider | /tardis/sogou/ |
/ |
| Google-Extended（Gemini 训练数据爬虫） | /tardis/jm |
/ |
User-Agent: *（通配兜底） |
/tardis/jm |
/ |
写法特点：
- 路径级白名单——所有知名爬虫只被允许访问
/tardis/jm（知乎自家合规通道），其他全禁。 - AI 训练爬虫已显式点名 Google-Extended，等于知乎主动关上了 Gemini 的训练数据通道。
- DeepSeek、GPTBot、ClaudeBot、CCBot、Bytespider 都没列——全部命中兜底
*组，等同Disallow: /。
二、DeepSeekBot 命中规则判定
DeepSeekBot 官方 UA 形如 Mozilla/5.0 (compatible; DeepSeekBot/1.0; +https://www.deepseek.com/bot)，不在知乎列出的任何具名组里 → 强制走 User-Agent: * 兜底规则：
Allow: /tardis/jm
Disallow: /
| 匹配路径 | 规则结果 |
|---|---|
/tardis/jm/... |
✅ 允许（最长前缀匹配 Allow 优先） |
其他任意路径（含 /p/10027921768） |
❌ Disallow: / 命中 → 禁止 |
三、目标页判断
目标 URL：https://zhuanlan.zhihu.com/p/2037613036270245414 页面路径 /p/10027921768，不在 /tardis/jm 白名单内 →
结论：按知乎 robots.txt 协议，DeepSeekBot 不应抓取该页面。
这页本身是公开可访问的（HTTP 200，标题《2026年香港置业指南》，香港置业相关内容），但 DeepSeek 若严格执行 robots → 不会主动抓取 → 不会自然进入 DeepSeek 索引 → DeepSeek 对话/搜索不会召回此 URL。
四、实操延伸（对 GEO 项目）
意味着在 DeepSeek 这种严格守 robots 的引擎里，知乎专栏几乎是一块”暗区”——内容做再好也不会被自然收录。三种破局路径：
| 路径 | 操作 | 适用场景 |
|---|---|---|
| A. 抢白名单收录 | 与知乎官方 BD 谈 /tardis/jm 渠道合作，把内容推入知乎合规索引 |
长线、大客户、有 BD 资源 |
| B. 转战场 | 把同等内容铺到 DeepSeek 可抓取、且权重高的源（官网 Blog、子站、Medium、CSDN、微信公众号） | 中期可执行 |
| C. 主动提取引用 | 在 DeepSeek 引用的高权重第三方源（百度百科、知乎问答/想法——问答站 robots 比专栏宽松很多、新闻媒体站）做内容植入 | 性价比最高 |
提示：DeepSeekBot 实际抓取行为是否 100% 严格遵守 robots，没有公开审计报告。建议在沙箱环境用真实 UA 跑一次抓取验证再下结论，不要直接据此放弃知乎专栏布局。
