为什么会有企业主动屏蔽

常见原因有三个：担心内容被无偿使用、被第三方的「防采集」模板默认代入、以及不理解这些 UA 的作用。其中第二个最常见——很多建站服务商的默认配置里就带着这类规则。

屏蔽的实际代价

内容一旦公开在互联网上，通过屏蔽爬虫来实现保护的效果非常有限——搜索引擎、聚合工具、人工复制都仍在发生。而付出的代价是明确的：品牌从 AI 的信源池中消失，而这是当前客户调研路径中的重要一环。

换句话说，屏蔽换来的是有限的心理安慰，失去的是实际的获客入口。

怎么检查自己的配置

  1. 打开网站根目录的 robots.txt（比如 https://你的域名/robots.txt）。
  2. 查看是否有 Disallow: / 配合特定 UA 的规则，或是否存在全局的 Disallow: /。
  3. 确认是否有显式放行主流 AI 爬虫的 Allow 规则。
  4. 检查是否有基于 UA 的服务器级拦截（Nginx、防火墙、防护插件的配置）。

推荐的配置思路

  • 公开内容一律放行：产品、服务、文章、关于我们等，让搜索引擎与 AI 都能抓取。
  • 敏感内容不要靠 robots 保护：报价单、内部资料这类内容应通过登录权限、服务端鉴权来控制，robots 只是君子协定。
  • 显式声明：在 robots.txt 里明确写出放行主流 AI 爬虫的规则，避免被其他规则意外覆盖。
  • 保留站点地图：确保 sitemap 可访问且内容完整，帮助爬虫高效发现页面。

关于「内容被无偿使用」的担忧

值得正视，但应对方式不是屏蔽爬虫。更合理的做法是在内容中保留品牌标识与原文链接、在关键资料上使用可追溯的表述方式、以及把真正有商业价值的深度资料放在需要留资或授权的位置。把公开内容做成品牌资产、把核心资料做成付费或授权内容，是更清晰的边界。

改完之后做什么

配置生效后，建议用两周时间观察：站点日志里 AI 爬虫的访问是否出现、频率如何。如果长期为零，说明还有别的拦截层——最常见的是 CDN 或防护插件的默认规则。