制造企业如何开放 AI 搜索抓取，同时保护非公开资料

先决定哪些资料公开，再决定允许谁抓取

中国制造商可以让搜索系统发现公开产品资料，同时单独决定是否允许模型训练使用。实施顺序应是：划分资料、确认访问政策、检查生产环境的实际返回、保存验收证据。robots.txt 写了允许，不代表对方已经成功抓取；写了禁止，也不代表客户图纸已经受到保护。

本文面向管理外贸官网、产品手册和客户资料门户的团队。目标是建立可检查的访问边界，不是承诺某个 AI 平台一定推荐企业，也不是要求关掉网站防护。

建议交付一份“资料访问登记表”：记录具体网址、公开对象、允许用途、实际响应、责任人和复查时间。外贸、工程和建站供应商共同确认后，再修改规则。这样争论就从“要不要放开 AI”变成“这份资料究竟应该给谁看”。

为什么现在值得复查现有设置

Cloudflare 在 2026 年 9 月 15 日公布了 Disallow AI Training 设置，尝试区分混合用途抓取中的搜索与训练需求。这是复查访问政策的一个触发点，不代表你的账户已自动采用某种设置。仍需检查控制台当前状态、其他防火墙规则以及服务商的具体说明，参考资料中附有官方公告。

对工厂来说，标准产品参数公开，有助于海外采购判断是否适用；按客户要求设计的装配图，则可能从未获准公开。不能因为两份文件都放在同一个上传目录，就默认采用相同政策。尤其要检查旧网站迁移过来的下载链接，避免把“以前能打开”当成“允许公开”。

把搜索、训练和用户主动访问分开

OpenAI 官方说明区分了用于搜索发现的 OAI-SearchBot 与可能用于模型训练的 GPTBot，两项设置相互独立。ChatGPT-User 对应用户主动触发的访问，并不是自动搜索抓取器，这类访问不一定适用 robots 规则。不要只看到请求里包含某个 AI 品牌，就认定它的用途。

Googlebot 与 Google-Extended 也不相同。后者是管理指定 Gemini 训练及 grounding 用途的产品标记，不是独立的 HTTP 请求身份，也不决定网站是否进入 Google 搜索或搜索排名。不能在服务器日志里找不到 Google-Extended，就认定规则失效。

修改前先写清楚企业意图：允许公开搜索发现、如何对待训练用途、如何处理用户主动打开网页。没有决定的项目保持待确认，不要让开发人员在修复搜索访问时顺手替企业作出数据使用决定。

给外贸、工程和开发一套相同的样本

不要只测首页。至少选择产品系列页、单个型号参数页、公开手册、对应语言页面、询盘入口和受限下载各一个样本。检查跳转后的最终地址，因为旧链接可能实际进入另一个文件或域名。

公开型号页：采购人员无需登录，就能读到已批准的型号、单位、工作条件与联系入口。工程部门应确认这些参数适合对外发布，外贸部门确认它们能帮助客户判断适配性。

公开说明书：文件名称、版本和适用型号明确，并能回到当前产品页。检查是否混入客户名称、专用尺寸、内部报价或工程批注。不要只检查 PDF 封面。

受限图纸：未登录访问与没有该项目权限的账户，都不能直接取回文件。使用获准的测试文件验证，不要把真实客户机密资料当测试附件。仅仅把链接藏在登录页面里，并不证明下载地址受到权限保护。

美国、英国客户使用的英文页面要按真实业务链接测试；如果另有德语目录，也要检查其页面和附件。中文页面正常，不能代表英文目录、翻译页面和独立文件主机都正常。

分三层核对，不用一个绿色分数代替证据

第一层是政策。让开发人员检查相关主机实际返回的 robots.txt，识别针对不同抓取器的规则及覆盖路径。修改前保留原文件，并写明每处变化的原因。Google 官方文档明确提醒，robots.txt 用于管理抓取，不能替代资料访问保护。

第二层是交付。检查 CDN 与源站最终返回的状态、内容类型和正文。状态为 200，但返回的是验证页面或登录界面，不能算产品资料抓取成功。在实际 HTML 中查找型号与一段特征参数，并确认公开手册可以正常下载。

第三层是真实访问证据。请求中的 user-agent 名称可以被模仿，应结合提供方公布的验证方法、IP 信息或 CDN 证据判断。自己在电脑上改请求头可以辅助排错，但不能据此声称平台的正式抓取器已经访问成功。

登记表应分别填写“测试请求能取回资料”与“已观察到经核验的抓取访问”。没有看到真实请求就写“尚未观察到”，不能直接判定被屏蔽，更不能把它当成网站没有市场需求。

如何写出可交付的验收记录

每个样本记录：资料责任人、预期访问对象、测试时间、最终网址、响应状态、正文是否正确、证据保存位置。包含账户或请求细节的记录放在内部系统，不要公开到网页。

示例验收任务：标准电机的产品页和公开手册无需登录即可访问，页面型号与手册版本一致，英文询盘入口可用；另一份客户定制图纸仍需要正确项目权限。这个例子是测试设计，不是客户项目成绩或增长案例。

如果页面正常而手册打不开，应修复文件层面的具体原因；如果客户图纸能匿名下载，应停止其公开交付并由负责人评估影响。两种情况都不应靠整体关闭防火墙解决。

一次只实施范围明确的变化，保存旧规则、安排回退负责人，然后重复公开与受限样本测试。后续再观察真实抓取请求。与问题无关的限速和安全配置不应一并放开。

技术放行之后，怎样判断有没有商业价值

完成验收后，再观察实际访问、能够复核的引用和相关询盘。Google 对搜索中的 AI 功能没有要求专门的优化文件或特殊 Schema；允许访问只是基础条件，不等于会获得引用、排名或客户。

建议分别记录规则修改日、首次观察到成功抓取的日期、首次观察到引荐访问或引用的日期。没有证据的项目可以保持未知，不要把所有自然搜索访问都归为 AI 流量，也不要根据少量波动判断训练选项影响了排名。

外贸团队可以把公开产品页作为统一的资料入口，让销售发送的网址、网站可见参数与批准的说明书相互对应。工程团队则维护哪些资料必须经授权提供。两者一起工作，才能既减少采购沟通障碍，又避免无意公开专用资料。

最容易遗漏的四个问题

把 robots 禁止当成保密措施；仅凭请求名称就全部放行；把训练设置误当作搜索设置；只用首页测试签收整个多语言网站。这些问题都来自把不同用途和不同证据混在一起。

最终应验收的是一套受控的公开产品资料库：潜在客户与获准的发现系统可以读取批准的信息，需要商业或工程授权的文件则保留在合适的权限边界内。更换 CDN、上线客户门户、迁移域名或调整文件发布流程后，重新检查登记表。

参考资料

• OpenAI — Overview of crawlers ↗
• Google — Common crawlers and Google-Extended ↗
• Google — Introduction to robots.txt ↗
• Google — AI features and your website ↗
• Cloudflare — Search discovery and AI training controls, 15 September 2026 ↗