AI搜索是怎么「看」你官网的？从抓取到引用的全流程

你的官网做得再漂亮，AI"看不见"就等于不存在。AI是怎么访问、解析、决定引用你的官网的？这篇把从抓取到引用的全流程拆开，告诉你每个环节官网该做什么——大部分律所官网，在第一个环节就被淘汰了。

全流程：抓取→解析→索引→引用

AI使用你的官网内容，要经过四个环节：抓取（AI爬虫访问你的网站）、解析（读懂页面内容）、索引（存入知识库备用）、引用（回答问题时被选中）。任何一个环节出问题，你的内容都到不了当事人面前。

环节一：抓取——AI爬虫得进得来

AI平台通过爬虫程序访问网站。以OpenAI为例，2023年8月发布GPTBot爬虫，遵循robots.txt协议；业界区分GPTBot（训练抓取）和OAI-SearchBot（搜索引用抓取），robots.txt可以分别控制。

律所官网最常见的抓取问题：

• robots.txt 配置过严：把整个内容栏目屏蔽了，AI爬虫直接进不来。很多律所网站出于"安全"考虑屏蔽了所有爬虫，等于把AI拒之门外。
• 页面打不开/超时：服务器慢、海外访问不稳，爬虫抓取超时后直接放弃。
• 动态渲染无兜底：页面全靠JavaScript渲染，爬虫抓到的是一张空壳。

自查方法：打开你的robots.txt（域名/robots.txt），看有没有误伤；用手机流量访问官网，看能不能3秒内打开；右键查看网页源代码，看正文文字是否直接存在于HTML里。

环节二：解析——AI得读得懂

抓取到页面后，AI要解析内容：标题是什么、正文是什么、页面是什么类型。这一步靠两个东西：HTML结构和结构化数据。

结构化数据（JSON-LD）是给AI看的"说明书"：在页面里标注"这是律所、在哪个城市、擅长什么领域、怎么联系"，AI解析时直接读取，不用猜。律所官网建议加三类：Organization（机构信息）、LegalService（法律服务）、FAQ（常见问题）。

反面教材：很多律所官网的"律师介绍"是图片格式，正文文字少得可怜；页面标题是"首页""关于我们"这种无信息量文字。AI解析完，判断"此页无有效信息"，直接丢进回收站。

环节三：索引——AI得存下来

解析成功的页面会进入AI的索引库。但索引不是"存了就永远在"：

• 更新频率影响权重：持续更新的网站，爬虫来得勤、索引新鲜度高；三个月不动的官网，索引权重持续衰减。
• 重复内容被降权：官网内容和其他平台完全重复（连标点都一样），可能被判定为低质重复内容。
• 内链结构影响覆盖：页面之间没有内链，爬虫找不到"深层页面"，很多优质内容永远进不了索引。

实操：保持官网每月更新；分发到其他平台的内容做适当改写；给核心页面之间加内链（相关文章互链）。

环节四：引用——AI得选中你

最后一步是"被选中"。即使进了索引，AI回答问题时还要在候选里打分排序：相关性、权威性、可引用性（详见《AI搜索凭什么决定回答里出现谁》）。官网在引用环节的优势是"自主可控"——内容、结构、更新节奏都自己说了算；劣势是"权威性靠自己"——没有第三方背书，单靠官网很难被优先引用。

所以官网GEO的正确姿势是：官网做"内容主阵地"，法律平台、媒体做"权威背书"，两者信息一致、互相印证，AI引用时才能既找到你、又信你。

官网GEO技术自查清单

这套自查清单，30分钟能跑完，但多数律所官网一项都过不了。GEO没有秘密，就是把这些基础环节一个个做对。官网是你在AI世界里的"身份证"，先把身份证办出来，再谈被引用。