搜索抓取(Crawling)

搜索系统没有一份涵盖全部网页的中央清单，因此会持续通过已知页面的链接发现新 URL，也会从 Sitemap 中获得 URL 线索。发现后，爬虫可能访问页面并下载文本、图片和视频等内容，这一步才是抓取。

参考：Google Search Central

抓取是搜索流程的第一环，而不是结果。随后系统还会分析内容并决定是否纳入索引；即使页面满足技术要求，Google 也不保证一定抓取、编入索引或显示在结果中。

参考：Google Search Central

对少量重要 URL，可在 Search Console 的 URL Inspection 中查看实时可用性或请求抓取；对大批 URL，Sitemap 是更合适的发现入口。重复请求同一个 URL 不会让它更快被抓取。

参考：Google Search Central；Google Search Console Help

抓取预算是 Google 能且愿意抓取的一组 URL。专门的抓取预算优化主要面向页面很多且更新频繁的网站；多数普通站点保持 Sitemap 更新并定期查看页面索引报告即可。

参考：Google Crawling Infrastructure

当同一产品因筛选、排序或参数形成大量重复 URL 时，爬虫可能把时间花在不应处理的页面上。优先合并重复内容、移除永久失效地址，并仅对明确无需抓取的路径设置 robots 规则；不要把 robots.txt 当成临时给其他页面“腾额度”的开关。

参考：Google Crawling Infrastructure

URL Inspection 会分别展示 Google 如何发现 URL、是否能抓取、索引是否允许以及所选 canonical。它能帮助团队把发现、抓取和索引三类问题分开处理，而不是只看页面是否已经出现在搜索结果中。

参考：Google Search Console Help