Googlebot是Google使用的网络爬虫软件,它负责为Google搜索引擎构建用户可搜索的网络索引。Googlebot包括两种不同类型的网络爬虫,分别为Googlebot Smartphone 和 Googlebot Desktop。 [1]
一个网站可能会被Googlebot Smartphone和Googlebot Desktop同时抓取。然而Google宣布从2020年9月开始它会优先显示移动网站,这意味着Google实际上更多地使用Googlebot Smartphone抓取网站。[2]
参考文献