Google 蜘蛛池，更名为 Google 爬虫 集群，是一个庞大 系统，负责遍历 网上各个网站的网页。它关键 功能是帮助Google 检索 引擎精准 地返回用户搜索 的相关结果。 https://thefairlist.com/story11392966/深入分析-google-蜘蛛池