搜索引擎在哪里开始抓取？

搜索引擎机器人用什么作为起点？是DNS查询还是从一些知名网站的固定列表开始？任何猜测或建议？

您的问题可以通过两种方式解释:

您是否在询问搜索引擎从哪里开始抓取,或者他们开始​​抓取特定网站的位置？

我不知道大玩家的工作方式; 但是如果你要制作自己的搜索引擎,你可能会把它与流行的门户网站一起播种. DMOZ.org似乎是一个受欢迎的起点.由于大玩家拥有的数据比我们多得多,他们可能会从各个地方开始爬行.

如果你问的是SE开始抓取你的特定网站的位置,那么它可能与你最喜欢哪些网页有很大关系.我想如果你有一个很多其他网站链接到的超级热门页面,那么这将是SEs开始的页面将进入,因为其他网站有更多的入口点.

请注意,我不是SEO或任何东西; 我刚刚为我正在研究的项目研究了bot和SE流量.