Robots.txt禁止所有内容,只允许网站/网页的特定部分.Ultraseek和FAST等爬虫是否支持"允许"？

作者：路人甲 | 2023-09-01 16:11

如何解决《Robots.txt禁止所有内容,只允许网站/网页的特定部分.Ultraseek和FAST等爬虫是否支持"允许"？》经验，为你挑选了1个好方法。

只是想知道是否可以禁止整个网站的抓取工具,只允许特定的网页或部分？FAST和Ultraseek等爬虫是否支持"允许"？

1> Marc Novakow..：

有一个允许指令但是不能保证特定机器人会支持它(很像是不能保证机器人甚至会检查你的robots.txt开始).您可以通过检查您的博客来判断特定机器人是否只为您允许的网站部分编制索引.

仅允许网站的特定页面或部分的格式可能如下所示:

Allow: /public/section1/
Disallow: /

这(应该)阻止机器人抓取或索引除/ public/section1下的内容以外的任何内容

推荐阅读

程序员
TSQL中的日期比较

如何解决《TSQL中的日期比较》经验，为你挑选了1个好方法。 ... [详细]
程序员
Android RecyclerView StaggeredGrid项在滚动顶部时更改位置

如何解决《AndroidRecyclerViewStaggeredGrid项在滚动顶部时更改位置》经验，为你挑选了1个好方法。 ... [详细]
程序员
使用python/django进行日期时间本地化

如何解决《使用python/django进行日期时间本地化》经验，为你挑选了0个好方法。 ... [详细]
程序员
newScheduledThreadPool（）方法的参数“ corePoolSize”是什么意思？

如何解决《newScheduledThreadPool（）方法的参数“corePoolSize”是什么意思？》经验，为你挑选了1个好方法。 ... [详细]
程序员
在PHP 7中键入提示 - 对象数组

如何解决《在PHP7中键入提示-对象数组》经验，为你挑选了3个好方法。 ... [详细]
程序员
为什么此导航栏上方有空格

如何解决《为什么此导航栏上方有空格》经验，为你挑选了2个好方法。 ... [详细]
程序员
是否可能在一个反应组件中有两个状态

如何解决《是否可能在一个反应组件中有两个状态》经验，为你挑选了0个好方法。 ... [详细]
程序员
如何在R包传单中添加比例尺？

如何解决《如何在R包传单中添加比例尺？》经验，为你挑选了1个好方法。 ... [详细]
程序员
Plivo红宝石宝石类冲突

如何解决《Plivo红宝石宝石类冲突》经验，为你挑选了1个好方法。 ... [详细]
程序员
比较C#对象

如何解决《比较C#对象》经验，为你挑选了1个好方法。 ... [详细]
程序员
简单的ASP经典程序不起作用

如何解决《简单的ASP经典程序不起作用》经验，为你挑选了1个好方法。 ... [详细]
程序员
如何检查字典中是否存在键值对？

如何解决《如何检查字典中是否存在键值对？》经验，为你挑选了2个好方法。 ... [详细]
程序员
将值传递给路由

如何解决《将值传递给路由》经验，为你挑选了1个好方法。 ... [详细]
程序员
如何从AppVeyor发布beta nuget包

如何解决《如何从AppVeyor发布betanuget包》经验，为你挑选了1个好方法。 ... [详细]
程序员
Python导入结构

如何解决《Python导入结构》经验，为你挑选了0个好方法。 ... [详细]
程序员
UIRefreshControl显示在UICollectionViews Cells之上

如何解决《UIRefreshControl显示在UICollectionViewsCells之上》经验，为你挑选了1个好方法。 ... [详细]
程序员
C++析构函数分段错误

如何解决《C++析构函数分段错误》经验，为你挑选了1个好方法。 ... [详细]
程序员
Scala Slick:永无止境

如何解决《ScalaSlick:永无止境》经验，为你挑选了1个好方法。 ... [详细]
程序员
如何在不在浏览器中打开页面的情况下运行ASP.NET 5

如何解决《如何在不在浏览器中打开页面的情况下运行ASP.NET5》经验，为你挑选了1个好方法。 ... [详细]
程序员
使用Swift Package Manager添加目标依赖项时出错

如何解决《使用SwiftPackageManager添加目标依赖项时出错》经验，为你挑选了1个好方法。 ... [详细]

路人甲

这个屌丝很懒，什么也没留下！

关注作者

Tags | 热门标签

RankList | 热门文章