谷歌在我的网站上索引了我的测试文件夹:(如何限制网络抓取工具!

作者：jerry613 | 2023-08-25 01:10

如何解决《谷歌在我的网站上索引了我的测试文件夹:(如何限制网络抓取工具!》经验，为你挑选了1个好方法。

帮助帮助!谷歌在我的网站上编制了一个测试文件夹,其中没有人保存我应该知道的:(!如何限制谷歌索引链接和某些文件夹.

1> Paul Dixon..：

使用机器人排除文件,或者更好的密码保护您的测试区域!使用robots.txt文件来"保护"你不希望别人看到的区域有点像挂在你后门的标语上写着"我已经把它打开但是请不要进来" :)

如果您注册Google网站管理员工具,则可以请求删除搜索结果(如果您确保其抓取工具无法再访问).

+1'使用robots.txt文件来"保护"你不希望别人看到的区域有点像挂在你后门的标语上写着"我已经把它打开但是请不要进来" :)"

推荐阅读

程序员
number_format()在5.3和5.4之间的行为

如何解决《number_format()在5.3和5.4之间的行为》经验，为你挑选了1个好方法。 ... [详细]
程序员
如果表单不起作用,则短

如何解决《如果表单不起作用,则短》经验，为你挑选了1个好方法。 ... [详细]
程序员
Swift:NSLengthFormatter只有1个小数位数

如何解决《Swift:NSLengthFormatter只有1个小数位数》经验，为你挑选了1个好方法。 ... [详细]
程序员
将数学函数传输到程序中

如何解决《将数学函数传输到程序中》经验，为你挑选了1个好方法。 ... [详细]
程序员
Django模型的回报值

如何解决《Django模型的回报值》经验，为你挑选了1个好方法。 ... [详细]
程序员
flex-basis和width之间有什么区别？

如何解决《flex-basis和width之间有什么区别？》经验，为你挑选了3个好方法。 ... [详细]
程序员
在R中的数据框中将负值转换为零

如何解决《在R中的数据框中将负值转换为零》经验，为你挑选了2个好方法。 ... [详细]
程序员
依赖于参数的查找和函数模板

如何解决《依赖于参数的查找和函数模板》经验，为你挑选了0个好方法。 ... [详细]
程序员
Owin cookie身份验证偶尔会抛出NullReferenceException

如何解决《Owincookie身份验证偶尔会抛出NullReferenceException》经验，为你挑选了0个好方法。 ... [详细]
程序员
Laravel 5 mongo DB的倍增列的Eloquent总和

如何解决《Laravel5mongoDB的倍增列的Eloquent总和》经验，为你挑选了1个好方法。 ... [详细]
程序员
Python argparse类似帮助的选项

如何解决《Pythonargparse类似帮助的选项》经验，为你挑选了1个好方法。 ... [详细]
程序员
将4个整数打包成一个[10,10,10,2]整数

如何解决《将4个整数打包成一个[10,10,10,2]整数》经验，为你挑选了1个好方法。 ... [详细]
程序员
docker构建并发布插件使用情况

如何解决《docker构建并发布插件使用情况》经验，为你挑选了1个好方法。 ... [详细]
程序员
Angular 2 Promises还是RxJs？

如何解决《Angular2Promises还是RxJs？》经验，为你挑选了1个好方法。 ... [详细]
程序员
在Swift中混淆强引用循环的例子

如何解决《在Swift中混淆强引用循环的例子》经验，为你挑选了1个好方法。 ... [详细]
程序员
如何计算回调？

如何解决《如何计算回调？》经验，为你挑选了1个好方法。 ... [详细]
程序员
如何排除在ASP.NET Core中发布的文件？

如何解决《如何排除在ASP.NETCore中发布的文件？》经验，为你挑选了1个好方法。 ... [详细]
程序员
当未定义属性时,Angularjs Filter无法正常工作

如何解决《当未定义属性时,AngularjsFilter无法正常工作》经验，为你挑选了0个好方法。 ... [详细]
程序员
android:将字节转换为dex时出错

如何解决《android:将字节转换为dex时出错》经验，为你挑选了8个好方法。 ... [详细]
程序员
R:更简单的方法将矩阵列表中的0更改为NA？

如何解决《R:更简单的方法将矩阵列表中的0更改为NA？》经验，为你挑选了1个好方法。 ... [详细]

jerry613

这个屌丝很懒，什么也没留下！

关注作者

Tags | 热门标签

RankList | 热门文章