当前位置:  开发笔记 > 编程语言 > 正文

如何在Google App Engine中停用googlebot?

如何解决《如何在GoogleAppEngine中停用googlebot?》经验,为你挑选了2个好方法。

昨天googlebot导致我的应用程序超过了读取配额.如何禁用googlebot?谢谢.

更新

我补充道

- url: /robots.txt
  static_dir: robots

app.yaml 在这里解释并创建robots.txt文件目录"机器人",但网址http://www.example.com/robots.txt不起作用.我究竟做错了什么?



1> icktoofay..:

添加robots.txt文件.这是一个简单的阻止注意它的机器人:

User-agent: *
Disallow: /



2> systempuntoo..:

将机器人路径移动到/.*上方捕获所有路径并修改你app.yaml的:

- url: /robots.txt
  static_files: robots/robots.txt
  upload: robots/robots.txt

请记住,此操作会影响您的应用程序的SERP(Google迟早会对您的应用程序取消索引)

推荐阅读
雯颜哥_135
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有