昨天googlebot导致我的应用程序超过了读取配额.如何禁用googlebot?谢谢.
更新
我补充道
- url: /robots.txt static_dir: robots
我app.yaml
在这里解释并创建robots.txt
文件目录"机器人",但网址http://www.example.com/robots.txt
不起作用.我究竟做错了什么?
添加robots.txt
文件.这是一个简单的阻止注意它的机器人:
User-agent: * Disallow: /
将机器人路径移动到/.*上方捕获所有路径并修改你app.yaml
的:
- url: /robots.txt static_files: robots/robots.txt upload: robots/robots.txt
请记住,此操作会影响您的应用程序的SERP(Google迟早会对您的应用程序取消索引)