11赞

Crawler4j,一些网址被抓取没有问题,而其他网址根本没有被抓取.

作者：吻过彩虹的脸_378 | 2023-09-10 13:00

如何解决《Crawler4j,一些网址被抓取没有问题,而其他网址根本没有被抓取.》经验，为你挑选了1个好方法。

1> rzo..：

crawler4j尊重履带式政治,如robots.txt.在你的情况下,该文件是以下一个.

检查此文件显示,不允许抓取您给定的种子点:

 Disallow: /ShowRatings.jsp 
 Disallow: /campusRatings.jsp

crawler4j日志输出支持该理论:

2015-12-15 19:47:18,791 WARN  [main] CrawlController (430): Robots.txt does not allow this seed: http://www.ratemyprofessors.com/campusRatings.jsp?sid=1222
2015-12-15 19:47:18,793 WARN  [main] CrawlController (430): Robots.txt does not allow this seed: http://www.ratemyprofessors.com/ShowRatings.jsp?tid=136044

推荐阅读

程序员
检查接口{}的相等性

如何解决《检查接口{}的相等性》经验，为你挑选了1个好方法。 ... [详细]
程序员
删除字符串中整数的括号

如何解决《删除字符串中整数的括号》经验，为你挑选了1个好方法。 ... [详细]
程序员
作为嵌入式服务器运行时Jetty自定义错误页面

如何解决《作为嵌入式服务器运行时Jetty自定义错误页面》经验，为你挑选了1个好方法。 ... [详细]
程序员
有没有办法像默认出口一样使用ES6正常出口？

如何解决《有没有办法像默认出口一样使用ES6正常出口？》经验，为你挑选了1个好方法。 ... [详细]
程序员
IntelliJ无法解析build.sbt中的符号

如何解决《IntelliJ无法解析build.sbt中的符号》经验，为你挑选了1个好方法。 ... [详细]
程序员
计算字典列表中的公共键值对

如何解决《计算字典列表中的公共键值对》经验，为你挑选了1个好方法。 ... [详细]
程序员
在Google Apps脚本中从服务器到客户端进行通信

如何解决《在GoogleApps脚本中从服务器到客户端进行通信》经验，为你挑选了1个好方法。 ... [详细]
程序员
Apache POI性能

如何解决《ApachePOI性能》经验，为你挑选了1个好方法。 ... [详细]
程序员
如何在没有eval的情况下解除列表/元组的字符串

如何解决《如何在没有eval的情况下解除列表/元组的字符串》经验，为你挑选了1个好方法。 ... [详细]
程序员
针对具有单个端点的多个响应的RESTful设计

如何解决《针对具有单个端点的多个响应的RESTful设计》经验，为你挑选了1个好方法。 ... [详细]
程序员
从列表python中的某个东西开始删除后面的字符串

如何解决《从列表python中的某个东西开始删除后面的字符串》经验，为你挑选了1个好方法。 ... [详细]
程序员
无法访问docker容器

如何解决《无法访问docker容器》经验，为你挑选了1个好方法。 ... [详细]
程序员
Excel VBA“自动化错误：调用的对象已与其客户端断开连接”

如何解决《ExcelVBA“自动化错误：调用的对象已与其客户端断开连接”》经验，为你挑选了1个好方法。 ... [详细]
程序员
ERR_CONNECTION_REFUSED http:// localhost:3000/socket.io/socket.io.js

如何解决《ERR_CONNECTION_REFUSEDhttp://localhost:3000/socket.io/socket.io.js》经验，为你挑选了1个好方法。 ... [详细]
程序员
Python RandomForest - 未知标签错误

如何解决《PythonRandomForest-未知标签错误》经验，为你挑选了2个好方法。 ... [详细]
程序员
将for(;;)循环转换为foreach

如何解决《将for(;;)循环转换为foreach》经验，为你挑选了1个好方法。 ... [详细]
程序员
RxJs:如何基于observable的状态循环？

如何解决《RxJs:如何基于observable的状态循环？》经验，为你挑选了2个好方法。 ... [详细]
程序员
max()与ORDER BY DESC + LIMIT 1的性能

如何解决《max()与ORDERBYDESC+LIMIT1的性能》经验，为你挑选了1个好方法。 ... [详细]
程序员
如果与ClientHttpRequestInterceptor一起使用,Spring Resttemplate postforobject将返回null作为对象响应

如何解决《如果与ClientHttpRequestInterceptor一起使用,SpringResttemplatepostforobject将返回null作为对象响应》经验，为你挑选了1个好方法。 ... [详细]
程序员
奇怪的typename用法c ++ 11

如何解决《奇怪的typename用法c++11》经验，为你挑选了1个好方法。 ... [详细]

吻过彩虹的脸_378

这个屌丝很懒，什么也没留下！

关注作者

Tags | 热门标签

RankList | 热门文章