http连接的最佳java lib？

作者：mobiledu2402851323 | 2023-07-06 12:40

如何解决《http连接的最佳javalib？》经验，为你挑选了1个好方法。

大家好我正在编写一个简单的网页抓取脚本,需要连接到网页,自动跟踪302重定向,给我链接的最终网址,让我抓住HTML.

做这些事情的首选java lib是什么？

谢谢

1> BalusC..：

您可以使用Apache HttpComponents Client(或"普通的Java SE内置和详细URLConnectionAPI").对于HTML解析/遍历/操作部分,Jsoup可能很有用.

请注意,有点像样的爬虫应该遵守robots.txt.您可能想看一下现有的基于Java的webcrawler,比如~~J-Spider~~ Apache Nutch.

推荐阅读

程序员
为什么采用迭代器的构造函数需要元素为EmplaceConstructible？

如何解决《为什么采用迭代器的构造函数需要元素为EmplaceConstructible？》经验，为你挑选了1个好方法。 ... [详细]
程序员
MYSQL导入:无法从发送到GEOMETRY字段的数据中获取几何对象

如何解决《MYSQL导入:无法从发送到GEOMETRY字段的数据中获取几何对象》经验，为你挑选了0个好方法。 ... [详细]
程序员
React中的校验和是什么以及如何使用它？

如何解决《React中的校验和是什么以及如何使用它？》经验，为你挑选了1个好方法。 ... [详细]
程序员
javascript:什么是$$？

如何解决《javascript:什么是$$？》经验，为你挑选了0个好方法。 ... [详细]
程序员
Stetho显示两个具有相同名称的列

如何解决《Stetho显示两个具有相同名称的列》经验，为你挑选了0个好方法。 ... [详细]
程序员
在C#中的父类上正确实现IDisposable

如何解决《在C#中的父类上正确实现IDisposable》经验，为你挑选了1个好方法。 ... [详细]
程序员
Rails类型如何转换array_agg（）函数的结果

如何解决《Rails类型如何转换array_agg（）函数的结果》经验，为你挑选了0个好方法。 ... [详细]
程序员
OpenLayers:如何检测地图视图是否已完全加载？

如何解决《OpenLayers:如何检测地图视图是否已完全加载？》经验，为你挑选了1个好方法。 ... [详细]
程序员
如何在从url打开后清除活动中的意图数据？

如何解决《如何在从url打开后清除活动中的意图数据？》经验，为你挑选了2个好方法。 ... [详细]
程序员
无法训练神经网络解决XOR映射

如何解决《无法训练神经网络解决XOR映射》经验，为你挑选了1个好方法。 ... [详细]
程序员
如何在Camel中动态添加和启动路由？

如何解决《如何在Camel中动态添加和启动路由？》经验，为你挑选了1个好方法。 ... [详细]
程序员
Threads和println()语句之间的关系

如何解决《Threads和println()语句之间的关系》经验，为你挑选了1个好方法。 ... [详细]
程序员
如何向Android活动添加底部菜单

如何解决《如何向Android活动添加底部菜单》经验，为你挑选了1个好方法。 ... [详细]
程序员
使用rvest(R)进行网络抓取时停止使用网址

如何解决《使用rvest(R)进行网络抓取时停止使用网址》经验，为你挑选了1个好方法。 ... [详细]
程序员
如何使用webpack从node_modules加载静态CSS文件？

如何解决《如何使用webpack从node_modules加载静态CSS文件？》经验，为你挑选了1个好方法。 ... [详细]
程序员
从Google地图下载地图图块的网址是什么？

如何解决《从Google地图下载地图图块的网址是什么？》经验，为你挑选了1个好方法。 ... [详细]
程序员
TypeError - 无法隐式地将'int'对象转换为str

如何解决《TypeError-无法隐式地将'int'对象转换为str》经验，为你挑选了1个好方法。 ... [详细]
程序员
反应本机StyleSheet属性和选项的列表

如何解决《反应本机StyleSheet属性和选项的列表》经验，为你挑选了1个好方法。 ... [详细]
程序员
如何在mysql中选择不同的列和

如何解决《如何在mysql中选择不同的列和》经验，为你挑选了1个好方法。 ... [详细]
程序员
C++结构中数组的初始化

如何解决《C++结构中数组的初始化》经验，为你挑选了1个好方法。 ... [详细]

mobiledu2402851323

这个屌丝很懒，什么也没留下！

关注作者

Tags | 热门标签

RankList | 热门文章