使用Java的web索引器

作者：跟我搞对象吧 | 2023-07-03 17:59

如何解决《使用Java的web索引器》经验，为你挑选了1个好方法。

在Java中开发时,并行系统或分布式系统是否更适合网站爬虫和Web索引器？有哪些框架？

1> Nikolaos..：

你会发现Java最好的爬虫/索引器组合之一是Nutch,它现在是一个Apache项目(参见Wiki),因此是开源的.

特征:

并行获取,解析和索引以及/或分发

插件:纯文本,HTML,XML,ZIP,OpenDocument(OpenOffice.org),Microsoft Office(Word,Excel,Powerpoint),PDF,JavaScript,RSS,RTF,MP3(ID3标签)

本体论

聚类

MapReduce的

分布式文件系统(通过Hadoop)

链接图数据库

NTLM身份验证(Windows/Exchange/etc)

推荐阅读

程序员
传递一个数组

如何解决《传递一个数组》经验，为你挑选了2个好方法。 ... [详细]
程序员
D3.js时间刻度刻度线-仅年份和月份-自定义时间格式

如何解决《D3.js时间刻度刻度线-仅年份和月份-自定义时间格式》经验，为你挑选了0个好方法。 ... [详细]
程序员
如何在rxjs中使用节点的变换流？

如何解决《如何在rxjs中使用节点的变换流？》经验，为你挑选了0个好方法。 ... [详细]
程序员
Visual Studio 2015 Community Edition是否具有MVC模板？

如何解决《VisualStudio2015CommunityEdition是否具有MVC模板？》经验，为你挑选了1个好方法。 ... [详细]
程序员
如何将Django Rest Framework的默认URL更改为自定义

如何解决《如何将DjangoRestFramework的默认URL更改为自定义》经验，为你挑选了1个好方法。 ... [详细]
程序员
Spring中的单元测试:将依赖项注入正在测试的组件中

如何解决《Spring中的单元测试:将依赖项注入正在测试的组件中》经验，为你挑选了1个好方法。 ... [详细]
程序员
我应该使用printf("\n")还是putchar('\n')在C中打印换行符？

如何解决《我应该使用printf("\n")还是putchar('\n')在C中打印换行符？》经验，为你挑选了3个好方法。 ... [详细]
程序员
ES6课程不适用于Chrome 47

如何解决《ES6课程不适用于Chrome47》经验，为你挑选了1个好方法。 ... [详细]
程序员
将列表复制到其他列表中

如何解决《将列表复制到其他列表中》经验，为你挑选了1个好方法。 ... [详细]
程序员
Spring websocket @messagemapping反序列化问题java.lang.ClassCastException:java.util.LinkedHashMap无法强制转换

如何解决《Springwebsocket@messagemapping反序列化问题java.lang.ClassCastException:java.util.LinkedHashMap无法强制转换》经验，为你挑选了0个好方法。 ... [详细]
程序员
PostgreSQL 9.4可以在单个插入语句中插入的行数限制是多少？

如何解决《PostgreSQL9.4可以在单个插入语句中插入的行数限制是多少？》经验，为你挑选了0个好方法。 ... [详细]
程序员
在C++中解压缩一个解除引用的指针

如何解决《在C++中解压缩一个解除引用的指针》经验，为你挑选了1个好方法。 ... [详细]
程序员
Peta Poco:如何将多个参数传递给Fetch <T>

如何解决《PetaPoco:如何将多个参数传递给Fetch<T>》经验，为你挑选了1个好方法。 ... [详细]
程序员
Haskell SQLite包之间的权衡是什么？

如何解决《HaskellSQLite包之间的权衡是什么？》经验，为你挑选了0个好方法。 ... [详细]
程序员
使用Xcode Helper Accessibility对Travis for OSX进行Xcode UI测试

如何解决《使用XcodeHelperAccessibility对TravisforOSX进行XcodeUI测试》经验，为你挑选了1个好方法。 ... [详细]
程序员
在Django模板中格式化带有小数点和有限小数部分的浮点数

如何解决《在Django模板中格式化带有小数点和有限小数部分的浮点数》经验，为你挑选了1个好方法。 ... [详细]
程序员
从PHP解析javascript的问题

如何解决《从PHP解析javascript的问题》经验，为你挑选了1个好方法。 ... [详细]
程序员
安装后的Magmi授权

如何解决《安装后的Magmi授权》经验，为你挑选了2个好方法。 ... [详细]
程序员
无法在powershell中转义管道符(|)

如何解决《无法在powershell中转义管道符(|)》经验，为你挑选了2个好方法。 ... [详细]
程序员
mod,在Haskell中的div

如何解决《mod,在Haskell中的div》经验，为你挑选了1个好方法。 ... [详细]

跟我搞对象吧

这个屌丝很懒，什么也没留下！

关注作者

Tags | 热门标签

RankList | 热门文章