我正在研究制作一个网络爬虫/蜘蛛,但我需要有人指出我正确的方向开始.
基本上,我的蜘蛛将搜索音频文件并将其编入索引.
我只是想知道是否有人对我应该怎么做有任何想法.我听说用PHP完成它会非常慢.我知道vb.net可以派上用场吗?
我正在考虑使用Googles文件类型搜索来获取爬网链接.那可以吗?