我有一个应用程序,可以在网上查看几个rss源.
轮询其他网络服务器时的礼仪是什么?投票的频率等等?
什么是最佳做法?
利用HTTP缓存.发送Etag
和LastModified
标题.认识到304 Not modified
回应.这样可以节省大量带宽.另外,一些脚本识别LastModified
标题并仅返回部分内容(即,仅返回两个或三个最新项而不是全部30个左右).
不要从支持RPC Ping(或其他PUSH服务,如PubSubHubbub)的服务中轮询RSS .即如果您从服务接收PUSH通知,则不必在标准间隔内轮询数据 - 每天执行一次以检查机制是否仍然有效(ping可以被禁用,重新配置,损坏,等等).这样,您只能在收到通知时获取RSS,而不是每小时左右.
检查TTL(在RSS中)或缓存控制头(Expires
在ATOM中),并且在资源到期之前不要获取.
尝试适应每个RSS Feed中新项目的频率.如果在过去一周内,特定Feed中只有两个更新,请不要每天多次获取.AFAIR Google阅读器可以做到这一点.
在夜间或网站流量较低的其他时间降低费率.
最后,每小时做一次.;)
Google的FeedFetcher声称它每小时调查一次RSS播放量略少于一次.
来自:http://code.google.com/apis/ajaxfeeds/documentation/
Feed Feed Crawl Frequency由于Google AJAX Feed API使用Feedfetcher,因此来自AJAX Feed API的Feed数据可能并不总是最新的.Google Feed抓取工具("Feedfetcher")每小时检索大多数网站的Feed少于一次.一些经常更新的站点可能会更频繁地刷新.