我想查询whitepages.com 4000次,如何保存结果？

我有一个包含4,000家企业的旧客户名单.我想确定与每个商家信息相关联的电话号码是否仍然有效(因此业务可能仍处于开放状态).我可以将每个号码放在whitepages.com中并逐个检查......但是想要自动化结果.我查看了他们的API并且无法消化它.我可以形成正确的查询URL,但尝试像cURL -O这样的东西不起作用.

我可以访问Mac工具,Unix工具,并且可以尝试各种javascript的东西,如果有人能指出我正确的方向...甚至会付钱.救命？

谢谢

根据Pekka的评论,大多数拥有公共API的公司不允许在他们的服务条款中进行刮擦,因此很有可能对他们的网站执行4k GET请求会将您标记为恶意用户并将您列入黑名单!

他们的API是RESTful的,看起来很简单,并且有很好的文档记录,绝对试图让它工作而不是反过来.获取API密钥后的首次尝试是编写UNIX脚本以执行反向电话号码查找.例如,假设您在平面文本文件中拥有所有4000个10位数的电话号码,每行一个没有格式化,您可以编写一个简单的bash脚本,如下所示:

#!/bin/bash
INPUT_FILE=phone_numbers.txt 
OUTPUT_DIR=output 
API_KEY='MyWhitePages.comApiKey' 
BASE_URL='http://api.whitepages.com' 

# Perform a reverse lookup on each phone number in the input file. 
for PHONE in $(cat $INPUT_FILE); do 
  URL="${BASE_URL}/reverse_phone/1.0/?phone=${PHONE};api_key=${API_KEY}" 
  curl $URL > "${OUTPUT}/result-${PHONE}.xml"
done 

一旦检索完所有结果,您就可以解析XML以分析匹配的业务,或者如果您只是对存在感兴趣,您可以简单地为每个输出文件grep查找字符串The search did not find results,该字符串来自WhitePages.com API,表示没有比赛.如果grep成功,则业务不存在(或更改其电话号码),否则它可能仍然存在(或该电话号码存在另一个业务).