是否有一个好的测试套件或工具集可以自动化网站导航 - 使用Javascript支持 - 并从页面收集HTML?
当然,我可以使用BeautifulSoup直接删除HTML.但这对我需要Javascript的网站没有好处.:)
您可以使用Selenium或Watir来驱动真正的浏览器.
Ther也是一些基于JavaScript的无头浏览器:
PhantomJS是一款无头Webkit浏览器.
pjscrape是一个基于PhantomJS和jQuery的抓取框架.
CasperJS是一个基于PhantomJS的导航脚本和测试实用程序,如果您需要做的不仅仅是指向要删除的URL.
Zombie for Node.js
就个人而言,我最熟悉Selenium,它支持在大量语言中编写自动化脚本,并且拥有更成熟的工具,例如用于Firefox 的优秀Selenium IDE扩展,可用于编写和运行测试用例,以及可以将测试脚本导出为多种语言.
使用HtmlUnit也是一种可能性.
HtmlUnit是一个"用于Java程序的GUI-Less浏览器".它模拟HTML文档,并提供一个API,允许您调用页面,填写表单,单击链接等...就像在"普通"浏览器中一样.
它具有相当好的JavaScript支持(不断改进),即使使用非常复杂的AJAX库也可以工作,根据您要使用的配置模拟Firefox或Internet Explorer.
它通常用于测试目的或从网站检索信息.