PHP 挖掘 XML 和 HTML 数据

常用缩略词

API: 应用程序编程接口 CDATA: 字符数据 DOM: 文档对象模式 FTP: 文件传输协议 HTML: 超文本标记语言 HTTP: 超文本传输协议 REST: 具象状态传输 URL: 统一资源定位符 W3C: 万维网联盟 XML: 可扩展标记语言

Wikipedia 对 “数据挖掘” 的定义是 “数据挖掘是采用统计学方法和人工智能方法，结合数据库管理，从大型数据集提取模式的过程”。这是一个非常深入的定义，可能超出了大多数人的典型用例。很少有人使用人工智能；通常，数据挖掘只是搜索并汇集大型数据集，以查找有用的信息。

Internet 在飞速发展，并提供了海量信息，因此，能够收集大量数据并使数据变得有意义非常重要。收集个人无法读完的大型数据集并将它们提炼为有用的数据是一个很重要的目标。这种类型的数据挖掘是本文的焦点，本文将专门介绍如何收集和解析这种数据。

回页首

数据挖掘的实际应用

数据挖掘有很多实际应用。您可能假设这样一个场景：您想搜索一个网站，查找其中提供的信息（比如电影或音乐会的出席记录）。您可能需要检索更严肃的信息，比如投票者记录，并获得有用数据。或者，更常见的情况是，您可能需要检查社交网络数据，试图解析该数据，了解某种趋势，比如您的公司被提及的频率，以及这种提及是正面的还是负面的。

回页首

挖掘网站之前的注意事项

在继续介绍后面的内容之前，有一点需要说明：我们假定您将从另一个网站提取数据。如果您已经拥有要处理的数据，则又是完全不同的一种情况。当您从一个网站提取数据时，您需要确保遵守服务条款， 无论您是在做 Web 擦除（稍后将详细介绍）还是在使用一个 API。如果您在做擦除，还需要注意遵守该站点的 robots.txt 文件的规定，该文件描述了允许访问网站脚本的哪些部分。最后，确保不会妨碍站点的带宽。您编写的脚本不能按照脚本能够运行的速度随意访问站点的数据。否则，这不仅可能会导致托管问题，还有可能面临因为脚本太具 “侵略性” 而遭到被禁止或阻塞的风险。

回页首

理解 XML 数据结构

不管您采取何种方法提取数据，都有可能接收到 XML（或 HTML）格式的数据。当 XML 支持共享数据后，XML 就成为 Internet 的标准语言。在考虑提取数据的方法之前，重要的是要先研究 XML 结构和如何处理 XML 数据。

XML 文档的基本结构非常直观，特别是在您以前使用过 HTML 的情况下。XML 文档中的所有数据都用两种方法中的一种方法进行存储。存储数据的主要方法是将数据存储在嵌套标记中。下面举一个最简单的例子，假设您拥有一个地址，则该数据可以按如下方法存储在文档中：

1234 Main Street, Baltimore, MD

您可以嵌套这些 XML 数据点，以创建多个地址的列表。您可以将所有这些地址放到另一个标记中，在本例中这个标记为locations（请参见 清单 1）。

清单 1. XML 中的多个地址

				    
1234 Main Street, Baltimore, MD
    
567 1st Street, San Jose, CA
    
901 Washington Ave, Chicago, IL

要进一步扩展这种方法，可以将这些地址分解为各个组成部分：街道、城市和州，这使得数据处理变得更简单。这样，生成的 XML 文件就更典型，如 清单 2 所示。

清单 2. XML 中完全分解的地址

				    
        1234 Main Street        Baltimore        MD    
    
        567 1st Street        San Jose        CA    
    
        901 Washington Ave        Chicago        IL    

前面提到过，存储 XML 数据的方法有两种，我们刚才看到了其中一种。另一种方法是通过属性存储数据。可以为每个标记分配若干个属性。尽管这种方法不那么常用，但这可能是一种非常有用的工具。有时，它会提供额外的信息，比如一个唯一 ID 或一个事件日期。更常见的情况是添加元数据； 在您的地址示例中，可以使用一个 type 属性来指出该地址是家庭地址还是工作地址，如 清单 3 所示。

清单 3. 添加到 XML 的标记

				    
        1234 Main Street        Baltimore        MD    
    
        567 1st Street        San Jose        CA    
    
        901 Washington Ave        Chicago        IL    

注意，XML 文档总是拥有一个父级根标记/节点，所有其他标记/节点都是该根标记/节点的子级标记/节点。XML 文档的开头部分还可以包含其他声明和定义，以及其他复杂内容（比如 CDATA 块）。强烈建议您参阅 参考资料 部分，以便进一步了解 XML。

回页首

解析 PHP 中的 XML 数据

您已经了解了 XML 的外观和结构，现在我们看看如何解析并以编程方式访问 PHP 中的 XML 数据。有几个针对 PHP 创建的库允许进行 XML 解析，每个库都有其优缺点。这些库包括 DOM、XMLReader/Writer、XML Parser、SimpleXML 等。对于本文的目的，我们主要关注的是 SimpleXML，这是因为它是一个最常用的库，同时也是我的最爱的库之一。

SimpleXML，顾名思义，旨在提供一个非常简单的接口来访问 XML。它可以将 XML 文档转换为内部 PHP 对象格式。访问数据点变得和访问对象变量一样简单。要使用 SimpleXML 解析一个 XML 文档，只需使用 simplexml_load_file() 函数（请参见 清单 4）。

清单 4. 使用 SimpleXML 解析文档

就这么简单！但是请注意，多亏了 PHP 的文件流集成，才可以在这里插入一个文件名或 URL，文件流集成会自动取回它。如果 XML 已经载入内存，还可以使用 simplexml_load_string()。如果您在 清单 3 中的 XML 上运行这个代码并使用 print_r() 来查看查看数据的大致结构，您将得到如 清单 5 所示的输出。

清单 5. 已解析的 XML 的输出

				SimpleXMLElement Object (     [address] => Array         (             [0] => SimpleXMLElement Object                 (                     [@attributes] => Array                         (                             [type] => home                         )                     [street] => 1234 Main Street                     [city] => Baltimore                     [state] => MD                 )              [1] => SimpleXMLElement Object                 (                     [@attributes] => Array                         (                             [type] => work                         )                     [street] => 567 1st Street                     [city] => San Jose                     [state] => CA                 )              [2] => SimpleXMLElement Object                 (                     [@attributes] => Array                         (                             [type] => work                         )                      [street] => 901 Washington Ave                     [city] => Chicago                     [state] => IL                 )          ))

然后，您就可以使用标准的 PHP 对象访问和方法访问数据。例如，要回显某人居住过的每个州，可以通过迭代地址来实现（请参见清单 6）。

清单 6. 迭代地址

				address as $address) {    echo $address->state, "
\n";}?>

访问属性略有不同。与引用对象属性不同的是，您可以将属性作为数组值访问。您可以更改上面的代码样例来显示 type 属性，可以使用 清单 7 中所示代码实现上述操作。

清单 7. 添加属性

				address as $address) {    echo $address->state, ': ', $address['type'], "
\n";}?>

尽管上述所有示例都涉及迭代，但您也可以直接访问数据并使用您需要的特定信息片段，比如通过下面的代码提取第二个地址的街道地址：$xml->address[1]->street。

现在，您应该有一些基本工具来开始处理 XML 数据。有关的详细信息，强烈建议您参阅 参考资料 中列出的 SimpleXML 文档和其他链接。

回页首

PHP 中的数据挖掘：可能的方法

如前所述，可以用多种方法访问数据，其中两种主要方法是 Web 擦除和 API 使用。

Web 擦除

Web 擦除（scraping）是以编程方式下载所有 Web 页面并从中提取数据的操作。有很多图书专门讨论了这个主题（请参阅 参考资料）。我只简单列举进行 Web 擦除所需的一些工具。首先，PHP 使得将一个 Web 页读入为一个字符串变得非常简单。有许多方法可以完成这个任务，包括通过某个 URL 使用 file_get_contents()，但在这里，您希望能以一种有意义的方式来解析 HTML。

因为 HTML 实质上是一种基于 XML 的语言，所以将 HTML 转换为一种 SimpleXML 结构很有用。但是不能只使用simplexml_load_file() 加载 HTML 页面，因为即使是有效的 HTML，它仍然不是 XML。一种好办法是使用 DOM 扩展，将 HTML 页面作为 DOM 文档载入，然后将其转换为 SimpleXML，如 清单 8 所示。

清单 8. 使用 DOM 方法来获取 Web 页面的 SimpleXML 版本

				loadHTMLFile('http://example.com/');$xml = simplexml_import_dom($dom);?>

现在，您可以像对其他 XML 文档一样遍历 HTML 页面。因此，您现在可以使用 $xml->head->title 来访问页面标题，或者使用 $xml->body->p[0]->p[0]->p[0]->h4[0] 这样的引用来深入页面。

但是，正如您从上一个示例中可以预料到的那样，试图从一个 HTML 页面中查找数据有时可能非常不便，这是因为 HTML 页面通常不像 XML 文件那样有良好的结构。上面那行代码查找三个嵌套的 p 中的第一个 h4；在每种情况下，它都会查找每个父 p 中的第一个 p。

幸运的是，如果您只想查找页面上的第一个 h4，或者其他 “直接数据”，那么 XPath 是一种更简单的实现方法。XPath 是一个非常强大的工具，可以将它作为整个文章系列的主题（请参阅 参考资料 中列示的部分文章）。简言之，可以使用 '/' 来描述层级关系；因此，可以将前面的引用重写为下面的 XPath 搜索（请参见 清单 9）。

清单 9. 直接使用 XPath

				xpath('/html/body/p/p/p/h4');?>

或者，您可以只使用 '//' 选项和 XPath，这将搜索所有文档，查找您要查找的标记。因此，您可以找到所有 h4，生成一个数组，然后使用下面的 XPath 访问第一个 h4：
'//h4'

遍历 HTML 分层结构

讨论上述转换和 XPath 的主要原因是，进行 Web 擦除的常见必要任务之一就是自动查找 Web 页面上的其他链接并追索它们，这允许您 “遍历” 网站，找到尽量多的信息。

如果使用 XPath，这个任务将非常麻烦。清单 10 提供了一个由所有带有 “href” 属性的 链接组成的数组，并允许您处理它们。

				loadHTMLFile('http://example.com/');$xml = simplexml_import_dom($dom);$links = $xml->xpath('//a[@href]');foreach ($links as $l) {    echo $l['href'], "
\n";}?>

现在，上面的代码找到了所有 链接，但如果您打开您发现的每个可能链接，您就开始快速 “爬行” 整个 Web。因此，最好增强您的代码，确保只访问两类链接：一类是有效的 HTML 链接（不是 FTP 或 JavaScript）；一类是只返回（通过完整或相对域链接）同一个网站的链接。

				loadHTMLFile("http://{$host}/");$xml = simplexml_import_dom($dom);$links = $xml->xpath('//a[@href]');foreach ($links as $l) {    $p = parse_url($l['href']);    if (empty($p['scheme']) || in_array($p['scheme'], array('http', 'https'))) {        if (empty($p['host']) || ($host == $p['host'])) {            echo $l['href'], "
\n"; // Handle URL iteration here        }    }}?>

				
channel->item as $item) {    echo "
link}\">{$item->title}
";}?>

				 'flickr.photos.search',    'api_key' => $key,    'text' => 'crossbow', // Our search term    'media' => 'photos',    'per_page' => 20 // We only want 20 results);// Now make the request to Flickr:$xml = simplexml_load_file($apiurl . http_build_query($params));// From this, iterate over the list of photos & request more info:foreach ($xml->photos->photo as $photo) {    // Build a new request with this photo's ID    $params = array(        'method' => 'flickr.photos.getInfo',        'api_key' => $key,        'photo_id' => (string)$photo['id']    );    $info = simplexml_load_file($apiurl . http_build_query($params));        // Now $info holds a vast amount of data about the image including    //  owner, GPS, dates, description, tags, etc ... all to be used.    // Let's also request "sizes" to get all of the image URLs:    $params = array(        'method' => 'flickr.photos.getSizes',        'api_key' => $key,        'photo_id' => (string)$photo['id']    );    $sizes = simplexml_load_file($apiurl . http_build_query($params));    $small = $sizes->xpath("//size[@label='Small']");        // For now, just going to create a simple display of the image,    //  linked back to Flickr, with title, GPS info, and more shown:    echo <<          
    
Title: {$info->photo->title}
    
User: {$info->photo->owner['realname']}
    
Date Taken: {$info->photo->dates['taken']}
    
Location: {$info->photo->location->locality},         {$info->photo->location->county},        {$info->photo->location->region},         {$info->photo->location->country}    
  
EOHTML;}?>