我如何用PHP做一个简单的爬虫？

发布日期：2018-03-10 15:29
分类：PHP
浏览次数：112
如下:
我有一个有很多链接的网页，我想编写一个脚本，它可以将所有包含在那些链接中的数据转储在一个本地文件中。
有人用PHP实现了这个功能吗？所有的参考和陷阱都可以是答案。

回答

不要用正则表达式来解析。使用PHP自带的DOM解析器（DOM解析器是用来解析HTML代码的利器，居家旅行必备）。
loadHTMLFile($url);

    $anchors = $dom->getElementsByTagName('a');
    foreach ($anchors as $element) {
        $href = $element->getAttribute('href');
        if (0 !== strpos($href, 'http')) {
            $path = '/' . ltrim($href, '/');
            if (extension_loaded('http')) {
                $href = http_build_url($url, array('path' => $path));
            } else {
                $parts = parse_url($url);
                $href = $parts['scheme'] . '://';
                if (isset($parts['user']) && isset($parts['pass'])) {
                    $href .= $parts['user'] . ':' . $parts['pass'] . '@';
                }
                $href .= $parts['host'];
                if (isset($parts['port'])) {
                    $href .= ':' . $parts['port'];
                }
                $href .= $path;
            }
        }
        crawl_page($href, $depth - 1);
    }
    echo "URL:",$url,PHP_EOL,"CONTENT:",PHP_EOL,$dom->saveHTML(),PHP_EOL,PHP_EOL;
}
crawl_page("http://hobodave.com", 2);
上一篇If isset $_POST
在PHP中裁减图像下一篇
下一篇在PHP中裁减图像

最新文章