Парсинг web-страниц на php
В этом нелегком деле нам поможет PHP Simple HTML DOM Parser.
Самая последняя версия доступна на sourceforge.net.
На сегодняшний день последней является версия 1.5. Её и будем скачивать:
wget -O simplehtmldom_1_5.zip http://downloads.sourceforge.net/project/simplehtmldom/simplehtmldom/1.5/simplehtmldom_1_5.zip?r=http%3A%2F%2Fsourceforge.net%2Fprojects%2Fsimplehtmldom%2Ffiles%2Fsimplehtmldom%2F1.5%2F\&ts=1433252429\&use_mirror=softlayer-ams
Скачали, распаковываем в папку, которая доступна по вэбу, допустим /var/www/html/webparser:
mkdir /var/www/html/webparser
mv simplehtmldom_1_5.zip /var/www/html/webparser/
cd /var/www/html/webparser
unzip simplehtmldom_1_5.zip
Исходя из примера на странице парсера при вызове файла со следующим содержанием будут выведены все объекты img на главной странице mysite.com
<?php
include('simple_html_dom.php');
$html = file_get_html('http://www.mysite.com/');
foreach($html->find('img') as $element)
echo $element->src . '<br>';
?>
При вызове файла со следующим содержанием будут выведены все сслыки с главной страницы сайта mysite.com
<?php
include('simple_html_dom.php');
$html = file_get_html('http://www.mysite.com/');
foreach($html->find('a') as $element)
echo $element->href . '<br>';
?>
Даже не пробуйте делать var_dump($element), поскольку это приведет в зависанию вашего компьютера и/или сервера, на котором Вы развернули парсер.
Вооружившись тестовыми данными я решил попарсить песочницу хабра. Следующий код выведет первые десять постов:
<?php
include('simple_html_dom.php');
$html = file_get_html('http://habrahabr.ru/sandbox/');
$cnt = 10;
foreach($html->find('.post') as $post) {
foreach($post->find('h1') as $header) {
echo str_replace('a href="','a href="http://habrahabr.ru',$header->find('a')[0]) . '<br>';
$cnt--;
}
if ($cnt <= 0){
break;
}
}
?>
Обработка ссылок с тэгом h2 на примере tecmint.com:
<?php
include('simple_html_dom.php');
$html = file_get_html('http://www.tecmint.com/');
foreach($html->find('h2') as $post)
echo $post->find('a')[0] . '<br>';
?>