Как легко напарсить базу сайтов/блогов

Если вам вдруг понадобилась база сайтов, например стэнд-алон блогов, то ее можно найти на каком-нибудь форуме, но обычно такие базы не раздают бесплатно, а продают. Можно напарсить базу самостоятельно, если умеете программировать, а если не умеете или не охота, то вот вам бесплатный простой способ напарсить базу сайтов без всякого программирования.

Для парсинга базы нам понадобятся 2 программы:

1. Download Master (бесплатная).
2. Extract Link (скачать). Программа не требует установки, просто скачиваете и запускаете.

Допустим, нам нужна база блогов. Покажу на примере рейтинга блогов, как ее получить.

1. Прокручиваем страницу рейтинга вниз и копируем ссылку на последнюю страницу:

2. Открываем Download Master и добавляем группу закачек:

3. Вставляем скопированный урл последней страницы, заменяем «111» на «$» и говорим, что переменная должна меняться от 0 до 111, нажимаем ОК, потом еще раз:

4. Выбираем, куда сохранить html-файлы и начинаем закачку:

5. После того, как все html-страницы сохранились, нам нужно выдрать из них ссылки на блоги, для этого используем Extract Link. Нажимаем кнопку «New Search», выбираем папку с сохраненными html-страницами, на вкладке Option отметьте галочками «Remove duplicate results» и «Remove duplicate base», на вкладке Exclude/Exclude Text напишите построчно feedburner.com и blograte.ru, чтобы в базе было меньше ненужных урлов:

6. После парсинга html-страниц получим список урлов, встречающихся на сохраненных страницах. У меня получилось 3343 урлов вместо 3337 (6 ссылок на главной странице лишние). Результат сохраняете в txt или excel-файл:

7. Получили базу менее чем за 10 минут. Остается использовать ее по назначению

Аналогично можно парсить выдачу поисковиков, различные каталоги и рейтинги.

// Интернет-магазин проекторов FineBuy продает проекторы optoma, Acer, Benq, Epson, Lg и другие марки по выгодным ценам. Предусмотрена доставка по России.
// На сайте OnlyDvdRip можно совершенно бесплатно скачать боевики и любые другие фильмы без регистрации. Большинство фильмов в качестве DVDRip.

Рекомендую также:
» Как легко получить сквозную ссылку с блога
» Не пойму откуда переходы
» Моё новое место работы

Не пользуетесь RSS — подпишитесь на обновления

09.09.2009 | Рубрики: Полезный софт, Советы |

Комментарии (26)

1. Дмитрий пишет:
   09.09.2009 в 01:11

   У меня что-то не совем получилось.
   Попробую ещё, возможно я что то не так делаю. Подписался на комменты на всякий случай и если что хотелось бы помощи

2. dimok пишет:
   09.09.2009 в 08:10

   плохой пример. у меня в рейтинг есть opml файлик – там список всех блогов в xml формате. и не надо ничего качать

3. Dekus пишет:
   09.09.2009 в 08:54

   Закачать все использовать не пробовали? Эффект тот же. Только списки в Даунлоад мастере чистить надо

4. Evgen пишет:
   09.09.2009 в 10:01

   Неплохо, надо попробывать

5. Сергей Жилин пишет:
   09.09.2009 в 10:45

   dimok, ну почему же? Этот xml еще же распарсить надо, для новичков это проблема. Я предложил самый простой способ.

   Dekus, про “закачать все” не понял. Не вижу такого в программе.

6. Leon пишет:
   09.09.2009 в 15:51

   Спасибо интересный способ, я раньше чтобы выкачать какой-то каталог заказывал скрипт)) и не знал что так можно

7. Алтайский блогер пишет:
   09.09.2009 в 22:11

   А потом в SeoQuake и сортировка по тИЦ или PR. Я по другому делал только, скачивал ompl файл и делал пару движений в EditPlus.

8. Илюха пишет:
   10.09.2009 в 09:45

   Неплохо, но у меня с первого раза что-то криво получилось как то.

9. Заводской раб пишет:
   10.09.2009 в 16:37

   А потом сделать дор про SEO? а вы как используете напарсенные блоги?

10. Сергей Жилин пишет:
    10.09.2009 в 23:05

    Заводской раб, напарсенные блоги можно использовать для спама

11. Alex Leo пишет:
    12.09.2009 в 21:42

    “можно использовать для спама ))” … хе-хе или взять бесплатные красивые ленточки и авто наполнять сайты )

12. Taiska пишет:
    13.09.2009 в 23:46

    Что-то не выходит! Винда ошибку при установке дает…(

13. Nataly пишет:
    14.09.2009 в 16:23

    интерестный способ грабинга, я использовала скрипт, и парсила гугль по ключевой фразе

14. роман пишет:
    14.09.2009 в 17:41

    Спасибо интересный способ, и не знал что так можно

15. Тимофей пишет:
    16.09.2009 в 09:35

    Ваще кУл всё работает база ваще реальная получилась токо надо через SeoQuake по тИЦ и ПР отсортировать и оставить лучшее. база ваще реальная получается

16. PRamzes пишет:
    16.09.2009 в 09:47

    Только что попробовал – работает. Не задумывался, что можно так Download Master использовать. Оказывается можно

17. Алексей пишет:
    17.09.2009 в 16:55

    А зачем их парсить? все равно сделать рассылку комментариев не получится, на всех блогах разный контент, мало того – движок может быть разным.

18. Admirus пишет:
    17.09.2009 в 21:50

    Очень помогло чем просто так заходить. Хорошо когда есть разные способы и тем более простые

19. Шерхан пишет:
    22.09.2009 в 22:46

    У меня что-то не совем получилось.
    Попробую ещё, возможно я что то не так делаю.

20. Marinya пишет:
    27.09.2009 в 17:57

    Что-то не выходит! А где собака зарыта не пойму (((

21. TimNet пишет:
    29.09.2009 в 01:00

    спс. очень интерессный способ.

22. Lavren пишет:
    01.10.2009 в 23:35

    Респектище! Очень удобно получается.

23. zombinator пишет:
    02.10.2009 в 00:40

    Неплохо, коротко , ясно и без галимых призывов че нить купить…После такого можно поверить, что честный заработок в интернете таки существует. Большое спасибо за статью, реально облегчило жизнь.

24. Заводской раб пишет:
    18.10.2009 в 20:17

    Хороший способ, он как раз нужен мне

25. Алексей пишет:
    23.10.2009 в 16:41

    Спасибо интересный способ

26. Николай пишет:
    03.03.2010 в 17:31

    Попробую таким методом напарсить, обычно я алсабом пользуюсь.

Оставить комментарий

Имя

E-Mail (не публикуется)

Сайт

Подписаться на комментарии

Я не робот.