|
|
||
|
|
|
Как легко напарсить базу сайтов/блогов
Для парсинга базы нам понадобятся 2 программы:
Допустим, нам нужна база блогов. Покажу на примере рейтинга блогов, как ее получить. 1. Прокручиваем страницу рейтинга вниз и копируем ссылку на последнюю страницу:
2. Открываем Download Master и добавляем группу закачек:
3. Вставляем скопированный урл последней страницы, заменяем «111» на «$» и говорим, что переменная должна меняться от 0 до 111, нажимаем ОК, потом еще раз:
4. Выбираем, куда сохранить html-файлы и начинаем закачку:
5. После того, как все html-страницы сохранились, нам нужно выдрать из них ссылки на блоги, для этого используем Extract Link. Нажимаем кнопку «New Search», выбираем папку с сохраненными html-страницами, на вкладке Option отметьте галочками «Remove duplicate results» и «Remove duplicate base», на вкладке Exclude/Exclude Text напишите построчно feedburner.com и blograte.ru, чтобы в базе было меньше ненужных урлов:
6. После парсинга html-страниц получим список урлов, встречающихся на сохраненных страницах. У меня получилось 3343 урлов вместо 3337 (6 ссылок на главной странице лишние). Результат сохраняете в txt или excel-файл:
7. Получили базу менее чем за 10 минут. Остается использовать ее по назначению Аналогично можно парсить выдачу поисковиков, различные каталоги и рейтинги. // Интернет-магазин проекторов FineBuy продает проекторы optoma, Acer, Benq, Epson, Lg и другие марки по выгодным ценам. Предусмотрена доставка по России.
09.09.2009 | Рубрики: Полезный софт, Советы | Комментарии (32) Оставить комментарий |
|
|||||||||
Если вам вдруг понадобилась база сайтов, например стэнд-алон блогов, то ее можно найти на каком-нибудь форуме, но обычно такие базы не раздают бесплатно, а продают. Можно напарсить базу самостоятельно, если умеете программировать, а если не умеете или не охота, то вот вам бесплатный простой способ напарсить базу сайтов без всякого программирования.
Рекомендую также:
09.09.2009 в 01:11
У меня что-то не совем получилось.
Попробую ещё, возможно я что то не так делаю. Подписался на комменты на всякий случай и если что хотелось бы помощи
09.09.2009 в 08:10
плохой пример. у меня в рейтинг есть opml файлик – там список всех блогов в xml формате. и не надо ничего качать
09.09.2009 в 08:54
Закачать все использовать не пробовали? Эффект тот же. Только списки в Даунлоад мастере чистить надо
09.09.2009 в 10:01
Неплохо, надо попробывать
09.09.2009 в 10:45
dimok, ну почему же? Этот xml еще же распарсить надо, для новичков это проблема. Я предложил самый простой способ.
Dekus, про “закачать все” не понял. Не вижу такого в программе.
09.09.2009 в 15:51
Спасибо интересный способ, я раньше чтобы выкачать какой-то каталог заказывал скрипт)) и не знал что так можно
09.09.2009 в 22:11
А потом в SeoQuake и сортировка по тИЦ или PR. Я по другому делал только, скачивал ompl файл и делал пару движений в EditPlus.
10.09.2009 в 09:45
Неплохо, но у меня с первого раза что-то криво получилось как то.
10.09.2009 в 16:37
А потом сделать дор про SEO? а вы как используете напарсенные блоги?
10.09.2009 в 23:05
Заводской раб, напарсенные блоги можно использовать для спама
12.09.2009 в 21:42
“можно использовать для спама ))” … хе-хе или взять бесплатные красивые ленточки и авто наполнять сайты )
13.09.2009 в 23:46
Что-то не выходит! Винда ошибку при установке дает…(
14.09.2009 в 16:23
интерестный способ грабинга, я использовала скрипт, и парсила гугль по ключевой фразе
14.09.2009 в 17:41
Спасибо интересный способ, и не знал что так можно
16.09.2009 в 09:35
Ваще кУл всё работает база ваще реальная получилась токо надо через SeoQuake по тИЦ и ПР отсортировать и оставить лучшее. база ваще реальная получается
16.09.2009 в 09:47
Только что попробовал – работает. Не задумывался, что можно так Download Master использовать. Оказывается можно
17.09.2009 в 16:55
А зачем их парсить? все равно сделать рассылку комментариев не получится, на всех блогах разный контент, мало того – движок может быть разным.
17.09.2009 в 21:50
Очень помогло чем просто так заходить. Хорошо когда есть разные способы и тем более простые
22.09.2009 в 22:46
У меня что-то не совем получилось.
Попробую ещё, возможно я что то не так делаю.
27.09.2009 в 17:57
Что-то не выходит! А где собака зарыта не пойму (((
29.09.2009 в 01:00
спс. очень интерессный способ.
01.10.2009 в 23:35
Респектище! Очень удобно получается.
02.10.2009 в 00:40
Неплохо, коротко , ясно и без галимых призывов че нить купить…После такого можно поверить, что честный заработок в интернете таки существует. Большое спасибо за статью, реально облегчило жизнь.
18.10.2009 в 20:17
Хороший способ, он как раз нужен мне
23.10.2009 в 16:41
Спасибо интересный способ
03.03.2010 в 17:31
Попробую таким методом напарсить, обычно я алсабом пользуюсь.
14.03.2010 в 17:39
Я teleport-ом пользуюсь, все двумя кликами делается.
20.05.2010 в 17:02
Зачем так сложно-то?
Сабмайтером гораздо проще.
Да и быстрее…
30.05.2010 в 11:58
Согласен Сабмайтером гораздо проще
24.06.2010 в 19:39
Попробывал этот способ. Всё отлично получилось 4600 блогов. Вот только бы автоматически распознавало в ссылках noindex и nofollow. Было бы класно.
12.07.2010 в 17:01
Благодарю за интересную статью!
19.07.2010 в 22:50
Внесу в Закладки, а там посмотрим, как сказал поэт – парсить или не парсить.