У многих сателлитчиков возникают проблемы с контентом, поэтому я хочу поделиться с вами одним из способов получения уникального контента. Это контент с социальной сети Вконтакте, для тех кто ещё не знает, социальная сеть Вконтакте не индексируется Яндексом в полном объеме, а только на 68 страниц. Я не знаю с чем связана такая политика сайта Вконтакте, но для сателлитчика это золотая жила, ведь там так много контента в группах, на стенах и ещё много где. Осталось найти хорошее программное решение для выкачивания всего этого контента.
Хочу вам представить парсер обсуждений на сайте vkontakte.ru. Данное чудо стоит 40$, но нужно знать, за что мы платим.
Парсер я запустил у себя на локальном сервере “Денвер”, ввёл свои данные Вконтакте, а так же указал какая группа мне интересна.
После чего начался процесс парсинга контента из группы…
В итоге получился .txt файл, в котором всё было разложено по форме “АВТОР СООБЩЕНИЯ|ДАТА СООБЩЕНИЯ|АДРЕС ДО АВАТАРА|СООБЩЕНИЕ|НАЗВАНИЕ ГРУППЫ|ТЕМА ОБСУЖДЕНИЯ|НОМЕР ГРУППЫ”, который можно легко сконвертировать в дамп под нужный вам движок с помощью конвертера баз данных.
Хоть и для прошаренных людей эта тема будет не нова, но контент с Вконтакте можно назвать резиновым и его хватит на всех, потому что Вконтакте относится к тем ресурсам, которые сами генерируют контент ежесекундно.
Хотите решить проблему с контентом для своих сателлитов раз и навсегда, тогда покупайте данное программное решение, рекомендую.
Или же перевести 40wmz на кошелек: Z393055235309 (или R127327149892 по курсу 1:30)
В примечании платежа указать: “свой email|За парсер vkontakte.ru”
В течении 24 часов, вы получите скрипт.Страница парсера
P.S. Что-то последнее время я начал палить много софта с помощью которого можно получить тИЦ, контент и прочие плюшки, нравится?
Женский журнал
Гараж
Serezhik
26.11.2009 в 13:33
Материал интересный, Роману спасибо. Про контент вконтакте слышал уже, только для сателлитов подойдет. Для своих сателлитов использовать врядли буду.
Aldegrion
26.11.2009 в 14:11
Аналогично. Для своих сателлитов использую только собственный рерайт.
Puzat, софт это конечно хорошо, только вот у тебя как то малоподробно расписано
P.S. как там твои ученики, успехи есть?
Пузат
26.11.2009 в 14:57
Если есть какие-то вопросы по софту, спрашивайте.
Ученики, учатся
Sib
26.11.2009 в 14:12
Где то совсем недавно видел скрин с полученным контентом. Жутко не понравилось. Контент может быть и уникальный, но по сравнению с ним ИМХО любой лытыдыбр – более читабельный. Хотя, я думаю, что Яша будет кушать подобный контент еще очень и очень долго, прежде чем научится выкидывать подобное из выдачи.
PS. +1 как процесс обучения идет?
Пузат
26.11.2009 в 14:27
Процесс обучения идёт, под Новый год будем итоги подводить, что-то и на блоге освящу.
Артём Савельев
26.11.2009 в 15:39
На долго ли хватит такого скрипта? То есть как быстро вконтакт может спалить и прикрыть лавочку?
Пузат
27.11.2009 в 12:47
К сожалению это никому не известно, но я думаю парсер обновится если лазейку прикроют и лазейка будет снова найдена.
Ghost Bear
26.11.2009 в 15:59
Спасибо за наводку, пойду писать собственный парсер.
pion2er
26.11.2009 в 16:30
Не знаю какой смысл получать такой контент, если можно бесплатно генерить бред более менее читабельный. Хоть смысла в тексте будет мало, но его тоже можно генерить бесконечно
У меня так и работает. Сайт запускается за 1 минуту. Пример покажу, если надо в мыло.
Пузат
27.11.2009 в 12:21
Вышли мне пример на puzatrumail.ru
Kubig
26.11.2009 в 19:25
Зря мне кажется такие вещи не должны просто так в паблик выходить, теперь любой нубяра для своих ГС распарсит весь vk
Пузат
27.11.2009 в 12:51
Если уже вышло, то я хочу чтобы мои читатели первым узнали об этом.
Agor71
27.11.2009 в 00:01
Программа явно полезная. Но есть один вопрос: может ли она самостоятельно отправлять все это в различные CMS, причем только текстовые данные (без имени написавшего, группы обсуждения и так далее). Просто если все это правильно организовать, можно, например, получить хороший самонаполняющийся форум. Вот только как бы все это реализовать?
P. S. Извините, просто «мысли вслух». Хотелось бы узнать, он вообще может с CMS в автоматическом режиме работать?
Пузат
27.11.2009 в 12:39
Нет, но предложить вектор развития автору или дописать самому я думаю вы всегда сможете.
parsermaster
27.11.2009 в 11:51
Agor71, автоматическое наполнение сейчас реализовано только в WP, в виде отдельного плагина. Вообще же формат на выходе так и задумывался быть универсальным. Отчасти прилагающийся конвертер, может быть использован для составления любого нужного SQL дампа или XML файла для импорта в CMS.
Kintolp
27.11.2009 в 12:21
данная информация не является новой (автор об этом упоминал) и не думаю, что теперь прям все взяли и начали парсить и граберить вконтакте.
snikus
27.11.2009 в 22:38
Ха тут тоже можно попать, вдруг кто-то тоже качает контент с тойже группы.
Пузат
30.11.2009 в 17:37
Согласен, если не штамповка, то нужно проверять.
Валентин
28.11.2009 в 02:12
Страницы закрыты, потому что создатели знали, что оптимизаторы захотят жирной ссылочки с контакта
Пузат
30.11.2009 в 17:34
Но тем самым они дали возможность получать отличный контент.
Игорь
30.11.2009 в 02:57
Если бы вконтакте индексировался, то тогда там бы спаму было намного больше чем сейчас.
А не индексируется он потому что страницы пользователя доступны только для зарегистрированных.
А боты поисковиков нигде не регистрируются.
Стас
01.12.2009 в 02:24
Полезная софтинка. В принципе как я понял с контакта можно напарсить текста на любую тематику. А конвентер для вордпресса есть?
Пузат
10.12.2009 в 23:57
Есть, но руками допилить нужно будет.
online
04.12.2009 в 18:39
Интересная вещь. Но не указаны недостатки
Пузат
10.12.2009 в 23:47
Спросите наводящие вопросы и может мы их выявим, я лично недостатков не заметил.
lisa
10.12.2009 в 01:48
Ну и как вам сгенерированный бред, о котором писал автор коммента выше?)
Пузат
10.12.2009 в 23:15
Это которому я ответил?
Артём Савельев
10.12.2009 в 02:09
Крутой бред =)
А скрипт отличный. Под себя доработать не проблема, чтобы экспортировать в нужном виде
lisa
11.12.2009 в 01:33
хех..тут появился ряд интересных моментов.
а) что значит “переделать под себя”? там нет зенда и обфускации?
б) парсеры долго не живут. сегодня автор поддерживает проект, завтра бросит, как ..автор сабмиттера -remark…_как-то-там
в) надо идти другим путем, имхо, совсем другим =)
Пузат
12.12.2009 в 00:30
а) думаю лучше спросить у разработчиков, так как наш штатный программист уже ушёл на выходные
б) вечного ничего не бывает
в) предлогайте
SLiDER
16.12.2009 в 12:08
Тема не нова. Только вот проблема в том что потом весь этот контент надо проверять на уникальность. В этом основная проблема. Было бы замечательно если бы Парсер сам это дела. Сам, лично, вчера сидел парсил себе контент. В первый раз напарсил 95 страниц в ворде =)
mihalich
19.12.2009 в 23:01
если бы еще желающих парсить было бы не так много. уже почти все выдернули. радует что яндекс пока не банит два разных сайты с одинаковыми обсуждениями.
ну самое главное что контент там говно. если бы люди просто писали ни о чем. так они переписываются какими то символам, смайликами и тд.
RaSH
04.02.2010 в 20:45
Поддерживаю mihalich-а. Но от этих смайлов тоже можно избавиться простой автозаменой
Ну а так идея неплохая =)
Combox
23.02.2010 в 06:52
Классс!!! Спасибо за сраленную темку, буду знать:)
seoulsk
14.03.2010 в 01:24
Существует ещё один нюанс как минимум половина контента из подобных сообществ является копипастом с других сайтов. Так что влететь можно запросто.
Игорь Лысенко
19.05.2010 в 21:21
Прикрыли парсерок… А жаль. Интересно, в чем причина?
Андрюха
08.09.2010 в 13:13
а почему написано что скрипт потерял свою актуальность?
alexandret
02.10.2010 в 03:28
тоже интересно, почему уже неактуально?
Пузат
08.10.2010 в 14:15
Яндекс начал индексировать Вконтакте.
Eltis
22.12.2010 в 20:39
А мне нравится парсить недельные сайты ))) Провереете у регистраторов недавно зареганые домены и вперед!! Или можно парсить waybackmachine, а еще лучше скупать домены и парсить прямо туда… Но это отдельная тема для разговора.
wilar
20.06.2011 в 15:04
Скорее всего скрипт потерял актуальность потому что контакт потерял верстку и он уже не тянет контент. Я сейчас вытягиваю с контакта контент для сових сателитов парсером datacol
ZUBARSOFT
21.09.2011 в 10:55
Кому будет интересно есть программа для администраторов групп вконтакте: VKGroupCommentsToCSV – сбор комментариев к фотографиям и обсуждениям для групп vkontakte
gas_mobile
29.09.2011 в 11:44
А есть парсер пользователей групп и паблик страниц? мне вот такая штука нужна, если у кого есть стучитесь icq 145053000, или звоните 89261595927