www.rookee.ru

Как зарабатывать на скрапинге сайтов и поисковой выдачи

Конкретный пример, как один сайт зарабатывает $50,000 в месяц за счёт скрапинга избранных сниппетов и ответов на часто задаваемые вопросы в Google, размещая чужой контент.

Как зарабатывать на скрапинге сайтов и поисковой выдачи

А спонсором блога в этом месяце выступает сервис Rookee. Когда требуется комплексное поисковое продвижение, контекстная реклама на автопилоте или формирование репутации в сети – на помощь приходят Rookee!

Когда, с одной стороны, Google утверждает, что нельзя публиковать автоматически сгенерированный контент, потому что «он плохой», а с другой, видишь в выдаче очередной успешный дорвей, так и хочется заняться чёрным SEO.

Сегодня предлагаю взглянуть на сайт, ежемесячно получавший (до недавнего времени) миллионы посещений из органической поисковой выдачи, и зарабатывавший несколько миллионов рублей.

Но сначала немного теории…

Что такое скрапинг?

Веб-скрапинг (web scraping, скрейпинг или скрепинг) – это технология получения информации, путём извлечения данных со страниц веб-сайтов. Обычно подразумевает автоматизацию, но может выполняться и вручную.

Чем скрапинг отличается от парсинга?

Парсинг – это синтаксический анализ, разбор текста в синтаксическое дерево, в соответствии с формальной грамматикой. Обычная стандартная операция в начале компиляции.

А вот загрузка веб-страницы и попытка извлечь из неё информацию, обычно, из формы, не предназначенной для этого, и в обход API и ограничений (а часто, и правил пользования сайтом) – это веб-скрейпинг.

Пример современного дорвея на скрапинге

Один предприимчивый вебмастер приобрёл дроп (просроченное доменное имя) lisbdnet.com и создал на нём статейник (информационный сайт) на WordPress с простым минималистичным шаблоном.

В качестве наполнения были собраны миллионы вопросов и ответов из спецэлемента Google «People Also Ask» (похожие вопросы). По сути, это контент (украденный) с других сайтов.

Пример современного дорвея на скрапинге

Вопросы были сгруппированы по сотням тысяч тем (кластеров). Под каждую тему была создана отдельная страница с десятками вопросов и ответов, оглавлением и блоками похожих статей (перелинковкой).

Каждый вопрос (поисковый запрос) оформлялся в виде подзаголовка H2, а ответ на него – в виде одного абзаца обычного текста.

Пример контента для дорвея на скрейпинге

Таким образом, вебмастер получил сотни тысяч страниц с множеством подзаголовков, которые могут собирать трафик из поисковых систем по огромному количеству низкочастотных запросов.

По главному гео (США) в апреле 2022-го сайт ранжировался в Google почти по миллиону ключей, согласно данным сервиса Serpstat. Учтите, что это далеко не полные данные.

Тренд ключевых слов дорвея в Google

Помимо текста, на страницах проекта присутствуют видеоролики. Владелец использует YouTube API для получения и внедрения 4 лучших видео с Ютуба по каждому из основных поисковых запросов.

Как известно, видео добавляет сайту дополнительную ценность в глазах поисковых систем, улучшая пользовательские факторы, повышая время просмотра страниц, заставляя людей дольше задерживаться внутри проекта.

Трафик и вовлечение пользователей дорвея lisbdnet.com

Согласно данным сервиса Similarweb, дорвей генерировал около 6 миллионов визитов в месяц. 90% трафика приходилось на поисковые системы. 9% – прямые заходы.

Монетизация шла через рекламную платформу Ezoic. Это технологический партнёр Google, который предоставляет доступ к таким инструментам, как AdSense, Media.net, CJ Affiliate, OpenX, Komoona, Index Exchange, Exponential, Criteo и другие.

По приблизительным подсчётам, сайт зарабатывал около 50,000 фунтов стерлингов, или около 4.5 миллионов рублей в месяц. Фактически, на полном пассиве.

Ссылочный профиль сайта, использующего скрапинг

Да, судьба этого дорвея, как и многих других его собратьев, привела проект к неминуемому бану и деиндексации в Google. Однако, за время своего существования он смог принести владельцу несколько сотен тысяч долларов.

Как повторить успех lisbdnet.com?

Есть более этичный и элегантный вариант создания аналогичных дорвеев на скрапинге поисковой выдачи. При этом не нужно даже воровать чужой контент.

  1. Выкачиваем данные из пациента с помощью обычного Python-скрапера.
  2. Получаем несколько сотен тысяч страниц, заголовков и подзаголовков.
  3. Организуем полученную информацию в базу данных.
  4. Для каждого подзаголовка генерируем контент с помощью инструментов машинного обучения, например – Jasper (бывший Jarvis).
  5. Публикуем в полуавтоматическом режиме около 100 страниц в день (из-за технических ограничений) или около 2,500 страниц в месяц.
  6. Через год такой работы, наслаждаетесь солидным потоком низкочастотного трафика и начинаете подсчитывать доллары, поступающие на ваш банковский счёт.
Топовые страницы дорвея lisbdnet.com

Но только не думайте, что это нечто новое и уникальное. Над аналогичными проектами уже давно работают десятки или даже сотни опытных вебмастеров-дорвейщиков по всему миру.

Успехов!

ПОНРАВИЛСЯ ПОСТ? ПОДЕЛИСЬ ССЫЛКОЙ С ДРУЗЬЯМИ!

Получать новые публикации по электронной почте:

Skyeng

СТАТЬИ ИЗ РУБРИКИ:

5 4 голоса
Рейтинг статьи
Подписаться
Уведомить о
guest

12 комментариев
Старые
Новые Популярные
Межтекстовые Отзывы
Посмотреть все комментарии
seoonly.ru
4 месяцев назад

дорвейщики)

Аспирант
4 месяцев назад
Ответить на  seoonly.ru

Они повсюду! =)

Макс
Макс
4 месяцев назад

Откуда информация про 50к?

Аспирант
4 месяцев назад
Ответить на  Макс

Тут вы можете даже самостоятельно всё посчитать, при большом желании.

Актуальный средний доход за 1,000 показов в Адсенс по всем странам: $7. По США – $13.

Берём 6 миллионов просмотров, делим на 1,000 и умножаем на 13 (или на 7, чтобы учесть самый пессимистический вариант). Получаем $78,000 (ну или $42,000, во втором варианте).

isape
isape
4 месяцев назад

а сам непробовал такое приготовить? звучит вроде замачиво, но полюбасу там есть же какие то поддвохи… Вот бы блексео написал свое экспертное мнение, взлетит такое или нет 🙂

Аспирант
4 месяцев назад
Ответить на  isape

Именно такое пока не пробовал. Всё в планах.

Евгений
Евгений
4 месяцев назад

А за что бан сайта?

Аспирант
4 месяцев назад
Ответить на  Евгений

За попытку манипулировать алгоритмами ранжирования Google.

Doorwaymoney
Doorwaymoney
4 месяцев назад

Ну ничего нового. Доработанные технологии SED от 2007 года или BigDuglas.
Один фиг… Берем снипеты – генерим СДЛ.
По поводу дохода – не факт что такие цифры, на дорах обычно берут 1/5 от нормального дохода. Они не приносят столько же сколько обычные сайты.
Кроме этого не все такие штуки взлетают.

Технически не сложный дорген, ~10 запросов гугла на страницу.
100 страниц в день – 10-20 прокси хороших нужно. Это копейки.

Аспирант
4 месяцев назад
Ответить на  Doorwaymoney

Если взять 1/5, получится около $10,000. Думаю, всё равно неплохо.

Doorwaymoney
Doorwaymoney
4 месяцев назад

Спам по открытым каталогам и т.д. (вон страничка с подсказками):
https://lisbdnet.tumblr.com/

Обрати внимание на бэк с трастовых площадок, его точно добавил не старый хозяин, например с:
https://angel.co/u/lisbdnet

Кроме этого если погуглить не много, можно легко найти чей был сайт:
https://web.archive.org/web/20190603141256/http://www.lisbdnet.com/about-us/

Короче какой-то Индус писал про ерунду какую-то, но для нас интересен его старый e-mail: ashiklisbd@gmail.com

Если загуглить его, можно получить сеточку из 7 сайтов, которые юзают Webarchive для своих целей:
https://www.google.com/search?q=ashiklisbd%40gmail.com

PS. Так что ничего не пропадает зря…. Ни домены, ни старый контент ни что-то еще.
PS2. Сайт возможно хорошо стартанул, так как он изначально был статейником, который надоел его автору или тот помер… Не много проспама, “хороший контент” и вот и результат. Кстати дорген там более сложный, так как есть различные типы страницы и различные источники….

Аспирант
4 месяцев назад
Ответить на  Doorwaymoney

Большое спасибо за информацию!

12
0
Оставьте комментарий! Напишите, что думаете по поводу статьи.x