A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

1.2.2596 - обход новой проверки Google, несколько других исправлений



Примерно с вечера 15 января Google поиск начал требовать в обязательном порядке включенный JavaScript и включил дополнительную проверку. Из-за это перестали работать существующие парсеры Google, проблема затронула даже такие крупные сервисы, как Similarweb.

Мы также начали получать множество сообщений о проблеме с парсером Google, и сразу взялись за ее решение. Первый, временный, фикс был выпущен уже на следующий день. После этого было еще несколько исправлений, а финальное решение стало доступным 20 января.

После нескольких дней тестирования было решено сделать внеочередной релиз, чтобы у пользователей на stable канале обновлений также возобновилась возможность парсить Google.


Кроме этого в релиз вошли следующие изменения:

• В парсерах OpenAI::* теперь можно указывать API domain с протоколом (http/https)
• Исправлена ошибка инициализации
  
  Util::AntiGate в некоторых окружениях
• Исправлена работа
  
  Social::Instagram::Search
• Исправлена проблема, из-за которой в
  
  Social::Instagram::Geo собиралось только 24 поста

Дайджест новостей A-Parser


Выгрузка кликов из GSC

Новый парсер от пользователя @seohive. С его помощью можно выгружать из Google Search Console статистику по кликам в проекте. Выгружает брендовые и все клики. Можно отдельно указать маску url и выгрузить клики определенного раздела сайта. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API.


Выгрузка поискового трафика из Яндекс Метрики

Еще один новый парсер от пользователя @seohive. С его помощью можно выгружать из Яндекс Метрики статистику по трафику из поисковых систем. Выгружает трафик из Яндекс, Google и небрендовый из Яндекс. Можно отдельно указать маску url и выгрузить трафик определенного раздела сайта. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API.


Выгрузка данных по позициям из Topvisor

И еще один новый парсер от @seohive. С его помощью можно выгружать из проекта в Topvisor статистику по позициям в проекте. Выгружает по группам и конкурентам количество запросов всего, в ТОП 3, ТОП 10 и ТОП 30 по датам. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API.


Работа парсера SE::Google

Напоминаем, что недавно Google ввел дополнительную проверку на включенный JS в поиске, из-за чего нарушилась работа многих парсеров и сервисов. Мы оперативно выпустили обновление для SE::Google и постоянно продолжаем отслеживать изменения. После выпуска stable версии у гугла были еще изменения, поэтому (на момент публикации новости) для корректной работы парсера Google нужно обновиться на последнюю beta версию.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Видео урок: вывод результатов в CSV, JSON и HTML

Новое видео по работе с A-Parser от DIM STUDIO в котором показаны способы форматирования результатов в CSV, HTML и JSON.


Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

Дайджест новостей A-Parser

Meta Ad Library
Новый парсер в каталоге: парсер библиотеки рекламы Meta (Facebook, Instagram, Whatsapp...). Позволяет собирать количество рекламных объявлений по ключевому слову с учетом заданных фильтров и массив рекламных объявлений.

Парсер поиска Телеграм постов по ключевым словам с tgdev.io/tme
Обновление одноименного парсера.

• Убраны не актуальные опции, убрано решение каптчи
• Исправлен сбор результатов

Парсинг объявлений из olx.ua/olx.pl/olx.kz
Обновление парсера данных из объявлений на OLX

• Исправлен парсинг номеров телефонов
• Исправлен парсинг кол-ва просмотров

JS::SEYandex:: Position::ByRegion
Обновление парсера для проверки позиций сайтов в поисковой выдаче Яндекс сразу по нескольким регионам

• Парсер переписан на JS API v2 (TS)
• Вместо выбора пресета настроек теперь используется наследование от
  
  SE::YandexPosition
• В парсере теперь используется новый, более полный и актуальный справочник регионов

Подсказки Google Play
Обновление парсера подсказок магазина Google Play

• Адаптация к изменениям на источнике

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

1.2.2640 - новый парсер скриншотов, оптимизации и исправления встроенных парсеров, интерфейса и API



Улучшения

• Добавлен новый парсер -
  
  Browser::ScreenshotsMaker
• Исправлен и улучшен парсинг генеративных ответов в
  
  SE::Yandex
• В
  
  SE::Google::Translate улучшен перевод в Desktop режиме
• В
  
  SE::Bing добавлена возможность указывать язык результатов
• В
  
  Net::HTTP для Engine=Chrome добавлен $response.Time
• 
  IP::Info - добавлена переменная $ip
• Обновлен список стран в парсерах Ahrefs
• На карточках заданий в очереди даты теперь выводятся с годом

Исправления в связи с изменениями в выдаче

• Окончательно реализован обход проверки на JS в
  
  SE::Google
• Исправлена ситуация когда в
  
  SE::Yandex при Engine=Browser выдача ошибочно определялась как каптча
• Исправлено авторазгадывание в
  
  Util::Turnstile
• Исправлен парсинг PAA в
  
  SE::Google
• Исправлена работа
  
  Reddit:osts
• Исправлена ситуация с попаданием рекламы в результаты
  
  Shop::Amazon, а также исправлен сбор $commentscount
• Исправлен сбор некоторых данных в
  
  Social::Instagram:ost

Исправления

• 
  SE::Google - исправлена проблема утечки памяти связанной с использованием Playwright
• 
  SE::Google::KeywordPlanner::SearchVolume - исправлено определение $volume_type
• 
  Maps::Google - исправлена работа с опцией Collect full region в некоторых случаях
• Исправлена ситуация, когда в пресете настроек
  
  SE::Yandex не сохранялся Region of serp
• API: исправлена работа метода changeProxyCheckerState
• API: исправлена ошибка из-за которой при использовании метода getAccountsCount парсер падал, если аккаунтов 0

Дайджест новостей A-Parser

Парсинг расшифровки Youtube видео
Новый пресет в Каталоге, в котором показан способ парсинга расшифровки Youtube видео с использованием встроенного парсера SE::YouTube::Video. Решение основано на выводе собираемых результатов в том виде, в котором они отображаются в браузере.

Парсер всех видео с Youtube канала
Обновление парсера для сбора списка видео (с их характеристиками) из Youtube каналов

• Исправлена работа с каналами, у которых всего 1 вкладка
• Добавлена обработка Shorts, если они выдаются вместе с видео (или вместо видео)
• Добавлена обработка случаев, когда канал не существует
• Исправлен обход окна соглашения, которое появляется при запросах с IP некоторых стран
• Исправлена логика повторных попыток, в некоторых случаях парсер их не делал

Парсинг популярных запросов за сутки Google Trends
Обновление парсера для сбора трендовых поисковых запросов из Google Trends

• Парсер полностью переписан в связи с изменениями на источнике
• Изменен набор собираемых данных
• Изменен список параметров

Парсинг объявлений из olx.ua/olx.pl/olx.kz
Очередное обновление парсера данных из объявлений на OLX

• Исправлен парсинг номеров телефонов

Парсинг Авито
Обновление парсера объявлений Аvito

• Исправлена работа парсера

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Дайджест новостей A-Parser

Для PremiumMix прокси добавлены 3 новых недельных тарифа

• Proxies PremiumMix 50 Gb / 1 week ($0.9 / Gb) - $45
• Proxies PremiumMix 100 Gb / 1 week ($0.8 / Gb) - $80
• Proxies PremiumMix 200 Gb / 1 week ($0.7 / Gb) - $140

Данные тарифы имеют все преимущества Premium тарифов, за исключением возможности гео-таргентинга:

• База более 10 миллионов резидентных (домашних) IP адресов
• Быстрое время отклика
• Настройки ротации, включая случайный IP на каждый запрос и ротацию от 1 до 60 минут, а также режим Sticky. В режиме Sticky прокси не будет менять IP максимально возможное время
• Подходит для браузинга и парсинга, с практически полным отсутствием CAPTCHA и банов

Оплата онлайн на a-parser.com. Дополнительная скидка 10% при оплате USDT/BTC/ETH/...

Парсер переводчика Libre Translate
Обновление переводчика Libre Translate, который использует API машинного перевода с открытым исходным кодом

• Адаптация к изменениям в защите

Парсинг статистики с Social Blade
Обновление парсера сервис Social Blade, который отслеживает статистику пользователей YouTube, Twitch, Instagram, Facebook и Tiktok.

• Парсер полностью переписан в связи с изменениями на источнике
• Добавлен выбор социальной сети, для которой нужно парсить данные
• Добавлена возможность указать кол-во страниц с результатами (100 результатов на страницу)
• Изменен набор собираемых данных

Парсер Яндекс Кью
Обновление парсер для сервиса Яндекс Кью, который позволяет собирать списки вопросов и ответов к ним

• Адаптация к изменениям на источнике
• Возвращен выбор типа результатов (вопросы/ответы)
• Парсер переписан на TypeScript

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

1.2.2670 - адаптация встроенных парсеров к изменениям на источниках, исправление ошибок



Улучшения

• Улучшена работа
  
  SE::Bing, на некоторых комбинациях настроек парсер зацикливался на получении Short output
• В
  
  Browser::ScreenshotsMaker добавлен режим Fullscreen

Исправления в связи с изменениями в выдаче

• 
  SE::Google - исправлен парсинг Desktop выдачи
• 
  SE::Google - устранен пропуск ссылок на видео
• 
  SE::Google - исправлена работа переменных $misspell и $corrected
• 
  SE::Google - исправлен парсинг некоторых видов PAA
• 
  SE::Yandex - адаптация к изменениям в мобильной выдаче
• Исправлена работа
  
  Social::Instagram::Tag, теперь для парсинга нужны куки
• Исправлена работа
  
  SE:interest
• 
  SE::Google::Trends - минимизировано количество ошибок, парсер переписан на JS API v2
• 
  SE::Bing - исправлена работа с запросами, содержащими поисковые операторы

Исправления

• Исправлена работа
  
  Net::Whois с некоторыми доменными зонами
• В
  
  SE::Yandex исправлен парсинг QA
• В
  
  Social::Instagram::Tag исправлена работа с кириллицей
• Исправлена проблема с переподключением к редису в
  
  API::Server::Redis, проблема возникала при временной недоступности Redis сервера
• Исправлена ошибка кодировки при выводе $query в Начальном тексте, проблема возникала только на Linux
• Исправлена работа tools.js, в некоторых случаях функции с npm модулями не работали

Дайджест новостей A-Parser

Парсер yep.com
Обновление парсера поисковой системы yep.com
* Адаптация к изменениям на источнике
* Улучшена проверка получаемого ответа
* В вывод добавлены анкоры и сниппеты
* Результат по-умолчанию теперь выводится в CSV
Аукцион доменов REG.RU
Обновление парсера аукциона освобождающихся доменов с возможностью фильтрации
* Парсер переписан на JS и адаптирован к изменениям на источнике
* Реализован обход защиты
* Изменен набор собираемых данных
AI content detector
Обновление парсера для проверки текстов на предмет их генерации сервисами ИИ
* Адаптация к изменениям на источнике

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.