A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

A-Parser Support

Ищет темы
30 Ноя 2016
198
1
1
33
Сборник рецептов #44: категории сайтов от Cloudflare Radar, парсер Rozetka и kufar.by

44-й сборник рецептов, в который вошли парсер, определяющий категории сайтов (используя сервис Cloudflare Radar), парсер Rozetka через API и парсер интернет-магазина kufar.by с проходом по списку результатов.

Парсер Cloudflare Radar
Парсер для сбора категорий сайтов из Cloudflare Radar


Rozetka - получение данных по API
Парсер, собирающий данные о товарах на торговой площадке Rozetka через API.


Парсинг объявлений kufar.by
Парсер объявлений на сайте kufar.by с проходом по списку результатов. Собираются заголовки объявлений, цены, имена и телефоны авторов.


А также, обновлены следующие ресурсы:
Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

A-Parser Support

Ищет темы
30 Ноя 2016
198
1
1
33
1.2.1076 - 3 новых парсера, завершение перехода на Node.js, интеграция puppeteer в сборку


Улучшения

  • В связи с переводом основных встроенных парсеров на новую платформу Node.js, полностью переписаны и обновлены парсеры:
  • Основные улучшения от перевода данных парсеров на Node.js:
    • увеличение производительности в ~1.5 раза
    • унификация HTTP движка с JavaScript парсерами, единый обход CloudFlare
  • Добавлены новые парсеры:
  • В
    HTML::EmailExtractor добавлена опция Skip non-HTML blocks, позволяющая отключить сбор почт внутри тегов script, style и т.п.
  • В SE::Google::Translate добавлены новые переменные:
    • $translit_orig - оригинальный текст транслитом
    • $translit_translated - переведенный текст транслитом
    • $variants.$i.text - список вариантов перевода оригинального текста
  • В SE::Bing обновлен список регионов и языков
  • В Social::Instagram::profile и Social::Instagram::post добавлена возможность собирать кол-во видеопросмотров
  • В SE::Yandex::Translate добавлена возможность отключать использование сессий
  • В Net::HTTP добавлена возможность указывать user-agent для Chrome
  • В парсере Rank::MOZ исправлена ошибка, возникающая при вызове парсера из JS методом this.parser.request().
  • В Rank::CMS добавлена поддержка нового apps.json и возможность использовать Net::HTTP
  • В Net::Whois обновлена поддержка всех зон
  • Для проксичекеров добавлена опция Exclude from "All", а также сделаны изменения в логике:
    • "All" - использует все прокси выбранные для задании
    • конкретный проксичекер - использует его, даже если он не выбран в задании
  • Добавлена поддержка устаревших версий SSL
  • JS парсеры: Добавлена опция tlsOpts для this.request(), позволяет передавать настройки для https соединений
  • JS парсеры: обновление Node.js с 14.2.0 до 14.15.0
  • JS парсеры: модуль puppeteer включен в сборку А-Парсера и не требует отдельной установки
Исправления в связи с изменениями в выдаче
Исправления
  • В SE::Yandex исправлена работа Extra query string
  • Исправлено регулярное выражение в HTML::EmailExtractor для устранения ошибок в некоторых случаях
  • Исправлено поведение парсера SE::Google::KeywordPlanner при отсутствии результатов по запросу
  • Maps::Yandex исправлен и переведен на puppeteer
  • Исправлена ошибка в приоритетах выбора проксичекера
  • JS парсеры: исправлен follow_meta_refresh
  • API: исправлена работа параметра rawResults

 

A-Parser Support

Ищет темы
30 Ноя 2016
198
1
1
33
Сборник рецептов #45: парсеры Google Places и prom.ua, получение характеристик картинок "на лету"

45-й сборник рецептов, в который вошли парсер результатов поиска на Google Places, парсер для prom.ua и пример скачивания картинок с одновременным определением их характеристик.

Парсер Google Places
Парсер для поиска заведений по ключевым словам в Google Places. В отличие от парсера Google Maps здесь не нужно задавать координаты поиска, а достаточно вместе с ключевым словом написать нужный город.


Парсер prom.ua
Парсинг товарных позиций для одной из крупнейших в Украине торговых площадок prom.ua. Кроме собственно названий товаров и их цен, позволяет собирать такие данные продавцов, как телефоны и электронные почты.


Скачивание картинок
В этом примере показан способ решения задачи по скачиванию картинок и одновременному получению их характеристик, а именно размера и ориентации. Для получения характеристик используется NodeJS модуль.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

sto imen

Ищет темы
16 Фев 2021
1
0
1
A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит более 60 парсеров




A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях:

  • SEO-оптимизация сайтов и Web-аналитика
    • Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...
    • Оценка сайтов и доменов по множеству параметров
    • Мониторинг позиции любых сайтов в поисковых системах
    • Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)
    • Отслеживание обратных ссылок
    • Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
    • Сбор и оценка ключевых слов
    • Сбор списка обратных ссылок
    • И многое другое
  • Web-безопасность
    • Сбор и фильтрация баз ссылок по признакам
    • Определение CMS сайтов
    • Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа
  • Сетевое администрирование
    • Работа с DNS службой - резолвинг доменов в IP адреса
    • Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера


A-Parser обладает следующими преимуществами:

  • Колоссальная производительность
    • Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
    • Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
    • Множественные оптимизации сложных операций
    • Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD
  • Промышленные масштабы
    • Парсер разрабатывался с учетом работы с неограниченным размером данных
    • Способен обрабатывать сотни миллионов и миллиардов запросов
    • Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений
  • Автономность
    • A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
    • Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
    • Одновременное выполнение нескольких разных задач для скорейшего получения результатов
  • Поддержка более 60 парсеров
    • Парсеры поисковых систем: Google, Yandex, AOL, Bing, Baidu, DuckDuckGo, QIP, Yahoo, YouTube
    • Парсеры подсказок поисковых систем: Google, Yandex, Bing, Yahoo
    • Парсеры и анализ ключевых слов: кейворды и частотность по Yandex.WordStat, в т.ч. по датам и регионам; частотность по Yandex.Direct; Google Trends
    • Регистрация аккаунтов: Yandex
    • Парсеры параметров сайтов и доменов: позиции в поисковых системах Google, Yandex, QIP; PageRank, TrustRank, Compromised, SafeBrowsing, LangDetect, LangDetect через Bing, тИЦ, Whois, DNS, CMS, Ahrefs, Alexa, Category, DMOZ, Linkpad, MajesticSEO, OpenSiteExplorer,
      SEMrush
    • Парсеры различных сервисов:
      Bing Translator,
      Google Images,
      Bing Images,
      Google Maps,
      Yandex.Direct,
      AntiGate
    • Парсеры контента:
      TextExtractor,
      LinkExtractor,
      BackLink, HTTP парсер для создания произвольных парсеров
  • Создание собственных парсеров
    • Использование регулярных выражений
    • Поддержка многостраничного парсинга
    • Проверка контента и наличия следующей страницы
  • Мощные инструменты для формирования запросов и результатов
    • Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
    • Подстановки для запросов: из файла; перебор слов, символов и цифр
    • Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
    • Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
    • Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, произвольный формат)
  • Гибкость настроек
    • В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
    • Настроить можно все - никаких рамок и ограничений
    • Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями
  • Сетевые возможности
    • Поддержка HTTP/1.1 и HTTPS
    • Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
    • Полностью асинхронная работа с сетью, в т.ч. с DNS
  • API
    • Возможность интегрировать и управлять парсером из своих программ и скриптов
    • Полная автоматизация бизнес-процессов
    • Клиенты для PHP, Perl и Python
  • Постоянные улучшения и исправления
    • Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
    • С тех пор было выпущено более 70 новых версий, включающих множество улучшений и исправлений
    • A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей
  • Техническая поддержка
    • Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
    • Создана подробная документация по A-Parser'у, открыт форум для пользователей
    • Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте
    • Разработчик A-Parser'а готов ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера


Более подробно ознакомится с возможностями парсера можно в полноценной документации


A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:





Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как Bitcoin, WebMoney, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.

Для приобретения лицензии необходимо зарегистрироваться на сайте https://a-parser.com и перейти на страницу оплаты.

Если у вас возникли вопросы - обращайтесь по любым контактам в техническую поддержку
Подскажите почты и контакты это программа слизывает ? по моему запросу в поисковике, к примеру захожу в яндекс поисковик ввожу строительство бассейнов и после софт заходит на сайты и парсит номера почту адрес! Так ОНА РАБОТАЕТ?
 

A-Parser Support

Ищет темы
30 Ноя 2016
198
1
1
33
Подскажите почты и контакты это программа слизывает ? по моему запросу в поисковике, к примеру захожу в яндекс поисковик ввожу строительство бассейнов и после софт заходит на сайты и парсит номера почту адрес! Так ОНА РАБОТАЕТ?
Здравствуйте!
Это возможно сделать, разделив задачу на две части:
1. Сбор ссылок на сайты с выдачи поисковика с помощью парсера SE::Google
2. Используя собранные ссылки на сайты собирать почты с помощью парсера HTML::EmailExtractor

По поводу сбора номеров, то нет универсального парсера для этого. Тут вы можете использовать в А-Парсере свои знания регулярных выражений для сбора телефонов с веб страниц.
 

A-Parser Support

Ищет темы
30 Ноя 2016
198
1
1
33
1.2.1148 - накопительное обновление встроенных парсеров и исправление Bypass Cloudflare



Улучшения
  • В
    HTML::LinkExtractor добавлена опция Skip comment blocks, которая позволяет исключить из парсинга блоки html комментариев
  • Повышена производительность
    Shop::Yandex::Market
  • В
    Check::RosKomNadzor добавлена возможность выбирать источник для проверки
  • Maps::Yandex переписан на TypeScript, добавлена возможность подключения сервисов разгадывания каптч
  • В
    Rank::Alexa::API добавлена возможность получать название страны вместо ее кода
  • В
    Rank::Ahrefs расширен перечень собираемых данных
  • В
    SE::Seznam добавлена поддержка сессий и возможность разгадывать каптчи
  • Реализована возможность использовать прокси с одним IP: port, но с разными логинами
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлен экспериментальный обход защиты Cloudflare с помощью Chrome
  • Исправлена ошибка в Maps::Yandex, из-за которой не собиралось больше 1 страницы, а также исправлена проблема с получением исходного кода страниц
  • В SE::Youtube исправлено игнорирование настроек поиска, проход по пагинации, а также в некоторых случаях не делались повторные попытки
  • В SE::Google::KeywordPlanner исправлена авторизация
  • Исправлена утечка памяти, которая проявлялась при долго работающих заданиях с большим числом запросов
  • Исправлена ошибка с Buffer, проблема появилась в одной из предыдущих версий

 

Bredabris

Ищет темы
4 Мар 2021
12
0
1
Минусов естественно большое количество откровенно говоря
 

A-Parser Support

Ищет темы
30 Ноя 2016
198
1
1
33
Обновление документации и курс по заработку на PBN используя A-Parser

Обновленная документация


Мы не стоим на месте: постоянно совершенствуем наш продукт, расширяем его функционал, ориентируясь на сегодняшние потребности пользователей и на удобство использования A-Parser. В соответствии с этим мы полностью обновили нашу техническую документацию, в первую очередь изменили интерфейс, создали логичную структуру разделов, предусмотрели удобную навигацию и поиск.

Кроме дополнения и обновления существующей документации добавлены новые, ранее не публиковавшиеся разделы:
  • настройка и работа с Docker
  • новое API v2 для написания JS парсеров с использованием TypeScript
  • использование Chrome с прокси с помощью Puppeteer
  • взаимодействие с A-Parser через Redis API
  • использование Node.js модулей
Также, для всех встроенных парсеров добавили блоки с примерами их использования. Вся документация сопровождается скриншотами и различными примерами, большинство из которых можно импортировать в свой А-Парсер и изучить.

Обновленная документация еще будет расширяться и дополняться, но Вы уже сейчас можете ознакомиться с ней, перейдя по ссылке: https://a-parser.com/docs/


Курс по заработку на PBN используя A-Parser(+включает лицензию)


Наш хороший друг Николай Кодий запускает второй набор на курсы по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов. Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов. Данный курс без "воды" — вы получите концентрат опыта и алгоритмы наработок, которые никто другой не показывает. Курс насыщен практикой на реальных задачах. Каждый выпускник сможет в дальнейшем сотрудничать с Николаем или получить рекомендацию от него и контакты компаний, которые часто ищут специалистов по PBN. Подробнее о курсе читайте в его телеграм-канале https://t.me/mypbn/1113


 

Hanatrm

Ищет темы
17 Май 2021
6
0
1
Парсер работает с большим кол-во аккаунтов телеграмм?
 

A-Parser Support

Ищет темы
30 Ноя 2016
198
1
1
33
Сборник рецептов #46: парсинг сообщений из Viber, корейский поисковик и сбор контактов организаций

46-й сборник рецептов, в который вошли парсер сообщений Viber, парсер корейского поисковика и пресет для сбора контактов организаций из каталога.

Парсер Viber - сбор сообщений из публичных групп вайбер
В А-Парсере уже довольно давно существует парсер для сбора сообщений из публичных групп в Telegram. Представляем аналогичное решение для не менее популярного мессенджера - Viber.


Парсер корейского поисковика Daum.net
Еще один парсер поисковых систем, на этот раз корейской daum.net


Парсинг контактов организаций из ua-region.info
Пресет для сбора телефонов, почт, сайтов, адресов и прочей информации из каталога организаций ua-region.info



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов