Авторский софт A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

Тема в разделе "SEO софт", создана пользователем A-Parser Support, 22 мар 2017.

  1. Топикстартер
    A-Parser Support
    Оффлайн

    A-Parser Support Ищет темы

    Сообщения:
    4
    Рейтинги:
    +0 / -0
    A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит более 60 парсеров



    [​IMG]



    A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях:

    • SEO-оптимизация сайтов и Web-аналитика
      • Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...
      • Оценка сайтов и доменов по множеству параметров
      • Мониторинг позиции любых сайтов в поисковых системах
      • Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)
      • Отслеживание обратных ссылок
      • Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
      • Сбор и оценка ключевых слов
      • Сбор списка обратных ссылок
      • И многое другое
    • Web-безопасность
      • Сбор и фильтрация баз ссылок по признакам
      • Определение CMS сайтов
      • Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа
    • Сетевое администрирование
      • Работа с DNS службой - резолвинг доменов в IP адреса
      • Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера


    A-Parser обладает следующими преимуществами:

    • Колоссальная производительность
      • Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
      • Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
      • Множественные оптимизации сложных операций
      • Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD
    • Промышленные масштабы
      • Парсер разрабатывался с учетом работы с неограниченным размером данных
      • Способен обрабатывать сотни миллионов и миллиардов запросов
      • Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений
    • Автономность
      • A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
      • Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
      • Одновременное выполнение нескольких разных задач для скорейшего получения результатов
    • Поддержка более 60 парсеров
      • Парсеры поисковых систем: Google, Yandex, AOL, Bing, Baidu, DuckDuckGo, QIP, Yahoo, YouTube
      • Парсеры подсказок поисковых систем: Google, Yandex, Bing, Yahoo
      • Парсеры и анализ ключевых слов: кейворды и частотность по Yandex.WordStat, в т.ч. по датам и регионам; частотность по Yandex.Direct; Google Trends
      • Регистрация аккаунтов: Yandex
      • Парсеры параметров сайтов и доменов: позиции в поисковых системах Google, Yandex, QIP; PageRank, TrustRank, Compromised, SafeBrowsing, LangDetect, LangDetect через Bing, тИЦ, Whois, DNS, CMS, Ahrefs, Alexa, Category, DMOZ, Linkpad, MajesticSEO, OpenSiteExplorer, [​IMG] SEMrush
      • Парсеры различных сервисов: [​IMG] Bing Translator, [​IMG] Google Images, [​IMG] Bing Images, [​IMG] Google Maps, [​IMG] Yandex.Direct, [​IMG] AntiGate
      • Парсеры контента: [​IMG] TextExtractor, [​IMG] LinkExtractor, [​IMG] BackLink, HTTP парсер для создания произвольных парсеров
    • Создание собственных парсеров
      • Использование регулярных выражений
      • Поддержка многостраничного парсинга
      • Проверка контента и наличия следующей страницы
    • Мощные инструменты для формирования запросов и результатов
      • Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
      • Подстановки для запросов: из файла; перебор слов, символов и цифр
      • Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
      • Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
      • Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, произвольный формат)
    • Гибкость настроек
      • В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
      • Настроить можно все - никаких рамок и ограничений
      • Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями
    • Сетевые возможности
      • Поддержка HTTP/1.1 и HTTPS
      • Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
      • Полностью асинхронная работа с сетью, в т.ч. с DNS
    • API
      • Возможность интегрировать и управлять парсером из своих программ и скриптов
      • Полная автоматизация бизнес-процессов
      • Клиенты для PHP, Perl и Python
    • Постоянные улучшения и исправления
      • Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
      • С тех пор было выпущено более 70 новых версий, включающих множество улучшений и исправлений
      • A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей
    • Техническая поддержка
      • Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
      • Создана подробная документация по A-Parser'у, открыт форум для пользователей
      • Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте
      • Разработчик A-Parser'а готов ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера


    Более подробно ознакомится с возможностями парсера можно в полноценной документации


    A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:


    [​IMG]


    Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как Bitcoin, WebMoney, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.

    Для приобретения лицензии необходимо зарегистрироваться на сайте https://a-parser.com и перейти на страницу оплаты.

    Если у вас возникли вопросы - обращайтесь по любым контактам в техническую поддержку
     
  2. Топикстартер
    A-Parser Support
    Оффлайн

    A-Parser Support Ищет темы

    Сообщения:
    4
    Рейтинги:
    +0 / -0
    1.1.790 - экспорт множества заданий и JavaScript парсеров


    [​IMG]



    A-Parser 1.1.790 появился новый экспорт, который позволяет экспортировать сразу несколько заданий, настройки парсеров, JavaScript парсеры, а также tools.js:



    [​IMG]



    Улучшения


    • Новый экспорт заданий

    • В JavaScript парсерах добавлена возможность указать иконку парсера

    • В JavaScript парсерах добавлен функционал для работы с CAPTCHA

    • Добавлено автоматическое версионирование JavaScript парсеров

    • В хедерах ответа теперь указан заголовок Proxy с которым был сделан запрос

    • В JavaScript парсерах добавлен параметр attempt для this.request, позволяющий вручную управлять механизмом попыток

    • В JavaScript парсерах добавлен функционал управления прокси

    • В парсере [​IMG] Check::BackLink улучшена обработка nofollow



    Исправления в связи с изменениями в выдачи


    • [​IMG] SE::DuckDuckGo, [​IMG] SE::Ask, [​IMG] SE::AOL, [​IMG] Rank::MajesticSEO

    • [​IMG] SE::Bing не парсил при указании региона

    • Парсер [​IMG] SE::Yandex::WordStat мог пропускать запросы при использовании антикаптчи



    Исправления


    • В парсере [​IMG] SE::QIP для некоторых запросов не корректно определялась кодировка сниппетов

    • A-Parser зависал при использовании JavaScript парсеров совместно с конструктором результатов

    • В парсере [​IMG] SE::Bing в серп могли попадать рекламные блоки

    • В парсере [​IMG] Net::Whois собиралась дата для некоторых доменов

    • В JavaScript парсерах исправлен вывод ошибок в коде

    • В JavaScript парсерах исправлен подсчет HTTP запросов для статистики

     
  3. maco
    Оффлайн

    maco Работает по жести  

    Сообщения:
    281
    Рейтинги:
    +452 / -5
    возьму на тест, за развернутый отзыв. На этом форуме
     
  4. matrixa2011
    Оффлайн

    matrixa2011 Ищет темы

    Сообщения:
    57
    Рейтинги:
    +9 / -2
    Софт конечно хороший, но цены- не соответствуют реальности!
     
    • Лайк лайк лайк! Лайк лайк лайк! x 1
  5. Топикстартер
    A-Parser Support
    Оффлайн

    A-Parser Support Ищет темы

    Сообщения:
    4
    Рейтинги:
    +0 / -0
    Спасибо, мы в этом не нуждаемся. За 5 лет, у нас более чем достаточно развёрнутых отзывов :)
    --- Пост добавлен, 6 апр 2017 ---
    1.1.811 - 6 новых парсеров, улучшения в JavaScript парсерах


    [​IMG]


    В A-Parser 1.1.811 добавлено 6 новых встроенных парсеров - Амазон, Яндекс.Маркет, Рамблер, IxQuick, добавление ссылки в индекс Bing, расширенный парсер Moz(OpenSiteExplorer). Добавляйте идеи для новых парсеров на нашем форуме и мы их обязательно реализуем.


    Помимо встроенных парсеров вы можете создавать свои собственные парсеры на языке JavaScript - используя всю мощь многопоточности A-Parser'а, а также производительность движка V8 и преимущества ES6.


    Для владельцев CapMonster и XEvil - напоминаем что A-Parser можно подключить к этим программам из коробки, тем самым колоссально повысив скорость парсинга во многих парсерах


    Улучшения

    • Новый парсер [​IMG] Shop::Amazon - парсит выдачу https://www.amazon.com по ключевому слову, собирает название, ссылку, картинку, прайс, прайс до скидки, рейтинг, число комментариев, продавца и дополнительную информацию
    • Новый парсер [​IMG] Shop::Yandex::Market - парсер Яндекс.Маркета, по указанному ключевому слову(или по прямой ссылке на категорию) собирает следующие данные: название товара, ссылку, ссылку на картинку, рейтинг, число комментариев, цену от и до, число предложений от магазинов и список дополнительных характеристик
    • Новый парсер [​IMG] SE::Rambler - сегодня рамблер использует одновременно выдачу Google и Яндекса, в зависимости от геолокации пользователя(прокси), есть поддержка антигейта
    • Новый парсер [​IMG] SE::IxQuick - https://www.ixquick.com - еще один поисковик, основанный на выдаче Google
    • Добавление ссылок в индекс Бинга - [​IMG] SE::Bing::AddURL - добавляет ваши ссылки в промышленных масштабах, требуется антигейт
    • Новый парсер [​IMG] Rank::OpenSiteExplorer::Extended - расширенная версия парсера [​IMG] Rank::OpenSiteExplorer, собирает с https://moz.com 39 параметров по домену, сабдомену и странице
    • JavaScript парсеры: новые методы this.util.urlFromHTML(url, [base]) и this.util.updateResultsData(results, data)
    • В парсере [​IMG] SE::Yandex добавлен сбор времени последнего кэширования страницы


    Исправления в связи с изменениями в выдаче

    • [​IMG] SE::Yandex - исправлен парсинг выдачи, сбор ссылки на кэш страницы, а также парсинг рекламных объявлений
    • [​IMG] SE::Google - исправлен парсинг рекламных объявлений, а также проблема с парсингом в редких случаях при использовании антигейта
    • В парсере [​IMG] Net::Whois исправлен парсинг дат, а также улучшен парсинг whois сервера GoDaddy
    • [​IMG] SE::Google::Trends - полностью обновлен парсер и список собираемых значений
    • [​IMG] Rank::LinkPad, [​IMG] Rank::MajesticSEO, [​IMG] SE::Seznam


    Исправления

    • Проблема с прокруткой в Планировщике
    • Проблема с кодировкой в tools.parseJSON
    • Ошибка импорта JavaScript парсеров
     
  6. maco
    Оффлайн

    maco Работает по жести  

    Сообщения:
    281
    Рейтинги:
    +452 / -5
    ну да, ну да. С 2 сообщениями на форуме, посты выглядят как спам, копипаст. Не одного отзыва и отклика. Дело конечно ваше, но продавать софт, на борде где все почти на шару , я думаю покупать мало будут.
     
  7. matrixa2011
    Оффлайн

    matrixa2011 Ищет темы

    Сообщения:
    57
    Рейтинги:
    +9 / -2
    Да и ещё за такие суммы. Она там с ума сходят по-тихоньку)
     
  8. oleshka
    Оффлайн

    oleshka Тестит темы  

    Сообщения:
    184
    Рейтинги:
    +59 / -94
    а чо так дорого? еще с ним возиться осваивать, прокси подбирать , гемор один за такие бабки
     
  9. Топикстартер
    A-Parser Support
    Оффлайн

    A-Parser Support Ищет темы

    Сообщения:
    4
    Рейтинги:
    +0 / -0
    1.1.832 - новые парсеры, выбор языка интерфейса в Google


    [​IMG]


    Улучшения

    • Новый парсер [​IMG] Rank::SimilarWeb - парсит сервис http://similarweb.com, собирает множество параметров, включая ранк домена, трафик, распределение трафика по источникам и странам
    • Новый парсер [​IMG] Rank::MegaIndex - парсит сервис https://megaindex.com, собирает число трафика по органике и рекламным запросам, а также различную информацию о беклинках и индексации сайта
    • Новый парсер [​IMG] Rank::SEMrush::Keyword - собирает трафик, конкуренцию и другие параметры по ключевому слову в сервисе http://semrush.com
    • В парсере [​IMG] SE::Google добавлена возможность выбора языка интерфейса гугла, актуально для точного снятия позиций
    • В настройках антигейта добавлена опция Report bad captchas - отключив которую можно сэкономить время на запрос о неправильной каптче, актуально для CapMonster и XEvil
    • Удалены 5 устаревших парсеров: [​IMG] [noparse]SE::Google::pR[/noparse] - сервис больше не существует, [​IMG]SE::Google::Maps - выдача зависит от гео прокси, [​IMG] Rank::Ahrefs - парсинг сервиса возможен только с аккаунтами с подтвержденной кредитной картой, [​IMG] Rank::Category - нет подходящего сервиса, [​IMG] [noparse]Rank::DMOZ[/noparse] - dmoz прекратил свое существование в марте
    • Теперь парсер [​IMG] SE::Yandex по умолчанию использует https, избегая ненужного редиректа

    Исправления в связи с изменениями в выдаче

    • [​IMG] SE::Bing, [​IMG] Rank::Archive, [​IMG] SE::AOL, [​IMG] SE::IxQuick, [​IMG] SE::Yahoo, [​IMG] Rank::Linkpad

    Исправления

    • JavaScript парсеры: исправлена обработка checkbox в настройках
    • JavaScript парсеры: исправлено падение при одновременном запуске нескольких заданий
    • [​IMG] SE::Bing::AddURL - исправлена работа при неверно разгаданной каптче
    • [​IMG] SE::Google::Trends - исправлена работа с неанглийскими запросами
    • В парсере [​IMG] Net::HTTP исправлена работа опции Check next page в редких случаях
    • Исправлена работа со сжатым контентом для редких сайтов
     

Поделиться этой страницей