Diggernaut Overview

Diggernaut – это платформа, позволяющая создавать и запускать специальные программы (парсеры). С помощью парсеров вы сможете собирать данные с различных источников, преобразовывать их в нужные структуры для дальнейшей выгрузки в ручном или автоматическом режиме. Платформа предоставляет гибкий инструментарий и отличную документацию для самостоятельной разработки. Если у вас нет на это времени, то к вашим услугам команда разработчиков, которая проделает всю необходимую работу и предоставит вам готовые парсеры и/или данные.

В последние годы в интернете все больше и больше появляются всевозможные ресурсы содержащие данные, которые могут представлять интерес лично для вас и вашего бизнеса. Это сайты поставщиков, государственные услуги и порталы, базы недвижимости, порталы сотрудников той или иной сферы, социальные сети с профилями потенциальных покупателей, рестораны и кафе, базы юридической информации и многое, многое другое. Далеко не каждый источник информации позволяет выводить свои данные в виде удобных форматов и структур. А что если вам требуется получать, к примеру, каждую неделю обновленный каталог поставщика запчастей для вашего магазина, а поставщик в нужном формате данные вам не предоставляет или они приходят раз в месяц, в то время как у самого поставщика на сайте обновляются каждый день. Или вам необходим оперативный контроль за новыми заказами на портале госзакупок, и вы хотите получать нужные данные сразу же, как только они появятся, без вашего личного, постоянного участия в мониторинге. Или вам нужен ответ на постоянный и насущный для многих владельцев малого и среднего бизнеса вопрос – "а что там с ценами у конкурентов?". Во всех этих и многих других случаях на помощь приходит платформа Diggernaut.

Кому еще может пригодится Diggernaut

Малому, среднему и крупному бизнесу для решения задач ETL (Extract, Transform, Load).

С помощью Diggernaut можно собирать:

• Цены и другую информацию о товарах, отзывы, рейтинги с сайтов ритейлеров;
• Данные о различных событиях по всему миру;
• Новости и заголовки с сайтов различных новостных агентств и агрегаторов;
• Открытые данные из государственных и муниципальных источников. Полицейские сводки, документы по судопроизводству, росреестр, госзакупки и другие;
• Данные о лицензиях и разрешениях, выданные государственными структурами;
• Мнения людей и их комментарии по определенной проблематике на форумах и в соцсетях;
• Информацию по недвижимости;
• Профильную информацию для помощи отделам HR;
• Информацию по юридическим лицам и контактные данные;
• Биржевые сводки;
• Букмекерские ставки практически в реальном времени;
• Данные по конкурентам на платформах Amazon, Ebay, Aliexpress, Avito, OLX и им подобных с последующей аналитикой;
• Любая иная задача, где требуется автоматизированных сбор и предоставление данных из интернета.

Общие функции Diggernaut

• Создание парсеров

Самостоятельное создание парсеров с помощью мощного и гибкого мета-языка, позволяющего решать практически любые задачи по сбору данных.

• Заказ парсеров

В любой момент вы можете заказать создание парсера у разработчиков заполнив специальную форму и не тратя свое время на изучение функционала платформы.

• Запуск парсеров

Вы можете запускать парсеры самостоятельно или воспользоваться встроенным планировщиком для запуска по расписанию.

• Отладка

Платформа предоставляет возможность для отладки парсеров в процессе их создания без расхода ресурсов.

• Выгрузка данных

Результатом работы каждого парсера являются данные, собранные и представленные в виде определенной структуры. Данные могут быть выгружены вручную, в форматах типа: Excel, CSV, Json, XML, Text и других. Или автоматически, с помощью REST API платформы, а также с помощью специального сервиса экспорта IO, позволяющего выгружать данные сразу по завершению работы парсера в такие источники как: feed link, webhook, google spreadsheet, email, платформу shopify, restdb.io или любую иную, которая вам будет необходима.

• Интеграция с вашим сервисом/веб сайтом

Платформа Diggernaut может быть интегрирована с любым сервисом или сайтом с помощью специальных микро-сервисов, производство которых не занимает много времени и доступно по запросу.

• Обход защиты

Платформа обладает гибкими возможностями по обходу различных защит от автоматизированного сбора данных.

• Контроль за данными

Полученные данные можно контролировать как в процессе сбора, так и в процессе выгрузки. Это позволяет изменять данные, а также не допускать попадания некачественных данных на ваши ресурсы.

• Унификация выгрузки данных

Если данные собираются с разных источников и представляют собой разнородную массу, можно легко объединить их в одну универсальную структуру, пригодную для загрузки системами импорта.

• Динамически изменяемые параметры парсинга

Если вы хотите дистанцироваться от изменения конфигурации парсера каждый раз, когда требуется переопределить источник данных, вы можете настроить работу парсера с внешними источниками. В этом случае вы сможете удобно для вас менять ссылки на источники данных, а парсер будет подхватывать их автоматически.

• Контроль за изменением данных

Платформа предоставляет возможность контролировать изменение данных на источнике. Это позволяет забирать каждый раз только те данные, которые были изменены, или только новые данные, игнорируя старые.

• Загрузка изображений

В процессе работы бывает требуется получить не только текстовые данные, но и различные изображения. Вы сможете выгрузить подобные данные на сторонние ресурсы типа S3, FTP или получить их в виде base64, пригодном для импорта в базы данных.

• Интерфейс для аналитики данных

3 варианта формы подписки: встроенная форма, всплывающий блок или верхняя панель. Возможность выбрать то, что наиболее оптимально подходит под решаемые задачи.

• Кластер

Если ваши задачи требуют обработки очень больших объемов информации, то специально для этих случаев будет подготовлен масштабируемый кластер на базе отдельных серверов и программного обеспечения, ресурсы которого будут принадлежать только вам.

• Поддержка

Сотрудники Diggernaut всегда готовы прийти к вам на помощь и ответить на ваши вопросы через службу поддержки или посредством онлайн чата, доступного на сайтах платформы.

Цены Diggernaut

Тариф выбираются в зависимости от общего количества запросов поступающих на источники данных, от всех парсеров в месяц.

Любой тарифный план, за исключением Бесплатного включает в себя все возможности платформы. Бесплатный план имеет небольшие ограничения по функционалу, в основном это касается системы распознавания и автоматического вывода данных.

• Базовые

Бесплатный – 5.000 запросов в месяц

X-Small – 50.000 запросов, $9,99 в месяц

Small - 200.000 запросов, $29,99 в месяц

Medium - 600.000 запросов, $59,99 в месяц

• Профессиональные

Large – 3.000.000 запросов, $199,99 в месяц

X-Large – 10.000.000 запросов, $499,99 в месяц

XX-Large – 30.000.000 запросов, $999,99 в месяц

Платформа также предлагает услугу "Полностью управляемое решение", при котором вам не нужно заботится о количестве запросов, следить за функциональностью парсеров, и контролировать данные. Все работы осуществляются силами сотрудников Diggernaut, вам лишь будут предоставляться финальные данные, в нужном для вас виде.