Розробка парсерів і збір даних

Парсер — програма, яка сама збирає дані там, де їх щодня шукають вручну: на майданчиках тендерів і аукціонів, у реєстрах, на сайтах конкурентів і постачальників, у PDF-документах. Далі дані розкладаються за потрібними полями й приходять туди, де з ними зручно працювати. Власний сервіс RandomStar LotRadar так збирає десятки тисяч лотів Prozorro.Продажі — тож для вашої задачі беруться відпрацьовані рішення.

Що можна автоматизувати

• Тендери й аукціони. Нові закупівлі, лоти й зміни в них за вашим фільтром — одразу, а не наступного ранку.
• Ціни й наявність у конкурентів. Щоденна таблиця: хто скільки просить і що зникло з продажу.
• Реєстри й відкриті дані. Державні та галузеві бази, оголошення, каталоги — з історією змін.
• Каталоги постачальників. Ціни, залишки й описи товарів з файлів чи сайтів постачальників — одразу у ваш інтернет-магазин.
• Документи. Рахунки, накладні, акти в PDF: продавець, покупець, позиції й суми потрапляють у базу без ручного введення.
• Обмін між системами. Сайт, CRM, 1С і маркетплейси обмінюються замовленнями, товарами й статусами через API або файли обміну.

Що вже працює

• LotRadar. Збирач кожні 5 хвилин забирає зміни з офіційного API Prozorro.Продажі: у базі близько 36 тисяч лотів. Сервіс сам вираховує, що змінилося — ціна, дати, скасування, результат, — і розсилає це в Telegram, на пошту, в Excel, через API та вебхуки. Детально — у кейсі LotRadar.
• E-Rechnung Pro. Конвертер читає звичайний PDF-рахунок, знаходить продавця, покупця, позиції й суми та збирає з них електронний рахунок. На базі з 93 справжніх рахунків різної верстки проходить 91. Детально — у кейсі E-Rechnung Pro.

Як це влаштовано

• Спершу API, потім сторінки. Якщо в джерела є відкрите API чи вивантаження, береться воно — це надійніше. Розбір сторінок — коли іншого шляху немає.
• Тільки нове. Парсер пам’ятає, де зупинився, і забирає лише змінене; дублікати відкидаються.
• Історія змін. Джерело показує тільки поточний стан, тому зміни — нова ціна, перенесена дата, зникла позиція — вираховуються порівнянням із попередньою версією.
• Бережно до джерела. Паузи між запитами й розумна частота — парсер не навантажує чужий сайт і не потрапляє під блокування.
• Контроль. Адмінка показує, чи працює кожне джерело, чи мовчить, чи віддає помилки, — про збій ви дізнаєтеся від системи, а не від клієнтів.
• Перевірка на зразках. Для розбору документів збирається база справжніх файлів; після кожної правки вона проганяється повністю.

Куди потрапляють дані

У Telegram і на пошту — сповіщення й щоденні підсумки; в Excel і CSV — таблиці; у вашу базу, CRM чи інтернет-магазин — напряму; іншим програмам — через API та вебхуки з підписом запиту.

Що не береться в роботу

Збір персональних даних, обхід паролів, капчі та іншого захисту, а також парсинг, який порушує правила сайту-джерела чи навантажує його. У LotRadar дані фізичних осіб вирізаються ще до запису в базу — так само і у вашому проєкті.

Як проходить робота

1. Джерела й поля. Звідки брати, які саме дані, як часто й куди віддавати.
2. Кошторис. Етапи, вартість і строк кожного; платите за прийнятий результат.
3. Пробний збір. Ви отримуєте вибірку даних і перевіряєте, що зібрано саме потрібне.
4. Запуск. Парсер працює за розкладом на вашому сервері; код і доступи передаються вам.
5. Супровід. Сайти-джерела змінюються — парсер підлаштовується під них у межах підтримки.

Скільки коштує

Ціна залежить від кількості джерел, від того, чи є в них API, як часто збирати дані й куди їх віддавати. Тому прайсу «від 999 грн» немає — після заявки й короткої розмови ви отримуєте кошторис саме вашої задачі.

Часті питання

А це законно?

Збираються лише відкриті дані й публічні сторінки — за правилами джерела, без персональних даних і без обходу захисту; так влаштовані всі парсери RandomStar. Якщо щодо конкретного джерела є сумніви, це обговорюється до початку роботи.

Що буде, коли сайт-джерело зміниться?

Контроль джерел помітить збій одразу, а виправлення входить у супровід. Тому для парсерів підтримка після запуску особливо важлива.

Як часто можна оновлювати дані?

Від кожних кількох хвилин до раз на добу — залежить від джерела та вашої задачі. LotRadar, наприклад, перевіряє зміни кожні 5 хвилин.

Чи можна передавати дані в 1С або CRM?

Так: через їхнє API або файл обміну за розкладом — товари, ціни, залишки, замовлення.

Обговорити збір даних