Python Developer (Web Scraping)

УВАГА: ❌❌❌ Будь ласка, НЕ надсилайте супровідні листи, згенеровані ШІ

Шаблонні або очевидно написані за допомогою ШІ заявки будуть одразу відхилені. Ми хочемо почути про ваш реальний досвід вашими власними словами.

🎯 Мета ролі

Ми шукаємо досвідченого Python Developer із сильною експертизою у веб-скрапінгу, який приєднається до нашої інженерної команди та візьме на себе відповідальність за production scraping-проєкти.

Ми розширюємо команду, щоб збільшити спроможність розробляти нові scraping-рішення та водночас надійно підтримувати вже існуючі системи. Наша мета — мати інженерів, які можуть самостійно відповідати за окремі проєкти, розслідувати production-проблеми, швидко усувати несправності та постійно покращувати надійність скрапінгу.

Протягом перших кількох місяців ми очікуємо, що розробник поступово візьме на себе відповідальність за існуючі scraping-проєкти та долучатиметься до розробки нових.

📋 Обов’язки

• Розробляти нові production scraping-сервіси та функціональність для скрапінгу
• Підтримувати та покращувати існуючі production scraping-системи
• Розслідувати збої скрапінгу та production-дефекти й доводити їх вирішення до кінця
• Діагностувати проблеми, пов’язані з автоматизацією браузера, HTTP/мережею, проксі, сесіями, сумісністю браузерів та змінами на стороні джерел
• Працювати з просунутою автоматизацією браузера, включно з Playwright, Selenium Driverless/NoDriver, CloakBrowser та кастомними браузерними середовищами
• Адаптувати scraping-реалізації у разі змін на цільових сайтах, в API або поведінці браузерів
• Покращувати надійність скраперів, success rate, продуктивність і підтримуваність коду
• Працювати з проксі та спеціалізованими браузерними конфігураціями у production-середовищах
• Інтегрувати scraping-сервіси з API, PostgreSQL, Redis та іншими backend-компонентами
• Моніторити поведінку production-систем і розслідувати проблеми за допомогою логів, метрик та інструментів моніторингу
• Самостійно перевіряти зміни перед передачею їх у QA
• Працювати разом із QA під час валідації та виправлення дефектів
• Брати участь у code review та постачати production-ready зміни

🔴 Обов’язкові навички

• Сильний практичний досвід роботи з Python. Це не позиція для початківця
• Значний комерційний досвід розробки та підтримки web scraping-систем
• Сильний досвід роботи з Playwright
• Сильний досвід роботи із Selenium, Selenium Driverless, NoDriver або аналогічними просунутими підходами до автоматизації браузера
• Досвід роботи зі спеціалізованими або кастомізованими браузерними середовищами. Безпосередній досвід із CloakBrowser буде перевагою, але прийнятний і досвід з аналогічними просунутими інструментами
• Глибоке розуміння поведінки браузерів, сумісності, консистентності середовища та надійності автоматизації
• Просунутий досвід автоматизації браузерів у складних веб-середовищах
• Досвід роботи з проксі, ротацією проксі та пов’язаними мережевими проблемами
• Глибоке розуміння HTTP та мережевих основ, включно із запитами, заголовками, cookies, сесіями, redirects та типовими сценаріями збоїв
• Досвід роботи з просунутою автоматизацією браузерів і кастомним браузерним tooling
• Досвід роботи з асинхронним і конкурентним Python
• Досвід роботи з PostgreSQL та Redis
• Досвід роботи з Docker та Linux-середовищами
• Сильні навички production debugging і troubleshooting
• Досвід роботи із зовнішніми API та їх інтеграцією
• Здатність самостійно тестувати та перевіряти власну реалізацію перед передачею в QA
• Досвід підтримки систем, які вже працюють у production

🟢 Буде перевагою

• Безпосередній досвід роботи з CloakBrowser
• Досвід mobile- або Android-based scraping
• Досвід розробки або експлуатації high-volume чи distributed scraping-систем
• Досвід роботи з Prometheus, Grafana, Kibana або Elasticsearch
• Досвід роботи з gRPC

🏆 Очікуваний рівень відповідальності

Ця роль передбачає значно більше відповідальності, ніж просто виконання окремих development-задач. Від вас очікується:

• Самостійно розслідувати production-дефекти у проєктах, за які ви відповідаєте
• Брати відповідальність за підтримку закріплених scraping-сервісів і доводити вирішення проблем до кінця
• Постачати production-ready зміни та самостійно перевіряти свою реалізацію перед QA
• Працювати в межах обов’язкового процесу code review перед production deployment
• Ефективно використовувати технічний нагляд і code review, не потребуючи постійного керівництва
• Чітко та завчасно повідомляти про блокери, технічну невизначеність, ризики та затримки
• Надавати реалістичні оцінки та забезпечувати розумну передбачуваність термінів виконання
• Поступово брати на себе все більше відповідальності за існуючі проєкти та долучатися до проєктування й розробки нових scraping-систем

💼 Контекст проєктів

Ви працюватимете з кількома production scraping-проєктами, а не зі звичайним CRUD/backend-застосунком.

Наші системи поєднують Python-сервіси, автоматизацію браузерів, HTTP/API інтеграції, проксі, бази даних, спеціалізовані browser automation tools та кастомні браузерні середовища.

Значна частина технічної складності пов’язана з роботою у складних веб-середовищах, які часто змінюються. У нашому стеку використовуються такі технології, як Python, Playwright, Selenium Driverless/NoDriver, CloakBrowser, кастомні browser tools, PostgreSQL, Redis, Docker, Prometheus, Grafana, Kibana та Elasticsearch.

Деякі проєкти також включають mobile/Android-based scraping та роботу з device/browser environments. Це живі production-системи, тому роль поєднує розробку нової функціональності з постійним моніторингом, debugging, maintenance та покращенням надійності.

⚠️ Кому ця позиція, ймовірно, не підійде

Ця позиція, ймовірно, не підійде кандидатам, чий досвід переважно пов’язаний із загальною Python backend- або CRUD-розробкою без суттєвого досвіду у web scraping.

Так само базового scraping-досвіду, обмеженого простими HTTP requests, HTML parsing або стандартними Scrapy-проєктами, буде недостатньо для технічних викликів цієї ролі.