Senior Data Engineer

Data Warehouse — платформа для великих високонавантажених проєктів. Ядро аналітичного сховища побудоване на ClickHouse і обслуговує високонавантажені потоки даних: проєктні події, платежі, антифрод та compliance-звітність.

Ми шукаємо інженера, який зможе: прийняти сховище в поточному вигляді та забезпечити безперервність ETL/ELT-процесів без втрати якості; у перші тижні пройти передачу знань від ліда (архітектура кластера ClickHouse, пайплайни, інтеграції); у перспективі взяти на себе технічне лідерство в data-напрямку, оскільки другого data-інженера в команді на старті може не бути.

Обов’язки

• Розробка та підтримка ETL/ELT-процесів для завантаження даних у DWH (платежі, транзакції)
• Проєктування та оптимізація схем даних у ClickHouse (партиціювання, рушії таблиць, матеріалізовані представлення, TTL)
• Оптимізація SQL-запитів для великих обсягів даних та високого навантаження
• Інтеграція нових джерел даних (провайдери, платіжні системи, внутрішні сервіси) у сховище
• Побудова та розвиток моделі даних (Star/Snowflake Schema, шари Landing → Staging → Core → Data Marts)
• Впровадження та підтримка перевірок якості даних (data quality checks) і моніторингу pipeline'ів
• Забезпечення відповідності збережених даних вимогам compliance/AML/регуляторної звітності
• Автоматизація обробки даних за допомогою Python
• Документування архітектури, схем та рішень — щоб команда могла працювати далі без залежності від однієї людини
• Менторство та передача знань під час розширення команди

Обов’язкові вимоги

• Досвід роботи Data Engineer’ом (або на суміжній позиції — DWH Developer, Database Engineer) — від 4 років
• Впевнене знання SQL просунутого рівня, включаючи оптимізацію запитів на великих обсягах даних
• Практичний досвід роботи з ClickHouse (адміністрування, оптимізація, проєктування схем) або іншими колонковими/OLAP СУБД (Greenplum, Vertica) з готовністю швидко зануритися в ClickHouse
• Досвід проєктування та розробки ETL/ELT pipeline'ів з нуля та їх підтримки в production
• Впевнене знання Python для обробки, інтеграції та автоматизації даних
• Розуміння архітектури Data Warehouse: Fact/Dimension, Star/Snowflake Schema, шари Landing→Staging→Core→Marts (або bronze/silver/gold)
• Досвід роботи з оркестрацією pipeline'ів (Airflow або аналоги)
• Досвід роботи з високонавантаженими/великими обсягами даних
• Розуміння принципів data quality, моніторингу та observability для data-процесів
• Досвід роботи з Git, CI/CD
• Готовність працювати самостійно та приймати технічні рішення (на старті поруч може не бути другого data-інженера)

Буде плюсом

• Досвід із Kafka або іншими потоковими платформами (для near-real-time подій)
• Досвід із dbt або аналогічним transformation framework
• Розуміння compliance/AML/регуляторної звітності
• Досвід менторства та побудови інженерних стандартів у data-команді
• Досвід міграції/рефакторингу legacy DWH-рішень
• Знання Docker/Kubernetes
• Досвід із BI-інструментами (Power BI, Tableau, Metabase, Superset тощо)

Ми пропонуємо

• Гнучкий графік
• Щорічний perfomance review
• 20 днів на відпустку, 5 day-offs, 15 лікарняних, вихідні на усі державні свята
• Подарунки на день народження, бонуси на особисті родинні свята та ще багато приємностей
• Медична страховка від компанії UNIQA
• Участь у конференціях та профільних навчальних заходах коштом компанії
• Персональна нова робоча техніка
• Зручна виплата заробітної плати
• Постійна підтримка зв’язку з усіх необхідних питань.