N
Компания под NDA
сегодняData Engineer / Technical Lead
Сгенерировать отклик под эту вакансию с ИИ
Аврора подстроит резюме и напишет сопроводительное за 30 секунд
Чем предстоит заниматься
- Миграция ETL-систем с Informatica PowerCenter на открытый стек (Airflow + Greenplum)
- Проектирование и разработка DAG'ов в Apache Airflow
- Разработка ETL-скриптов на Python (pandas, интеграция с API)
- Работа с PySpark: трансформации, оптимизация, партиционирование
- Проектирование потоков в NiFi, подключение источников, обработка ошибок, мониторинг, отладка
- Разработка правил валидации данных и анализ влияния на бизнес-процессы
- Проектирование интеграций Apache-стека с Kafka и BI-системами
- Настройка потоковой обработки данных
- Автоматическая валидация и контроль качества данных после миграции (сравнение результатов, метрики)
- Отслеживание ETL-процессов с помощью Grafana/Prometheus
Требования
- Опыт участия в проектах миграции ETL-систем (Apache стек)
- Опыт разработки на Python (написание ETL-скриптов, работа с pandas, интеграция с API)
- Опыт написания и отладки DAG'ов в Apache Airflow (не только проектирование, но и разработка)
- Опыт работы с PySpark (трансформации, оптимизация, партиционирование)
- Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек (Airflow + Greenplum)
- Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг, отладка
- Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес-процессы
- Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT
- Опыт работы с Hive metastore (устройство, хранение на PostgreSQL) и форматами файлов (Parquet, ORC)
- Опыт работы с Oracle
- Опыт применения сложных SQL-запросов (оконные функции, джоины)
- Умение оптимизировать запросы для highload-среды
- Опыт проектирования интеграций Apache-стека с Kafka и BI-системами
- Опыт настройки потоковой обработки данных
- Опыт работы с Hadoop и Hive (знание версий, источников данных)
- Опыт работы с PostgreSQL, Greenplum, Clickhouse
- Опыт работы с Grafana/Prometheus для отслеживания ETL-процессов
- Опыт работы с биллингом
- Опыт автоматической валидации и контроля качества данных после миграции (сравнение результатов, метрики)
Условия
- Работа с биллингом
- Опыт TeamLead (управление командой) не менее 4 лет
- Умение переводить бизнес-требования в технические спецификации
- Подготовка документации для пользователей и разработчиков
- Создание ER-диаграмм, инструкций, тест-кейсов
Стек
Контакт работодателя
Прямой контакт рекрутёра в Telegram, без посредников
@recruiter_hidden
Бесплатно — за подписку на наш Telegram-канал
@recruiter
Telegram · прямой контакт
Аврора откликнется за вас. Пока вы пишете одному рекрутёру, автопилот отправляет отклики на все подходящие.
Попробовать →Безлимит будет в подписке Авроры — скоро.
Узнать первым →Вакансия в архиве — отклик недоступен. Посмотрите похожие активные вакансии ниже.
Похожие вакансии
B
BGStaff
3 дня назад
Data Engineer (Snowflake, AWS, Python)
зп не указана
SeniorУдалённо · РФпрямой контакт
W
Wildberries
8 дней назад
Data Engineer в корпоративное хранилище данных
зп не указана
Удалённо
N
Компания под NDA
10 дней назад
Data Engineer
от 200 000 ₽
MiddleУдалённопрямой контакт
N
Компания под NDA
10 дней назад
Архитектор решений (Data/AI)
зп не указана
SeniorУдалённо · РФпрямой контакт
H
HaaS Platform
10 дней назад
Data Engineer / DWH Developer
от 3 000 $
MiddleОфис · Ташкентпрямой контакт
N
Компания под NDA
10 дней назад
Разработчик баз данных (Middle+)
зп не указана
MiddleУдалённо · РФпрямой контакт