Data Engineer (архитектура данных и хранилищ)

270 000–295 000 ₽

Сгенерировать отклик под эту вакансию с ИИ

Аврора подстроит резюме и напишет сопроводительное за 30 секунд

Чем предстоит заниматься

Планировать и внедрять инструменты хранения и обработки данных в рамках крупного проекта цифровой трансформации.
Проектировать целевую архитектуру хранилищ и анализировать потоки данных.
Подбирать релевантный инструментарий под задачи обработки и хранения данных.
Проектировать пайплайны и обеспечивать качество данных.
Писать DAG, кастомные операторы и интеграции на Python.

Требования

Опыт работы на позиции Data Engineer от 4 лет в сфере разработки ПО
Уверенная работа с Postgres и MSSQL
Опыт настройки и оптимизации OLAP-движков (Trino, StarRocks) и современных хранилищ (Cassandra, Redis)
Практический опыт работы с Apache Airflow (написание DAG, кастомные операторы)
Опыт использования Apache Kafka (producer/consumer) и Apache Flink (разработка стриминговых джоб, состояние, чекпоинты)
Опыт работы с Apache Iceberg, понимание архитектуры lakehouse, использование Lakekeeper для управления метаданными, работа с объектным хранилищем S3
Опыт реализации Change Data Capture паттернов для синхронизации данных между системами
Глубокие знания в области архитектуры данных и баз данных: нормализация и денормализация, проектирование relational и columnar моделей, стратегии управления данными (lifecycle, retention, versioning)
Уверенное владение Python: написание скриптов, модулей, работа с асинхронностью; опыт написания DAG в Apache Airflow, включая кастомные операторы, hooks, sensors
Навыки оптимизации: профилирование процессов, поиск bottlenecks, оптимизация SQL-запросов и настройка ресурсов кластеров под нагрузку
Владение Jira и Confluence на уровне confident user (структура страниц, шаблоны, макросы, связки задач и документации)
Опыт организации хранения данных для задач OLAP / OLTP с учетом требований (consistency / integrity)
Опыт организации обработки данных в рамках задач OLAP / OLTP с применением различных паттернов (batch processing, CDC)
Понимание ключевых особенностей и сценариев применения различных паттернов организации интеграционных потоков (batch processing, CDC) с учетом их характеристик (3V+)
Опыт заведения и сопровождения заявок в Service-Desk
Умение структурировать информацию, работать с требованиями, документировать технические решения
Английский — на уровне чтения и написания технической документации
Будет плюсом: опыт работы с Timeseries базами данных (InfluxDB, TimescaleDB, TDengine и др.)
Будет плюсом: глубокий опыт эксплуатации кластеров (Hadoop, YARN, Kubernetes) в production-среде
Будет плюсом: знание SQL на продвинутом уровне (оптимизация сложных запросов, window functions, CTE)
Будет плюсом: опыт работы с CI/CD для data-пайплайнов
Будет плюсом: понимание принципов DDD, event-driven архитектуры
Будет плюсом: опыт работы с Apache NiFi

Условия

Удалённая работа по РФ, любой город.
Полная занятость (full-time).
Гражданство РФ.
Доступ к команде зрелых разработчиков и проектной поддержке: Team Lead, Product Owner, Project Manager.
Возможность увидеть результаты работы на реальном производстве, включая системы, терминалы и интеграции.
Пространство для инициатив, развития и расширения зоны ответственности.

Стек

PostgresMSSQLKafkaFlinkAirflowIcebergTrinoStarRocksCassandraRedisS3LakekeeperPythonJiraConfluenceService-DeskHadoopYARNKubernetesInfluxDBTimescaleDBTDengineApache NiFiCI/CD

Контакт работодателя

Прямой контакт рекрутёра в Telegram, без посредников

@recruiter_hidden

Бесплатно — за подписку на наш Telegram-канал

@recruiter

Telegram · прямой контакт

Написать

Аврора откликнется за вас. Пока вы пишете одному рекрутёру, автопилот отправляет отклики на все подходящие.

Попробовать →

Контакты открываются по подписке на канал. Подпишитесь — и контакт откроется сразу, ничего заполнять не нужно.

Подписаться снова

Дневной лимит контактов исчерпан. Счётчик обнулится в 00:00 по Москве — вакансия никуда не денется, она уже в вашей истории.

Безлимит будет в подписке Авроры — скоро.

Узнать первым →

Вакансия в архиве — отклик недоступен. Посмотрите похожие активные вакансии ниже.

Data Engineer (архитектура данных и хранилищ)

Чем предстоит заниматься

Требования

Условия

Стек

Контакт работодателя

Похожие вакансии

Senior Data Engineer в RedLab

Data Engineer (Middle+/Senior) в ggsel

Lead Data Engineer / Data Platform Lead

Data Engineer (Oracle/Hadoop/Teradata)

Data Engineer (Middle) в Кодекс-ИТ

Senior Data Engineer (антифрод-скоринг)