Data Engineer в корпоративное хранилище данных

Сгенерировать отклик под эту вакансию с ИИ

Аврора подстроит резюме и напишет сопроводительное за 30 секунд

Обеспечивать стабильную, производительную и безопасную работу Data Platform на базе Trino, Spark, S3 и Apache Iceberg, включая администрирование и управление ролевой моделью доступа, документирование изменений в проекте.
Настраивать, обновлять, мониторить и тюнить кластера Trino.
Настраивать коннекторы (Iceberg, S3).
Оптимизировать производительность запросов (resource groups, query analysis).
Оптимизировать производительность Iceberg (partitioning, clustering, metadata management).
Разрабатывать и внедрять централизованные ролевые модели для доступа к данным и ресурсам платформы.

Понимание взаимодействия Spark с Iceberg и S3
Опыт эксплуатации Apache Iceberg (администрирование таблиц в формате Iceberg, настройка и использование Hive Metastore)
Понимание и применение: compaction, expiration snapshots, time travel, schema evolution
Навыки Linux, Bash, Python для автоматизации
Опыт управления политиками доступа и правами доступа через Ranger в S3 и Iceberg
Опыт разработки и внедрения централизованной ролевой модели для доступа к данным и ресурсам платформы
Опыт администрирования Greenplum или ClickHouse (установка, настройка, оптимизация, интеграция с S3/Iceberg)

TrinoSparkS3Apache IcebergHive MetastoreRangerLinuxBashPythonGreenplumClickHouse

Прямой контакт рекрутёра в Telegram, без посредников

@recruiter_hidden

Бесплатно — за подписку на наш Telegram-канал

@recruiter

Telegram · прямой контакт

Аврора откликнется за вас. Пока вы пишете одному рекрутёру, автопилот отправляет отклики на все подходящие.

Контакты открываются по подписке на канал. Подпишитесь — и контакт откроется сразу, ничего заполнять не нужно.

Дневной лимит контактов исчерпан. Счётчик обнулится в 00:00 по Москве — вакансия никуда не денется, она уже в вашей истории.

Безлимит будет в подписке Авроры — скоро.

Вакансия в архиве — отклик недоступен. Посмотрите похожие активные вакансии ниже.