Data Engineer (Платформа данных) (удаленная работа)

Вакансия: Data Engineer (Платформа данных)

Описание вакансии

Платформа данных - миграция хранилища данных аналитической отчетности на единую Data-платформу компании.

Вам предстоит:

• Разрабатывать пайплайн поставки данных в Data Lakehouse;
• разрабатывать механизм для потоковой проверки качества данных (DQ);
• разрабатывать механизм для автоматической сборки витрин (dbt);
• внедрять Apache Kylin для последующего переноса кубов;
• внедрять Apache Flink и Apache Paimon для приземления данных и NRT-отчётов;
• проектировать, прототипировать и проверять гипотезы для внедрения новых компонентов и улучшения существующих решений.

Вы нам подходите, если:

• Уверенно владеете Java или Python (со стремлением изучить Java);
• свободно владеете SQL;
• имеете опыт работы со Spark;
• имеете опыт работы с Apache Iceberg;
• имеете опыт работы с Docker и docker-compose;
• понимаете особенности форматов данных Avro, ORC, Parquet.