Работа: в Москве , 7 вакансий

Обязанности:

• Разрабатывать и сопровождать ETL процессы и инженерию данных на базе Spark как основного движка обработки и загрузки данных.

• Настраивать интеграции источников данных: подключение по JDBC к базам и стендбаям, а также стриминговые интеграции через Kafka, работу с топиками и JSON.

• Разрабатывать и поддерживать оркестрацию процессов в Airflow (DAG’и), используя Python в связке со Spark.

• Работать с большими объемами данных

...

Обязанности:

• Участие в проекте построения Платформы данных на технологиях (Greenplum, Clickhouse, S3 + Impala)
• Разработка и поддержка ETL/ELT-процессов с использованием DBT (Data Build Tool).
• Написание и оптимизация SQL-трансформаций разной сложности.
• Интеграция с сервисами оркестрации, доставки данных.
• Создание тестов, технической документации

Требования:

• Опыт работы от 2 лет с одной современной СУБД, желательно MPP (GreenPlum, PostgreSQL,

...

Обязанности:

• Участие в развертывании продуктов на базе Hadoop, Kafka, NiFi, Greenplum, Clickhouse (предпочтительно стек продуктов Arenadata) - установка, первичная настройка и тестирование, помощь разработчикам и аналитикам в реализации технических решений;

• Поддержка развернутых на стороне заказчика решений, поиск и устранение неисправностей, реализация интеграционных решений, консультирование по продуктам, работа с вендором;

• Проведение исследовательских работ, пилотных проектов, нагрузочных тестов совместно с разработчиками и

...

Обязанности:

• Разрабатывать и сопровождать ETL процессы и инженерию данных на базе Spark как основного движка обработки и загрузки данных.

• Настраивать интеграции источников данных: подключение по JDBC к базам и стендбаям, а также стриминговые интеграции через Kafka, работу с топиками и JSON.

• Разрабатывать и поддерживать оркестрацию процессов в Airflow (DAG’и), используя Python в связке со Spark.

• Работать с большими объемами данных

...

Обязанности:

• Участие в развертывании продуктов на базе Hadoop, Kafka, NiFi, Greenplum, Clickhouse (предпочтительно стек продуктов Arenadata) - установка, первичная настройка и тестирование, помощь разработчикам и аналитикам в реализации технических решений;

• Поддержка развернутых на стороне заказчика решений, поиск и устранение неисправностей, реализация интеграционных решений, консультирование по продуктам, работа с вендором;

• Проведение исследовательских работ, пилотных проектов, нагрузочных тестов совместно с разработчиками и

...

Обязанности:

• Развитие и поддержка хранилищ на основе Greenplum\Clickhouse.
• Обеспечение бесперебойного функционирования СУБД и регламентного резервного копирования.
• Разработка и поддержка функционала мониторинга СУБД и серверов, резервного копирования.
• Анализ работы кластеров и профиля нагрузки приложений. Предложения по улучшению ресурсных групп.
• Выявление и анализ узких мест в производительности работы кластеров\системы резервного копирования. Оптимизация влияющих факторов.

Требования:

• Знания принципов работы реляционных СУБД.
• Опыт администрирования

...

Обязанности:

• Участие в проекте построения Платформы данных на технологиях (Greenplum, Clickhouse, S3 + Impala)
• Разработка и поддержка ETL/ELT-процессов с использованием DBT (Data Build Tool).
• Написание и оптимизация SQL-трансформаций разной сложности.
• Интеграция с сервисами оркестрации, доставки данных.
• Создание тестов, технической документации

Требования:

• Опыт работы от 2 лет с одной современной СУБД, желательно MPP (GreenPlum, PostgreSQL,

...