Senior Data Engineer

В игры Playrix уже играют миллионы людей ежедневно. Чтобы это число превратилось в миллиард, мы активно работаем с данными и ml-алгоритмами для поиска новых игроков и удержания имеющихся.

Объем данных в нашем Data Lake больше 2.5 петабайт: маркетинговые метрики, игровые события, параметры операционной деятельности. Мы делаем всё возможное, чтобы не возникало ни малейших сомнений в полноте, актуальности и достоверности информации, которую мы предоставляем. Особое внимание уделяем скорости обработки и качеству данных. Это позволяет нам принимать верные решения относительно развития наших игр!

Мы ищем Senior Data Engineer в нашу команду Data Core, которая отвечает за организацию хранения, преобразования и доступа к данным игровой и маркетинговой аналитики.

Наши задачи

• Автоматизация процессов извлечения данных из внешних источников;
• Автоматизация контроля качества и верификации поставляемых данных, настройка мониторинга и регламентов;
• Трансформация и выгрузка данных для последующего анализа в игровой аналитике и маркетинге в наиболее удобном для заказчика виде;
• Разработка и сопровождение конвейера непрерывной поставки данных;
• Разработка и сопровождение интеграционных сервисов для взаимодействия с партнерами.

Наш стек

Python — основной язык, доступ к данным — SQL.Data Lake построен на S3 и Delta Lake формате в Databricks. В качестве DWH Redshift/PostgreSQL. Работаем в облачной инфраструктуре AWS.

Используем решения мейнстримовых вендоров: MonteCarlo, DBT. Практикуем serverless подход работы с ресурсами и горизонтальное масштабирование, используем предиктивные модели. Уделяем внимание рефакторингу и кода, и архитектуры. Для CI/CD процесса используем TeamCity.

Мы ожидаем:

• Опыт в Data Engineering от 5 лет
• Опыт разработки на Python более 3 лет: ООП, навык проектирования фреймворков и библиотек, умение читать и анализировать код, опыт профилирования и оптимизации производительности/масштабируемости;
• Навыки работы с популярными DE/ML фреймворками: Airflow, PySpark, Pandas, mlflow;
• Навыки написания и оптимизации SQL запросов, умение работать с планами запросов
• Опыт работы с хранилищами разных архитектур: mpp, columnar, relation, hadoop, in-memory;

Мы предлагаем:

Гибкость в работе: у нас гибкий график, и сотрудники могут работать из любой точки мира (кроме РФ и РБ). Для нас не важно, где и как вы выполняете свою работу — мы оцениваем только результаты.

Забота о здоровье и well-being:

• Предоставляем ДМС для сотрудников, их партнеров и детей, компенсируем онлайн-сессии с психологом.
• Сохраняем 100% зарплату во время отпуска или больничного без лишних справок. А для особых случаев предоставляем дополнительные выходные.
• Поддерживаем здоровый образ жизни и компенсируем покупку спортивных абонементов и подписку на фитнес-приложения.

Развитие и обучение:

• Оплачиваем участие в профильных конференциях и курсах, проводим внутренние конференции.
• Предлагаем скидки на курсы английского языка и языков стран присутствия компании.

Ивенты и мерч:

• Регулярно проводим развлекательные и рабочие мероприятия в офлайн режиме: встречи команд, крупные корпоративные вечеринки и более лайтовые пати в офисах.
• Также регулярно проводим развлекательные конкурсы, квизы, хакатоны, спортивные челленджи в режиме онлайн.
• Собственный магазин мерча с внутренней валютой, где можно купить уникальные подарки. Валюту дарим на значимые даты, также ее можно заработать, участвуя в мероприятиях и брендовых активностях.