В Яндекс.Маркет требуется Тимлид команды дата-инженеров.
Продукт команды - Data Warehouse, хранилище данных, которое строят для нужд бизнес-подразделений. Пользователи - как руководители Маркета, которым нужна отчётность для принятия решений, так и эксперты в области глубокого анализа данных. Технологически ядро хранилища построено на системах хранения данных Yandex Tables (Hadoop собственной разработки), Greenplum и СlickHouse. Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются подходы от Data Lake до Data Vault.
Хранилище данных компании сейчас одно из самых крупных в России. К нему предъявляются высокие требования по надёжности, и это ставит перед командой далеко не тривиальные задачи, для которых нет готовых решений.
Какие задачи вас ждут:
- Руководить командой дата-инженеров от трёх человек
- Формировать пакет технических инициатив и управлять им
- Выявлять неэффективность в существующих процессах и оптимизировать их
- Проектировать структуру хранения данных
- Участвовать в развитии фреймворка поставки данных
- Сопровождать разработанные процессы ETL
- Участвовать в найме сотрудников в команду
Компания ждёт, что вы:
- Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов
- Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными
- Проектировали DWH: слои, модели хранения данных, процессы ETL
Будет плюсом, если вы:
- Понимаете принципы работы хотя бы одной технологии распределённой обработки данных: Hadoop, MapReduce, ClickHouse, Greenplum, MPP
- Имеете опыт промышленной разработки на одном из языков высокого уровня: Java или C++
- Умеете работать в командной строке систем Unix-like: Linux, macOS
Что предлагают:
- Работу в технологической компании, которая создаёт полезные сервисы для миллионов людей
- Высокую скорость процессов и возможность быстро увидеть результат
- Профессиональную команду, у которой можно многому научиться и перенять опыт
- Культуру открытости и взаимопомощи: в команде работают увлечённые люди, неравнодушные к тому, что они делают
- Современный офис, в котором есть вся необходимая инфраструктура для комфортной работы и отдыха
- Официальное трудоустройство, компенсацию затрат на питание на территории кампуса и в его окрестностях
- Гибкий график: не контролируют ваше время, главное - выполнять задачи