ETL-разработчик (Big Data), Москва

Big Data в МТС трансформирует классическое аналитическое хранилище в data lake ведущей технологической компании. Уже сегодня на аналитике Big Data основывается принятие многих стратегических решений в компании. А в перспективе на ней будет базироваться вся экосистема продуктов МТС.

Что вы найдете в команде Big Data?

Стек технологий: Open source и коммерческие решения в области Big Data.

Продукты: с 2015 года их более 80: от оценки поведения клиентов до бизнеса. Находятся на разных стадиях - R&D, продуктивизации и продуктива.

Подход: Agile, Scrum, для управления продуктами и задачами - Confluence и Jira. Все команды автономные, поэтому минимум бюрократии. Гибко меняем задачи в спринте, если понимаем, что это необходимо.

Команда: нас уже 200, планируем вырасти до 300. Для работы над продуктом собираем команду из разных центров компетенций (их более 14, есть ЦК разработки, ЦК DevOps, ЦК архитектуры и др.) 

Задачи:

  • Проектирование и разработка процессов преобразования данных (ETL) для хранилища данных;
  • Знание языков программирования: java, scala, python;
  • Написание скриптов на SQL;
  • Работа с большими объемами данных (прирост данных 10-100 Тб в сутки);
  • Проектирование потоков данных;
  • Работа с различными базами и платформами данных: Hadoop, Apache Hive, Apache Hbase;
  • Работа с разработанными МТС инструментами и решениями для обработки данных
  • Практическое применение методологий и навыков построения и оптимизаций Data Lake и DWH.

Необходимые знания и навыки:

  • Высшее образование(Техническое/IT);
  • Хорошее знание какой-либо промышленной СУБД, профессиональное владение SQL;
  • Опыт работы со Spark;
  • Умение писать наjava/scala/python
  • Опыт работы с NoSQLхранилищами(Apache Hive, Apache Hbase);
  • Опыт в проектах построенияData Lake и корпоративных хранилищ данных (банки, телекомы);
  • Опыт работы со стеком Hadoop;
  • Опыт проектирования и разработки ETL процессов, владение промышленным ETL инструментарием;
  • Умение работать сunix-системами;

Будет плюсом:

  • Обладаете знаниями по GeoSpark;
  • У вас был опыт работы сmpp-системами;
  • Мы приветствуем самостоятельных разработчиков, которые не боятся проявить инициативу и решать новые незнакомые задачи, погружаться в них полностью и доводить проекты до конца