Senior DWH Developer

Company Name: Kaspersky Lab jobs, Employment

Location: RU

Job Duration: 2021-09-15 to 2021-10-15

Overview

Мы – команда инженеров, которая занимается развитием и поддержкой внутреннего хранилища данных в Лаборатории Касперского. Объем хранилища данных исчисляется терабайтами данных и продолжает расти. Размеры таблицы-миллиарды и сотни миллионов записей. ETL процессы реализованы на связке SQL Server Integration Services и T-SQL. Для нестандартных задач используется С#. Помимо классического стека, в команде для одного из проектов внедряется новый стек технологий на базе Kafka, Hadoop, Spark, Airflow.

В команде хорошо развиты процессы и инженерные практики: написание автотестов, ревью, CI, автоматизированные мониторинги. Для автотестов у нас есть собственный фреймворк на базе библиотеки tSQLt. На текущий момент в проекте более тысячи автоматизированных тестов. Для мониторинга процессов загрузки используются такие инструменты как Prometheus, Grafana, SCOM.

В команде помимо разработчиков есть:

  • тестировщик, который занимается написанием автоматизированных тестов и контролирует качество разрабатываемых решений;
  • системные аналитики, которые работают с требованиями и взаимодействуют с бизнес пользователями, поэтому разработчики могут сфокусироваться на инженерных задачах;
  • архитектор, который помогает с проектированием и реализацией,
  • системные администраторы, которые мониторят состояние инфраструктуры и помогают в задачах оптимизации.

Что предстоит делать в нашей команде:

  • Разработка ETL процессов на связке SSIS + T-SQL по загрузке данных из разных гетерогенных источников (базы, API, SFTP, брокеры сообщений)
  • Подключение новых источников из корпоративной шины (Kafka, RabbitMQ)
  • Модернизация существующего батчевого процесса отгрузки данных в систему маркетинговых коммуникаций.
  • Решение задач оптимизации ETL-процессов и структур хранения данных при работе с большими объемами данных
  • Разработка автотестов на процессы загрузки данных и развитие инфраструктуры тестирования.
  • Разработка мониторингов качества данных
  • Поддержка существующих процессов загрузки данных

От кандидата ожидаем:

  • Отличное знание SQL
  • Понимание принципов работы БД и построения хранилищ данных
  • Опыт работы с MS SQL Server (оптимизация запросов, партиционирование, колоночные индексы)
  • Опыт работы с SQL Server Integration Services
  • Опыт разработки на C# (базовый уровень)
  • Непрерывное профессиональное развитие, к примеру: изучение новых языков программирования, онлайн курсы, контрибьюты в открытые проекты, чтение книг, блогов, подкасты и т.д.

Будет плюсом:

  • Опыт работы с брокерами сообщений (RabbitMQ, Kafka)
  • Опыт работы с Docker
  • Опыт работы с моделью данных DataVault
  • Опыт работы c BIML при разработке SSIS пакетов
  • Опыт работы с Prometheus, Grafana
  • Опыт работы с PowerBI