Инженер по обработке данных — потоковые и автомобильные данные (м/ж/д)

• Вы поддерживаете дальнейшее развитие процессов обработки телематики через Spark Structured Streaming. Обеспечивается и постоянно оптимизируется техническое подключение Object Stores к потоковой платформе для обогащения и агрегирования телематических данных. Вы можете совершенствовать исходные данные на нескольких уровнях качества (бронза, серебро, золото) и передавать сложные структуры в плоские форматы, чтобы обеспечить точный и эффективный анализ данных. Кроме того, вы будете сопровождать нас в технологическом развитии и привнесете открытость для решения таких компонентов общей архитектуры, как Cloud Streaming Architecture, AWS IoT Core, MQTT, Datalakes и Databricks в будущем.

• Ваши исследования в области компьютерных наук, бизнес-информационных технологий или аналогичного обучения являются технической основой. У вас есть обоснованные знания об обработке данных с помощью таких платформ данных, как databricks и практический опыт работы с Apache Spark и концепциями потоковой передачи. В повседневной работе используйте Python (PySpark) и SQL для создания эффективных конвейеров данных и реализации преобразований. Вы получаете опыт работы с облачными архитектурами, например, в среде Microsoft Azure и в работе с решениями Blob Storage. Вы готовы расширить свои знания в новых областях, таких как облачная потоковая архитектура в среде AWS IoT. Это дает вам удовольствие направлять сложные потоки данных в структурированные пути и технологически развиваться вместе с нами. Безопасное появление в команде и коммуникативная сила - на хорошем немецком или английском языке - дополняют ваш профиль.

.