На сегодняшний день не так часто говорят про унификацию построения дата-пайплайнов — особенно в ситуации, когда приходится вырываться из Java/Scala-мира и строить цепочки из компонентов со смешанными языками и технологиями.
Как подружить Spark + Scala-джобы и Python-приложения? Dagster дает удобные компоненты для написания и отладки таких пайплайнов, при этом имеет большое число интеграций с де-факто стандартами систем оркестрации, вычисления и так далее.
В докладе Андрей расскажет, зачем это нужно и как писать на Dagster пайплайны с переиспользуемыми блоками и гибкой архитектурой.