О конференции

9-12 декабря 2020 года в онлайне прошла SmartData 2020 — конференция по Data Engineering:

Стриминг

  • Flink;
  • Spark;
  • Kafka.

СУБД и хранилища для больших данных

Использование классических реляционных, колоночных, NoSQL, SMP/MPP хранилищ для построения DWH:

  • Hive, Impala, Presto, Vertica, ClickHouse, Cassandra;
  • Teradata, Redshift, GreenPlum, Exadata;
  • MSSQL, PostgreSQL;
  • MongoDB, DynamoDB;
  • S3, ADLS, GCS, HDFS.

Архитектура DWH

  • Моделирование данных;
  • Примеры построения корпоративных хранилищ данных;
  • Оперативная аналитика;
  • Ad-hoc reporting;
  • Hadoop.

Data governance

  • Безопасность данных;
  • Качество данных;
  • Метаданные и управление каталогом;
  • Управление основными данными;
  • Миграция данных.

Технологии построения ETL

  • Spark;
  • Hadoop MapReduce;
  • Sqoop;
  • Анализ производительности и оптимизация.

Оркестрация и MLOps

  • Airflow, NiFi, Luigi, Azkaban, Oozie;
  • MLflow.

Другое

  • Box Cloud solutions;
  • Дата инженерия не для дата инженеров;
  • CI/CD для пайплайнов данных;
  • Тестирование.

Если вы занимаетесь Data Engineering и хотите первыми узнавать о новых технологиях и перспективных направлениях, подписывайтесь на новости конференции.

Фичи конференции

  • Неограниченное время доступа к видеозаписям докладов
  • Прямой эфир
  • Активности и доклады от партнеров
  • Можно поставить на паузу или перемотать назад
  • BOF и дискуссионные зоны онлайн
  • Интервью с экспертами и ведущими

Спикеры

Jeff Zhang
Jeff Zhang Alibaba Group
Jeff has 11 years of experience in the big data industry. He is an open source...

Jeff has 11 years of experience in the big data industry. He is an open source veteran, started to use Hadoop in 2009, and is PMC of Apache project Tez/Livy/Zeppelin and committer of Apache Pig. His experience is not only on big data infrastructure but also on how to leverage these big data tools to get insight. He speaks several times at big data conferences like Hadoop summit, Strata + Hadoop World. Now he works in Alibaba Group as a staff engineer. Before that, he worked in Hortonworks where he had developed these popular big data tools.

Jacek Laskowski
Jacek Laskowski
Jacek is an IT freelancer specializing in Apache Spark, Delta Lake, Apache Kafka and Kafka Streams...

Jacek is an IT freelancer specializing in Apache Spark, Delta Lake, Apache Kafka and Kafka Streams (with brief forays into a wider data engineering space, e.g. Presto). Jacek offers software development and consultancy services with very hands-on in-depth workshops and mentoring. He is best known by his online books available free of charge at https://books.japila.pl/.

Neville Li
Neville Li Spotify
Neville is a data infrastructure engineer at Spotify and the creator of Scio. Over the years at...

Neville is a data infrastructure engineer at Spotify and the creator of Scio. Over the years at Spotify he has been driving the adoption of Scala and new tools for data processing, including Scalding, Spark, Storm, Parquet, and now Apache Beam and Scio. Before that he worked on search quality at Yahoo! and old school distributed systems like MPI.

Евгений Легкий
Евгений Легкий Retable
Евгений является CEO и основателем стартапа Retable, разработчика self-service data engeering платформы для обработки, структурирования и...
Евгений Легкий

Евгений является CEO и основателем стартапа Retable, разработчика self-service data engeering платформы для обработки, структурирования и очистки данных для Data Scientists и Data Engineers.

Также консультирует high growth-стартапы Кремниевой Долины в стратегии построения scalable data stacks и data-oriented-продуктов.

До этого являлся основателем и CEO компании Segmento, одного из крупнейших игроков на рынке RTB в России (продана Сбербанку). Также он сооснователь лаборатории Hintlab, специализирующейся на исследованиях в области AI. Являлся разработчиком в JetBrains и LG.

Павел Якунин
Павел Якунин ТехЦентр Дойче Банка
Ведущий разработчик и лид команды больших данных в инвестиционном подразделении Дойче Банка. Павел попал в Дойче в...
Павел Якунин

Ведущий разработчик и лид команды больших данных в инвестиционном подразделении Дойче Банка.

Павел попал в Дойче в 2014 году, а до этого успел защитить диссертацию по квантовой оптике, поработать разработчиком сначала в маленьком хэдж-фонде, а потом в Яндексе. Вместе с командой Павел строит большие данные в Дойче уже почти четыре года и рад поделиться своим опытом.

Михаил Марюфич
Михаил Марюфич Mail.Ru Group
Machine Learning Engineer в Mail.Ru Group, специализируется на Deep Learning. Занимается машинным обучением более 4 лет,...

Machine Learning Engineer в Mail.Ru Group, специализируется на Deep Learning. Занимается машинным обучением более 4 лет, решает задачи E2E, от формулировки проблемы до выкатки в промышленную эксплуатацию и дальнейшей поддержки системы. В профессиональной деятельности превыше всего ценит воспроизводимость результатов и хорошие процессы разработки.

Ольга Макарова
Ольга Макарова ivi
Продуктовый аналитик в ivi и Яндексе. Менеджер команды больших данных в ivi. ...
Ольга Макарова

Продуктовый аналитик в ivi и Яндексе. Менеджер команды больших данных в ivi.

Станислав Богатырев
Станислав Богатырев NEO Saint Petersburg Competence Center
Сооснователь и CIO Санкт-Петербургского центра компетенций Neo, где сейчас руководит разработкой NeoFS. До этого более 15 лет...
Станислав Богатырев

Сооснователь и CIO Санкт-Петербургского центра компетенций Neo, где сейчас руководит разработкой NeoFS.

До этого более 15 лет занимался инфраструктурой и системами хранения данных в Samsung Research, Clodo.ru и DellEMC.

Николай Аверин
Николай Аверин Miro
Последние 3 года работает в компании Miro. Мигрирует данные сервиса из Redis в PostgreSQL. Реализует multi-tenant-архитектуру...
Николай Аверин

Последние 3 года работает в компании Miro. Мигрирует данные сервиса из Redis в PostgreSQL. Реализует multi-tenant-архитектуру хранения данных на уровне приложения. Занимается вопросами масштабирования и отказоустойчивости баз данных. Наполовину бэкенд-инженер, наполовину DBA.

Moon soo Lee
Moon soo Lee Staroid, Inc.
Lee Moon soo is a founder of staroid.com, a platform that bridges the gap between the...

Lee Moon soo is a founder of staroid.com, a platform that bridges the gap between the open source community and enterprise users.

He has been working on building a sustainable open source eco-system since he created an open source project Apache Zeppelin and a business around it.

Евгений Ермаков
Евгений Ермаков Яндекс Go
Более 10 лет опыта работы в ИТ-сфере. Архитектор хранилищ данных и систем анализа в Mail.ru Group...

Более 10 лет опыта работы в ИТ-сфере. Архитектор хранилищ данных и систем анализа в Mail.ru Group и Яндекс Go. Кандидат технических наук, автор более 10 работ в области анализа данных, соавтор монографии по теории и практике анализа параллельных баз данных.

Владимир Верстов
Владимир Верстов Яндекс.Go
Руководитель сектора разработки DMP (платформы управления данными) в Яндекс.Go. Более 10 лет опыта работы в IT....
Владимир Верстов

Руководитель сектора разработки DMP (платформы управления данными) в Яндекс.Go. Более 10 лет опыта работы в IT. В университете занимался параллельными и распределенными вычислениями, разрабатывал свой САПР, защитил кандидатскую по двум специальностям. 5 лет занимался enterprise-разработкой в консалтинге, прошел путь от системного аналитика до Team & Tech Lead. Последние 4 года занимается инженерией данных в Яндекс.Go.

Партнеры

Если бы не компании, которые нас поддерживают, мы не смогли бы проводить для вас SmartData ежегодно на таком высоком уровне. Конференция растет и развивается благодаря нашим партнерам.

Платиновый партнер

Золотой партнер

Серебряный партнер

Информационные партнеры

Если вы хотите стать партнёром конференции — пишите на partners@cppconf.ru.