Moscow Spark #3

Темы докладов:

Артем Выборнов, ведущий разработчик отдела аудиторного сегментирования Rambler&Co

Spark Streaming и онлайн сегментация аудитории

Основная цель нашей команды — сегментация аудитории. Для минимизации времени между получением информации о событии до его учёта в открутке рекламы был построен микробатчевый pipeline по обработке данных. Из доклада вы узнаете об опыте реализации онлайн сегментации с помощью Spark Streaming. Поймёте, как обеспечить честный exactly once и почему мы не стали этого делать. Узнаете какие задачи однозначно не стоит решать с помощью Spark Streaming, а какие, наоборот, идеально для него подходят.
 
Андрей Титов, тимлид отдела разработки платформ анализа данных ГК Инфосекьюрити

Сбор и обработка логов безопасности на Spark Streaming в режиме 24/7

В докладе будет рассмотрено применение Spark Streaming 1.6.3 в качестве основного движка для сбора и анализа логов в команде Security Operations банка Открытие. Используя логи из различных источников, мы выявляем инциденты ИБ и предотвращаем атаки на инфраструктуру банка.  Мы расскажем о том, как мы построили ETL процесс, где и как мы храним логи, и какие базы используем вместе с платформой Spark. А также о проблемах, с которыми мы столкнулись в проекте.
 
Григорий Помадчин, core engineer GeoTrellis в Azavea

GeoTrellis, Распределенный процессинг геопривязанных изображений на Spark

Процессинг ГИС данных на Spark, предобработка растровых данных и последующее использование данных для любой алгебры или аналитики. Проблемы хранения таких данных и эффективного их использования. Будет рассмотрено как и зачем делается предобработка, и какие последствия использования препроцессинга и постпроцессинга существуют для построения real-time сервисов.
 
Никита Учителев, руководитель отдела обработки данных и аналитики YouDo

Построение рекомендательной системы на базе Apache Spark

В своем докладе я расскажу о том, как в компании YouDo организованы потоки данных, как с их помощью решаются различные задачи предиктивной аналитики от автоматизированного поиска мошенников до формирования персональных рекомендаций для пользователей, какие технологии для этого используются и в чем сильные и слабые стороны применения Apache Spark для этих задач. Постараюсь уделить внимание, в первую очередь, техническим решениям в части интеграции между собой различных сервисов, а также архитектуре подобного рода проектов.

Мероприятие бесплатное, а регистрация обязательна.
С нас пицца и чай!
 

Начало в 19.00.
Место: Варшавское шоссе, д. 9, стр. 1, подъезд №5. Мансарда Rambler&Co

Обязательно зарегистрируйтесь и возьмите с собой паспорт, чтобы вас пропустила охрана бизнес-центра!

Приходите, будет интересно!