Stalactite: фреймворк федеративного обучения на больших данных
Предназначен для быстрого прототипирования систем вертикального федеративного обучения, ориентирован на исполнение и мониторинг моделей машинного обучения, работающих с распределенными данными. Обеспечивает поддержку обмена данными между сторонами с помощью гомоморфного шифрования и gRPC, оснащен встроенными инструментами для мониторинга (Prometheus, Grafana) и репортинга (MLFlow), а также CLI-интерфейсом для удобного обучения и отслеживания вычислительных процессов.
Эффекты от внедрения
- На 10% выше качество предиктивных моделей
- На 15-30% выше утилизация корпоративных данных
Конкурентные преимущества
Массивы данных: до 100 млн. записей, до 10 тыс. признаков
Набор моделей для работы с таблицами (linreg, logreg, MLP, табличный ResNet) и изображениями (ResNet, EfficientNet)
CLI-интерфейс для удобного обучения, инференса, отслеживания статуса
Общая информация
УГТ-9
Система используется для решения реальных задач конечных потребителей
Руководитель разработки
к.т.н. Николай Бутаков nabutakov@itmo.ru
Инициатор