Stalactite: фреймворк федеративного обучения на больших данных

Предназначен для быстрого прототипирования систем вертикального федеративного обучения, ориентирован на исполнение и мониторинг моделей машинного обучения, работающих с распределенными данными. Обеспечивает поддержку обмена данными между сторонами с помощью гомоморфного шифрования и gRPC, оснащен встроенными инструментами для мониторинга (Prometheus, Grafana) и репортинга (MLFlow), а также CLI-интерфейсом для удобного обучения и отслеживания вычислительных процессов.

Открытый репозиторий разработки

Эффекты от внедрения

  • На 10% выше качество предиктивных моделей
  • На 15-30% выше утилизация корпоративных данных

Визуализация

Stalactite: фреймворк федеративного обучения на больших данных
Схема процесса прототипирования систем вертикального федеративного обучения с помощью Stalactite

Конкурентные преимущества

Массивы данных: до 100 млн. записей, до 10 тыс. признаков

Набор моделей для работы с таблицами (linreg, logreg, MLP, табличный ResNet) и изображениями (ResNet, EfficientNet)

CLI-интерфейс для удобного обучения, инференса, отслеживания статуса

Общая информация

УГТ-9

Система используется для решения реальных задач конечных потребителей

Руководитель разработки

к.т.н. Николай Бутаков nabutakov@itmo.ru

Инициатор

Статья о разработке

  • 15.10.2024

    Российские разработчики получили возможность безопасно обучать AI в различных доменах

    Специалисты Сбера и ИТМО создали один из первых отечественных инструментов для федеративного обучения моделей искусственного интеллекта. 15 октября 2024 года, Москва