"ПОЛИОКС": цифровой полигон оценки качества систем ИИ
Предназначен для экспериментальной оценки качества разработанных систем ИИ по набору метрик в ходе сертификационных испытаний. Обеспечивает объективную оценку, контроль качества (точности) и границ применимости создаваемых систем ИИ. Создает объясняющие процедуры к существующим системам ИИ, испытывает системы ИИ в экстремальных условиях эксплуатации, оценивает потенциал развития систем ИИ, определяет ресурсную стоимость дальнейших улучшений.
Эффекты от внедрения
- Увеличение полноты тестов сертификационных испытаний не менее, чем в 6 раз
- Снижение трудозатрат на организацию испытаний не менее, чем в 4 раза
Иллюстрация
Конкурентные преимущества
Построение эталонного SOTA-решения с помощью AutoML
Имитация различных условий эксплуатации модели на синтетических данных
Объективное сравнение нескольких версий одной системы или нескольких систем ИИ на разных принципах
Общая информация
УГТ-8
система проверена на работоспособность в своей конечной форме и в ожидаемых условиях эксплуатации
Руководитель разработки
к.т.н. Иван Ходненко ivan.khodnenko@itmo.ru
Инициатор
Видео о разработке
Статья о разработке
-
17.03.2025
В ИТМО разработали цифровой полигон для тестирования новых систем ИИ в экстремальных условиях
Цифровой полигон «Полиокс» позволяет анализировать потенциал системы ИИ, прогнозировать ресурсную стоимость ее дообучения и объективно оценить качество работы в том числе в экстремальных условиях эксплуатации.