14 октября в Санкт-Петербурге завершилась конференция Joker 2023, на протяжение четырех дней участники слушали и читали доклады, участвовали в обсуждениях и активно общались. Событие проводилось в двух форматах: первые пару дней только онлайн, оставшиеся дни — гибридное участие. Наш коллега, старший научный сотрудник лаборатории «Когнитивные технологии в промышленности» Николай Бутаков выступил на конференции онлайн 10 октября с докладом «AutoML на Spark: миф, ставший реальностью». Речь в докладе шла о проблемах переноса AutoML решения в кластерную среду и особенностях достижения высокой масштабируемости, за счет грамотного использования возможностей кэширования в Spark в ключевых точках пайплайнов. А также использования гибридной модели параллельных вычислений (3D parallelism, сочетающий параллелизм по данным, по вычислениям и по пайплайнам) и корректировки планировщика Spark. Говорили также об AutoML в целом и ее актуальности в современном мире.
Вторым докладчиком стал руководитель команды LightAutoML Sber AI Lab Александр Рыжков. Вместе они рассказали о сотрудничестве лаборатории ИТМО со Сбером, которое длится с 2021 года. Ученые из университета занимались разработкой распределенной версии библиотеки Сбера LightAutoML на Spark (standalone версия библиотеки LightAutoML имеет суммарно 1.4К звезд на GitHub и более 160К скачиваний с PyPI) и частичной доработкой их решения RePlay для рекомендательных систем. Реализованные сотрудниками университета решения позволили более эффективно решать ML задачи на датасетах до 1 млрд. строк, а также существенно повысили структурированность и читаемость кода. Ознакомиться с презентацией доклада можно по ссылке.
«Такое сотрудничество позволяет нам развивать компетенции в области инжиниринга данных и особенно МО инжиниринга, находить новые возможности для практико-ориентированных научных исследований, а также лучше понимать потребности бизнеса, и как наука может ему помочь. Сберу же оно позволяет ускорять разработку высокотехнологичный цифровых продуктов поддержки решений на основе ML внутри банка, являющихся сегодня существенной частью их бизнеса», – прокомментировал Николай Бутаков.
Помимо доклада Николай поучаствовал в обсуждении «ML в JVM» вместе с руководителем московской команды инженеров R&D Huawei Антоном Чешковым и Александром Нозиком, директором центра научного программирования МФТИ. В рамках дискуссии были затронуты важные вопросы, касающиеся возможности и необходимости переноса классических алгоритмов машинного обучения на Java, а также преимущества такого подхода.
Записи доклада и обсуждения будут доступны позже на сайте конференции.