11.08.2022, Грищенко Константин, г. Новосибирск Даёшь огромным моделям колоссальные тренажёры
Доброе утро, друзья!
Рассмотрим систему Colossal-AI, которая представляет собой единую параллельную обучающую систему, предназначенную для плавной интеграции различных парадигм методов распараллеливания. Она позволяет исследователям данных сосредоточиться на разработке архитектуры модели и отделяет проблемы распределенного обучения от процесса разработки.