Awex - фреймворк для высокопроизводительного обмена весом с открытым исходным кодом от Ant Group

Что такое Awex?

Awex - это высокопроизводительный фреймворк с открытым исходным кодом от Ant Group, предназначенный для крупномасштабной синхронизации параметров в обучении с подкреплением. Awex может выполнять обмен параметрами на терабайтном уровне за считанные секунды, значительно повышая эффективность обучения и рассуждений. Awex обладает очень высокой производительностью синхронизации, в кластере с тысячей карт модели с триллионом параметров могут быть завершены за 6 секунд после полной синхронизации. Awex поддерживает передачу данных с нулевой избыточностью и обновление на месте, передавая только необходимые фрагменты, чтобы уменьшить накладные расходы на копирование памяти; он поддерживает несколько режимов передачи, таких как NCCL, RDMA и общая память, чтобы полностью использовать пропускную способность оборудования. Совместим с гетерогенным развертыванием, поддерживает режимы общей и раздельной карты и адаптируется к различным сценариям обучения.

Особенности Awex

• Чрезвычайно быстрая синхронизация: В крупномасштабной кластерной среде он может быстро завершить синхронизацию терабайтов параметров, значительно повышая эффективность обучения и выводов с применением подкрепления. Например, на кластере из тысячи карт модель с триллионом параметров может быть синхронизирована с полным объемом за 6 секунд.
• Уровень адаптации унифицированной модели (UMAL): Автоматически обрабатывайте различия в формате и компоновке тензоров между различными механизмами обучения и вывода, поддерживайте различные архитектуры моделей и уменьшайте сложность разработки и развертывания.
• Передача с нулевым резервированием и обновление на месте: Передавая только необходимые фрагменты параметров, сторона вывода обновляет видеопамять на месте, избегая накладных расходов на перераспределение и копирование видеопамяти и повышая эффективность использования ресурсов.
• Поддержка многомодовой передачиСовместимость с различными режимами передачи данных, такими как NCCL, RDMA и общая память, позволяет в полной мере использовать преимущества пропускной способности различных аппаратных средств, сокращая длительные задержки и повышая общую производительность передачи данных.
• Совместимость с гетерогенными развертываниямиОн поддерживает режимы общей и раздельной карты, адаптируясь к сценариям обучения синхронных и асинхронных алгоритмов обучения с подкреплением, что позволяет удовлетворить самые разные потребности в развертывании.
• Гибкая подключаемая архитектура: Поддерживает настраиваемое распределение весов и поведение раскладки для различных моделей, позволяя при этом использовать новые обучающие и вычислительные механизмы с хорошей масштабируемостью и гибкостью.

Основные преимущества компании Awex

• Высокопроизводительная синхронизация: Достижение посекундной синхронизации параметров на уровне терабайта в крупномасштабных кластерах для значительного повышения эффективности обучения и выводов с применением подкрепления. Например, на килокалорийном кластере модели с триллионом параметров могут быть синхронизированы в полном объеме менее чем за 6 секунд.
• высокая совместимость: Автоматически адаптирует форматы и компоновку Tensor для различных механизмов обучения и вывода, поддерживает различные архитектуры моделей и снижает сложность разработки и развертывания.
• Эффективная передача: Передавая только необходимые параметры для нарезки, сторона вывода обновляет видеопамять на месте, избегая перераспределения и копирования видеопамяти и повышая эффективность использования ресурсов.
• Поддержка многомодовой передачиСовместимость с несколькими режимами передачи данных, такими как NCCL, RDMA и общая память, что позволяет полностью использовать пропускную способность оборудования и сократить длительные задержки.
• Гибкая архитектура: Поддерживает пользовательское распределение веса и поведение компоновки, что позволяет использовать новые механизмы обучения и вывода с хорошей масштабируемостью и гибкостью.

Какой официальный сайт Awex

• Репозиторий Github:: https://github.com/inclusionAI/asystem-awex

Для кого предназначен Awex

• Исследователи глубокого обучения и обучения с подкреплением: Исследователи, которым необходимо эффективно обучать и рассуждать на крупных кластерах, особенно команды, работающие с крупномасштабными параметрическими моделями, могут значительно повысить свою производительность с помощью Awex.
• Инженер по искусственному интеллектуAwex поможет инженерам, ответственным за разработку и внедрение систем обучения с подкреплением на предприятии или в организации, быстро синхронизировать обучение и вывод моделей для оптимизации производительности системы.
• Облачные вычисления и операторы центров обработки данных: Команды, управляющие крупными вычислительными ресурсами, благодаря возможностям эффективной синхронизации параметров Awex оптимизируют использование ресурсов и повышают общую операционную эффективность центра обработки данных.
• Разработчик высокопроизводительных вычислений (HPC): Профессионалы, которым приходится работать с большими объемами данных и решать сложные вычислительные задачи, благодаря мультимодальной транспортировке и гибкой архитектуре Awex смогут удовлетворить свои потребности в высокопроизводительных вычислительных средах.