Вычислительная мощность становится новым типом сервисной модели, горячий тренд "плавки" больших моделей может остыть
Обучение больших моделей требует значительной вычислительной мощности, что делает её новым бизнес-моделем. Однако в настоящее время отрасль сталкивается с нехваткой высокопроизводительных GPU и высокими затратами. С учетом того, что рынок становится более рациональным, ажиотаж вокруг "алхимии" больших моделей может постепенно утихнуть, и поставщикам вычислительной мощности необходимо заранее подготовиться и вовремя адаптироваться.
Выпускник Университета Цинхуа Би Кайфэн тренировал большой метеорологический модель Паньгу, используя 200 графических процессоров (GPU) в течение 2 месяцев предварительного обучения. При расчете стоимости 7,8 юаней за час за один GPU, только затраты на обучение могут превысить 2 миллиона юаней. А стоимость обучения универсальной большой модели может возрасти в сотни раз.
В настоящее время в Китае уже более 100 крупных моделей с масштабом в 10 миллиардов параметров. Однако спрос на высококлассные графические процессоры превышает предложение, цена одной карты NVIDIA A100 когда-то достигала 200-300 тысяч юаней, а месячная аренда одного сервера A100 также составила 50-70 тысяч юаней. Тем не менее, некоторые компании все еще сталкиваются с проблемами, связанными с поставщиками.
В индустрии широко считается, что без поддержки миллиардов средств трудно продолжать разработку крупных моделей. С учетом того, что рынок становится более рациональным, компании также будут соответственно корректировать свои стратегии и контроль затрат.
Столкнувшись с нехваткой вычислительной мощности, компании приняли различные меры для реагирования:
Используйте качественные данные для повышения эффективности обучения
Повышение стабильности инфраструктуры, достижение длительной стабильной работы на уровне тысяч калорий.
Оптимизация вычислительной мощности, повышение коэффициента использования
Переход от облачной архитектуры к архитектуре суперкомпьютеров
Использование отечественных платформ вместо GPU от NVIDIA
Вычислительная мощность уже развилась в новую модель обслуживания. Услуги вычислительной мощности включают в себя общую вычислительную мощность, интеллектуальную вычислительную мощность и супервычислительную мощность, предоставляемую пользователям через API и другие методы. Верхняя часть цепочки поставок предоставляет базовые ресурсы, средняя часть отвечает за производство и распределение вычислительной мощности, а нижняя часть - это отраслевые пользователи.
В настоящее время услуги вычислительной мощности в основном предоставляются по двум моделям: по мере использования и по подписке на год или месяц. В будущем также будет продвигаться "интеграция вычислительной сети", чтобы обеспечить гибкое распределение между различными архитектурами, регионами и провайдерами услуг.
С учетом нормализации спроса на большие модели, вычислительная мощность услуг быстро формирует уникальную отраслевую цепочку и бизнес-модель. Несмотря на текущий дефицит высокопроизводительных GPU, в долгосрочной перспективе спрос и предложение в конечном итоге уравновесятся. Поставщикам вычислительной мощности необходимо своевременно корректировать стратегию и быть готовыми к изменениям на рынке.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
12 Лайков
Награда
12
4
Поделиться
комментарий
0/400
GhostAddressMiner
· 18ч назад
Ты запускаешь модель на миллиард, сжигая 200w, тьфу-тьфу, за этой операцией определенно стоит поддержка капитала.
Вычислительная мощность сервисов нового типа возникает, а горячая волна больших моделей может остыть.
Вычислительная мощность становится новым типом сервисной модели, горячий тренд "плавки" больших моделей может остыть
Обучение больших моделей требует значительной вычислительной мощности, что делает её новым бизнес-моделем. Однако в настоящее время отрасль сталкивается с нехваткой высокопроизводительных GPU и высокими затратами. С учетом того, что рынок становится более рациональным, ажиотаж вокруг "алхимии" больших моделей может постепенно утихнуть, и поставщикам вычислительной мощности необходимо заранее подготовиться и вовремя адаптироваться.
Выпускник Университета Цинхуа Би Кайфэн тренировал большой метеорологический модель Паньгу, используя 200 графических процессоров (GPU) в течение 2 месяцев предварительного обучения. При расчете стоимости 7,8 юаней за час за один GPU, только затраты на обучение могут превысить 2 миллиона юаней. А стоимость обучения универсальной большой модели может возрасти в сотни раз.
В настоящее время в Китае уже более 100 крупных моделей с масштабом в 10 миллиардов параметров. Однако спрос на высококлассные графические процессоры превышает предложение, цена одной карты NVIDIA A100 когда-то достигала 200-300 тысяч юаней, а месячная аренда одного сервера A100 также составила 50-70 тысяч юаней. Тем не менее, некоторые компании все еще сталкиваются с проблемами, связанными с поставщиками.
В индустрии широко считается, что без поддержки миллиардов средств трудно продолжать разработку крупных моделей. С учетом того, что рынок становится более рациональным, компании также будут соответственно корректировать свои стратегии и контроль затрат.
Столкнувшись с нехваткой вычислительной мощности, компании приняли различные меры для реагирования:
Вычислительная мощность уже развилась в новую модель обслуживания. Услуги вычислительной мощности включают в себя общую вычислительную мощность, интеллектуальную вычислительную мощность и супервычислительную мощность, предоставляемую пользователям через API и другие методы. Верхняя часть цепочки поставок предоставляет базовые ресурсы, средняя часть отвечает за производство и распределение вычислительной мощности, а нижняя часть - это отраслевые пользователи.
В настоящее время услуги вычислительной мощности в основном предоставляются по двум моделям: по мере использования и по подписке на год или месяц. В будущем также будет продвигаться "интеграция вычислительной сети", чтобы обеспечить гибкое распределение между различными архитектурами, регионами и провайдерами услуг.
С учетом нормализации спроса на большие модели, вычислительная мощность услуг быстро формирует уникальную отраслевую цепочку и бизнес-модель. Несмотря на текущий дефицит высокопроизводительных GPU, в долгосрочной перспективе спрос и предложение в конечном итоге уравновесятся. Поставщикам вычислительной мощности необходимо своевременно корректировать стратегию и быть готовыми к изменениям на рынке.