Potencia computacional se convierte en un nuevo modelo de servicio, la ola de "alquimia" de grandes modelos podría enfriarse
El entrenamiento de grandes modelos requiere un gran apoyo de potencia computacional, lo que hace que la potencia computacional se esté convirtiendo en un nuevo modelo de negocio. Sin embargo, actualmente la industria enfrenta desafíos como la escasez de GPUs de alta gama y altos costos. A medida que el mercado se vuelve más racional, la fiebre de "refinar pastillas" de grandes modelos podría ir enfriándose gradualmente, y los proveedores de servicios de potencia computacional necesitan prepararse con anticipación y transformarse a tiempo.
El modelo meteorológico Pangu, entrenado por Bi Kaifeng, un graduado de la Universidad de Tsinghua, utilizó 200 tarjetas GPU para un preentrenamiento de 2 meses. Calculando el costo de entrenamiento a 7.8 yuanes por hora por tarjeta GPU, el costo de entrenamiento por sí solo podría superar los 2 millones de yuanes. Y el costo de entrenar un modelo grande general podría aumentar cien veces más.
Actualmente, en China ya hay más de 100 modelos grandes con una escala de mil millones de parámetros. Pero la demanda de GPU de alta gama supera la oferta, el precio de una A100 de Nvidia llegó a dispararse a entre 200,000 y 300,000 yuanes, y el alquiler mensual de un servidor A100 también alcanzó entre 50,000 y 70,000 yuanes. A pesar de esto, aún hay empresas que enfrentan problemas como el incumplimiento de los proveedores.
Se considera en la industria que, sin el apoyo de miles de millones en fondos, es difícil continuar con el desarrollo de grandes modelos. A medida que el mercado se vuelve más racional, las empresas también ajustarán sus estrategias y el control de costos.
Ante la escasez de potencia computacional, las empresas han tomado diversas medidas de respuesta:
Utilizar datos de alta calidad para mejorar la eficiencia del entrenamiento
Mejorar la estabilidad de la infraestructura, lograr un funcionamiento estable a largo plazo a nivel de kilocalorías.
Optimizar la Potencia computacional y aumentar la utilización
De la arquitectura de computación en la nube a la arquitectura de supercomputación
Usar plataformas nacionales en lugar de GPU de Nvidia
La potencia computacional se ha convertido en un nuevo modelo de servicio. Los servicios de potencia computacional incluyen potencia computacional general, potencia computacional inteligente y potencia computacional de supercomputación, que se ofrecen a los usuarios a través de API y otros medios. La parte superior de la cadena industrial proporciona recursos básicos, la parte media se encarga de la producción y programación de la potencia computacional, y la parte inferior son los usuarios de la industria.
Actualmente, los servicios de potencia computacional se ofrecen principalmente en dos modalidades: facturación por uso y suscripción anual o mensual. En el futuro, también se promoverá la "integración y fusión de potencia computacional y red", para lograr una programación flexible entre arquitecturas, regiones y proveedores de servicios.
Con la normalización de la demanda de modelos grandes, los servicios de potencia computacional están formando rápidamente una cadena industrial y un modelo comercial únicos. A pesar de la actual escasez de GPU de alta gama, a largo plazo la oferta y la demanda finalmente se equilibrarán. Los proveedores de servicios de potencia computacional deben ajustar su estrategia a tiempo y estar preparados para los cambios en el mercado.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
12 me gusta
Recompensa
12
4
Compartir
Comentar
0/400
GhostAddressMiner
· hace12h
Tú inicias un modelo de cientos de millones y quemas 200w, tsk tsk, detrás de esta operación definitivamente hay un soporte de capital en el mercado.
Surgen nuevos modelos de negocio en los servicios de potencia computacional, y la fiebre de los grandes modelos podría disminuir.
Potencia computacional se convierte en un nuevo modelo de servicio, la ola de "alquimia" de grandes modelos podría enfriarse
El entrenamiento de grandes modelos requiere un gran apoyo de potencia computacional, lo que hace que la potencia computacional se esté convirtiendo en un nuevo modelo de negocio. Sin embargo, actualmente la industria enfrenta desafíos como la escasez de GPUs de alta gama y altos costos. A medida que el mercado se vuelve más racional, la fiebre de "refinar pastillas" de grandes modelos podría ir enfriándose gradualmente, y los proveedores de servicios de potencia computacional necesitan prepararse con anticipación y transformarse a tiempo.
El modelo meteorológico Pangu, entrenado por Bi Kaifeng, un graduado de la Universidad de Tsinghua, utilizó 200 tarjetas GPU para un preentrenamiento de 2 meses. Calculando el costo de entrenamiento a 7.8 yuanes por hora por tarjeta GPU, el costo de entrenamiento por sí solo podría superar los 2 millones de yuanes. Y el costo de entrenar un modelo grande general podría aumentar cien veces más.
Actualmente, en China ya hay más de 100 modelos grandes con una escala de mil millones de parámetros. Pero la demanda de GPU de alta gama supera la oferta, el precio de una A100 de Nvidia llegó a dispararse a entre 200,000 y 300,000 yuanes, y el alquiler mensual de un servidor A100 también alcanzó entre 50,000 y 70,000 yuanes. A pesar de esto, aún hay empresas que enfrentan problemas como el incumplimiento de los proveedores.
Se considera en la industria que, sin el apoyo de miles de millones en fondos, es difícil continuar con el desarrollo de grandes modelos. A medida que el mercado se vuelve más racional, las empresas también ajustarán sus estrategias y el control de costos.
Ante la escasez de potencia computacional, las empresas han tomado diversas medidas de respuesta:
La potencia computacional se ha convertido en un nuevo modelo de servicio. Los servicios de potencia computacional incluyen potencia computacional general, potencia computacional inteligente y potencia computacional de supercomputación, que se ofrecen a los usuarios a través de API y otros medios. La parte superior de la cadena industrial proporciona recursos básicos, la parte media se encarga de la producción y programación de la potencia computacional, y la parte inferior son los usuarios de la industria.
Actualmente, los servicios de potencia computacional se ofrecen principalmente en dos modalidades: facturación por uso y suscripción anual o mensual. En el futuro, también se promoverá la "integración y fusión de potencia computacional y red", para lograr una programación flexible entre arquitecturas, regiones y proveedores de servicios.
Con la normalización de la demanda de modelos grandes, los servicios de potencia computacional están formando rápidamente una cadena industrial y un modelo comercial únicos. A pesar de la actual escasez de GPU de alta gama, a largo plazo la oferta y la demanda finalmente se equilibrarán. Los proveedores de servicios de potencia computacional deben ajustar su estrategia a tiempo y estar preparados para los cambios en el mercado.