Daya Komputasi Menjadi Model Layanan Baru, Gelombang "Mengolah Obat" Model Besar Mungkin Akan Mendingin
Pelatihan model besar memerlukan dukungan Daya Komputasi yang besar, yang membuat Daya Komputasi menjadi model bisnis baru. Namun, saat ini industri menghadapi tantangan kekurangan GPU kelas atas dan biaya yang tinggi. Seiring pasar menjadi lebih rasional, gelombang "meramu obat" model besar mungkin akan perlahan mendingin, penyedia layanan Daya Komputasi perlu bersiap-siap dan melakukan transformasi tepat waktu.
Model cuaca Pangu yang dilatih oleh alumnus Tsinghua University, Bi Kaifeng, menggunakan 200 kartu GPU selama pelatihan pra selama 2 bulan. Berdasarkan harga 7,8 yuan per jam per kartu GPU, biaya pelatihan saja bisa melebihi 2 juta yuan. Sedangkan biaya untuk melatih model besar yang umum mungkin bisa seratus kali lipat.
Saat ini, China telah memiliki lebih dari 100 model besar dengan skala 10 miliar parameter. Namun, permintaan untuk GPU kelas atas sangat tinggi, harga satu unit NVIDIA A100 pernah melambung hingga 200.000-300.000 yuan, dan sewa bulanan untuk satu server A100 juga mencapai 50.000-70.000 yuan. Meskipun demikian, masih ada perusahaan yang menghadapi masalah seperti penawaran dari pemasok yang tidak ditepati.
Umumnya diyakini bahwa tanpa dukungan dana miliaran, sulit untuk terus melakukan penelitian dan pengembangan model besar. Seiring pasar menjadi lebih rasional, perusahaan juga akan menyesuaikan strategi dan pengendalian biaya.
Menghadapi Daya Komputasi yang terbatas, perusahaan telah mengambil berbagai langkah untuk mengatasinya:
Menggunakan data berkualitas tinggi untuk meningkatkan efisiensi pelatihan
Meningkatkan stabilitas infrastruktur, mencapai operasi stabil jangka panjang pada level ribuan kalori.
Mengoptimalkan Daya Komputasi sumber daya, meningkatkan tingkat pemanfaatan
Beralih dari arsitektur komputasi awan ke arsitektur superkomputer
Menggunakan platform domestik sebagai pengganti GPU NVIDIA
Daya Komputasi telah berkembang menjadi sebuah model layanan baru. Layanan daya komputasi mencakup daya komputasi umum, daya komputasi cerdas, dan daya komputasi super, yang disediakan kepada pengguna melalui API dan cara lainnya. Rantai industri hulu menyediakan sumber daya dasar, tengah bertanggung jawab untuk produksi dan penjadwalan daya komputasi, sementara hilir adalah pengguna industri.
Saat ini, layanan daya komputasi terutama menggunakan dua model, yaitu penagihan berdasarkan penggunaan dan paket tahunan/bulanan. Di masa depan, akan ada kemajuan dalam "integrasi daya komputasi dan jaringan", untuk mewujudkan penjadwalan fleksibel lintas arsitektur, lintas wilayah, dan lintas penyedia layanan.
Seiring dengan normalisasi permintaan model besar, layanan Daya Komputasi sedang dengan cepat membentuk rantai industri dan model bisnis yang unik. Meskipun saat ini terjadi kekurangan GPU kelas atas, namun dalam jangka panjang penawaran dan permintaan pada akhirnya akan seimbang. Penyedia layanan Daya Komputasi perlu menyesuaikan strategi mereka tepat waktu untuk siap menghadapi perubahan pasar.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
12 Suka
Hadiah
12
4
Bagikan
Komentar
0/400
GhostAddressMiner
· 6jam yang lalu
Kamu membuka model level miliaran dengan membakar 200w, tsk tsk, di balik operasi ini pasti ada dukungan modal di pasar.
Daya Komputasi layanan baru muncul, gelombang model besar mungkin akan mereda
Daya Komputasi Menjadi Model Layanan Baru, Gelombang "Mengolah Obat" Model Besar Mungkin Akan Mendingin
Pelatihan model besar memerlukan dukungan Daya Komputasi yang besar, yang membuat Daya Komputasi menjadi model bisnis baru. Namun, saat ini industri menghadapi tantangan kekurangan GPU kelas atas dan biaya yang tinggi. Seiring pasar menjadi lebih rasional, gelombang "meramu obat" model besar mungkin akan perlahan mendingin, penyedia layanan Daya Komputasi perlu bersiap-siap dan melakukan transformasi tepat waktu.
Model cuaca Pangu yang dilatih oleh alumnus Tsinghua University, Bi Kaifeng, menggunakan 200 kartu GPU selama pelatihan pra selama 2 bulan. Berdasarkan harga 7,8 yuan per jam per kartu GPU, biaya pelatihan saja bisa melebihi 2 juta yuan. Sedangkan biaya untuk melatih model besar yang umum mungkin bisa seratus kali lipat.
Saat ini, China telah memiliki lebih dari 100 model besar dengan skala 10 miliar parameter. Namun, permintaan untuk GPU kelas atas sangat tinggi, harga satu unit NVIDIA A100 pernah melambung hingga 200.000-300.000 yuan, dan sewa bulanan untuk satu server A100 juga mencapai 50.000-70.000 yuan. Meskipun demikian, masih ada perusahaan yang menghadapi masalah seperti penawaran dari pemasok yang tidak ditepati.
Umumnya diyakini bahwa tanpa dukungan dana miliaran, sulit untuk terus melakukan penelitian dan pengembangan model besar. Seiring pasar menjadi lebih rasional, perusahaan juga akan menyesuaikan strategi dan pengendalian biaya.
Menghadapi Daya Komputasi yang terbatas, perusahaan telah mengambil berbagai langkah untuk mengatasinya:
Daya Komputasi telah berkembang menjadi sebuah model layanan baru. Layanan daya komputasi mencakup daya komputasi umum, daya komputasi cerdas, dan daya komputasi super, yang disediakan kepada pengguna melalui API dan cara lainnya. Rantai industri hulu menyediakan sumber daya dasar, tengah bertanggung jawab untuk produksi dan penjadwalan daya komputasi, sementara hilir adalah pengguna industri.
Saat ini, layanan daya komputasi terutama menggunakan dua model, yaitu penagihan berdasarkan penggunaan dan paket tahunan/bulanan. Di masa depan, akan ada kemajuan dalam "integrasi daya komputasi dan jaringan", untuk mewujudkan penjadwalan fleksibel lintas arsitektur, lintas wilayah, dan lintas penyedia layanan.
Seiring dengan normalisasi permintaan model besar, layanan Daya Komputasi sedang dengan cepat membentuk rantai industri dan model bisnis yang unik. Meskipun saat ini terjadi kekurangan GPU kelas atas, namun dalam jangka panjang penawaran dan permintaan pada akhirnya akan seimbang. Penyedia layanan Daya Komputasi perlu menyesuaikan strategi mereka tepat waktu untuk siap menghadapi perubahan pasar.