Microsoft Maia 300: Hiperölçekleyicilerin Kendi Çip Yarışı Çıkarım Maliyetini Nasıl Değiştirecek?

Yapay zekâ maliyet tartışmalarında uzun süre konuşulan tek isim Nvidia'ydı. Ancak büyük bulut sağlayıcıları, özellikle modelleri çalıştırma (çıkarım) tarafında, kendi çiplerine giderek daha fazla yükleniyor. Microsoft'un 12 Ekim'de OCP Global Summit'te tanıttığı Maia 300, bu eğilimin en yeni ve en iddialı örneği.

Maia 300 hakkında bilinenler

• Microsoft'un kendi tasarımı olan yapay zekâ hızlandırıcısının üçüncü nesli; ağırlıklı olarak çıkarım için tasarlandı.
• Şirket, öncü GPU sistemlerine kıyasla megavat başına %40 daha fazla token ürettiğini söylüyor; ancak hangi sistemlerle karşılaştırdığını açıklamadı.
• 96 hızlandırıcılı tam bir raf, bir önceki nesil Maia 200'e göre yedi kata kadar daha fazla çıktı veriyor.
• Üretim 2027'de başlıyor ve kurulumların gigavat ölçeğinde olması bekleniyor; bu, o yıl bir milyondan fazla çip anlamına gelebilir.
• Raporlara göre çipte 288 GB HBM4 bellek bulunuyor ve TSMC'nin N2P sürecinde üretilecek; bu teknik ayrıntılar henüz bağımsız olarak doğrulanmadı.

Bulutta kiralanmayacak

Maia 300, Azure müşterilerine ayrı bir ürün olarak sunulmayacak; Microsoft onu Copilot ve diğer kendi hizmetlerinin ana çıkarım altyapısı olarak kullanacak. Model eğitiminde Nvidia önemli bir ortak olmaya devam ediyor. Duyuru itibarıyla çipi henüz hiçbir bağımsız şirket test etmedi; performans iddiaları şimdilik üreticinin kendi rakamları.

Kurumlar için ne anlama geliyor?

• Token başına maliyet sağlayıcıdan sağlayıcıya daha da ayrışacak: kendi çipini kullanan sağlayıcılar, aynı kalitedeki hizmeti farklı fiyatlarla sunabilecek.
• Fiyatlar dalgalı olacak: yeni donanım devreye girdikçe çıkarım fiyatları değişecek; bugünkü en ucuz seçenek altı ay sonra en ucuz olmayabilir.
• Bağımlılık riski büyüyor: tek bir sağlayıcının altyapısına kilitlenmek, bu fiyat avantajlarını kaçırmak anlamına gelebilir.
• Ölçüm şart: 'megavat başına token' gibi üretici metrikleri yerine kendi iş yükünüzde, istek başına maliyeti ve gecikmeyi ölçün.

remot açısından

Donanım yarışı hızlandıkça çıkarım fiyatları ve performansı sağlayıcılar arasında daha sık değişecek. remot, modelleri tek bir API arkasında topladığı için her isteği o anki maliyet, gecikme ve kalite verisine göre en uygun sağlayıcıya yönlendirebilir; istek başına gerçek maliyeti ölçer ve bir sağlayıcı ucuzladığında trafiği kod değişikliği gerektirmeden kaydırmayı mümkün kılar. Böylece çip yarışının getirdiği fiyat avantajlarından, tek bir sağlayıcıya bağlanmadan yararlanırsınız.