OpenAI ve Broadcom'dan LLM'e özel çıkarım çipi Jalapeño

OpenAI ve Broadcom, sıfırdan büyük dil modeli çıkarımı için tasarlanan ilk özel yapay zeka hızlandırıcısı Jalapeño'yu duyurdu. Genel amaçlı bir çipin uyarlanması yerine, OpenAI'nin kendi model ve altyapı ihtiyaçlarına göre baştan mimarilenen bu çip, Broadcom'un silikon üretim ve ağ teknolojileri (Tomahawk dahil) ile Celestica'nın kart/rafta sistem entegrasyonu deneyimiyle hayata geçirildi. Erken testler, watt başına performansın mevcut en iyi çözümlerin oldukça üzerinde olduğunu gösteriyor; detaylı teknik veriler ilerleyen aylarda paylaşılacak.

Çipin tasarımdan üretime geçişi yalnızca dokuz ayda tamamlandı; bu süreçte OpenAI'nin kendi modelleri tasarım ve optimizasyon aşamalarını hızlandırmak için kullanıldı. Şirket bunu, gelişmiş yarı iletkenlerde şimdiye kadarki en hızlı ASIC geliştirme döngüsü olarak nitelendiriyor. Bu, yapay zekanın kendi donanım altyapısını iyileştirmede aktif rol oynayabileceğini gösteren somut bir örnek.

Jalapeño, OpenAI'nin model, ürün ve şimdi çip katmanlarını kapsayan tam yığın (full-stack) stratejisinin bir parçası. Şirket, mimari, çekirdek (kernel), bellek sistemleri, ağ yapısı ve dağıtım katmanlarını kendi kontrolüne alarak maliyet, gecikme ve güvenilirlik üzerinde daha fazla söz sahibi olmayı hedefliyor. İlk dağıtımın 2026 sonunda Microsoft ve diğer veri merkezi ortaklarıyla gigawatt ölçeğinde başlaması planlanıyor; bu da mühendisler için çıkarım maliyetlerinin ve gecikme sürelerinin önümüzdeki yıllarda nasıl şekilleneceğine dair önemli bir sinyal.