Google, bugün yeni büyük dil modeli Gemini'yi duyurarak bir dizi yeniliği tanıttı. Aynı zamanda, şirket yeni yapay zeka hızlandırıcısı Cloud TPU v5e'yi (Tensor Processing Unit - Tensor İşleme Birimi) tanıttı. Bu yeni TPU'nun temel alındığı küme, 8960 v5p çipinden oluşuyor ve Google'ın en hızlı bağlantı noktasına sahip, veri transfer hızı çipe kadar 4800 Gbit/s'ye ulaşabiliyor.
Cloud TPU v5e: Yüksek Performans ve HBM3 Bellek
Cloud TPU v5e, 95 GB HBM3 bellek ile donatılmış olup, 2765 GB/s bant genişliğine sahiptir. INT8 tamsayı işlemlerinde 918 TOPS (trilyon işlem/saniye) performansa sahiptir ve kayan nokta hesaplamalarında BF16 formatında 459 TFLOPS sunar. Google, yeni çiplerin, önceki nesil TPU v4 örneğinden önemli ölçüde daha hızlı olduğunu iddia ediyor.
TPU v5p'nin Performans ve Verimlilikteki Avantajları
Google'a göre, TPU v5p yongaları, özellikle enerji maliyetleri açısından daha verimli bir şekilde, örneğin 175 milyar parametreye sahip GPT-3 gibi büyük dil modellerini eğitmek için TPU v4'e kıyasla 2.8 kat daha hızlıdır. Ayrıca, ikinci nesil SparseCore sayesinde, TPU v5p, TPU v4'e göre 1.9 kat daha hızlı bir şekilde embedding-dense modellerini eğitebilir. Performansta bir artış sağlayan TPU v5p, aynı zamanda önceki nesil TPU v4'e göre iki kat daha yüksek bir ölçeklenebilirlik seviyesi sunar, bu da performanstaki iki katlık artışla birleşerek küme başına dört kat daha fazla FLOPS anlamına gelir.
Performans Analizi: TPU v5p ve TPU v5e Karşılaştırması
İlginç bir şekilde, performans/dolar açısından, v5p, yakın zamanda tanıtılan TPU v5e hızlandırıcılara hafifçe geri düşmektedir. Ancak, v5e yongalarını sadece 256 adede kadar kümeleyebilirken, bir TPU v5p yongası, TPU v4'teki 197 TFLOPS'a karşı BF16'de 275 TFLOPS ve TPU v5p'de 459 TFLOPS ile sadece bir yongada bu performansı sağlar.
Google'ın Hedefi ve Gelecek Planları
Google'ın önde gelen bilim adamı Jeff Dean'e göre, TPU v5p yongaları, DeepMind ve Google Research tarafından yapılan erken aşama kullanımlarında, mevcut TPU v4 yongalarına kıyasla dil modeli eğitim iş yüklerini iki kat hızlandırabiliyor. Dean, ML çerçevelerine ve orkestrasyon araçlarına geniş destek sayesinde, v5p yongalarını daha verimli bir şekilde ölçeklendirme yeteneklerine sahip olduklarını ve bu yongaları, Gemini gibi önde gelen modellerdeki en büyük araştırma ve mühendislik çalışmalarını desteklemek için kullanacaklarını belirtiyor.
