TPU 8t och TPU 8i representerar en strategisk förändring för Google, som tidigare experimenterade med separata varianter i femte generationen men senare antog en enkeldesignstrategi med Trillium och Ironwood. Enligt Phil Fersht på HFS Research syftar de separata designerna till att förbättra utnyttjandet och kostnadseffektiviteten i produktionsmiljöer genom att skräddarsy hårdvara för specifika AI-uppgifter.
Google uppgav att TPU 8t skalar upp till 121 exaflops över 9 600 chips, med dubbelriktad skalningsbandbredd som är dubbelt så stor och nätverksbandbredd som är fyra gånger så stor jämfört med föregångaren Ironwood. Omdia-analytikern Alexander Harrowell noterade att den ökade prestandan och bandbredden mellan rack kommer att stödja träning av ännu större modeller med kortare körtider.
Dessa två chips är designade för att driva våra specialbyggda superdatorer, för att driva allt från banbrytande modellträning och agentutveckling till massiva inferensarbetsbelastningar. TPU:er har drivit ledande grundmodeller, inklusive Gemini, i flera år. Dessa åttonde generationens TPU:er kommer tillsammans att leverera skala, effektivitet och kapacitet inom träning, servering och agentarbetsbelastningar.
Den inferensfokuserade TPU 8i har minst tre gånger mer minne än Ironwood, inklusive 288 GB höghastighetsminne och 384 MB inbyggt SRAM. Harrowell sade att detta för TPU närmare minnesfotavtrycket hos ledande GPU:er, medan det utökade SRAM minskar latensen för stora modeller. Sopko på Hyperframe Research tillade att de arkitektoniska förändringarna speglar branschens skifte mot Mixture of Experts och långkontextmodeller.
Google planerar att använda de nya TPU:erna för sina Gemini-modeller och säljer också chipsen till andra parter, i hopp om att konkurrera med Nvidias dominerande GPU:er. I ett uttalande sade Google: "Dessa två chips är designade för att driva våra specialbyggda superdatorer, för att driva allt från banbrytande modellträning och agentutveckling till massiva inferensarbetsbelastningar." Tillgänglighetsdatum och priser har inte offentliggjorts.