Nvidia a anunțat noul model de GPU avansat pentru machine learning și inferențe în centrele de date. Noile GPU-uri Tesla T4, „T” fiind noua arhitectură Turing a Nvidia, sunt succesorii lotului actual de GPU-uri P4 pe care practic le oferă fiecare furnizor important de servicii de cloud computing. Google, a declarat Nvidia, va fi printre primii care vor aduce noile unități de procesare grafică T4 platformei sale Cloud.
Nvidia susține că T4-urile sunt semnificativ mai rapide decât P4-urile. Pentru inferențele de limbă, de exemplu, T4 este de 34 de ori mai rapid decât utilizarea unui CPU și de peste 3,5 ori mai rapid decât P4. Performanța maximă pentru P4 este 260 TOPS pentru operațiuni cu număr întreg pe 4 biți și 65 TOPS pentru operațiunile în punct variabil. Modelul T4 este instalat pe o placă PCI-e standard de 75 wați standard.
Cel mai important, însă, este că Nvidia a proiectat aceste cipuri în mod special pentru inferențele AI. Ceea ce face ca Tesla T4 să fie un GPU eficient pentru inferențe este noul nucleu Tensor Turing. În total, cipul conține 320 nuclee Turing Tensor și 2.560 nuclee CUDA.
În plus față de noul chip, Nvidia lansează de asemenea o actualizare a software-ului TensorRT pentru optimizarea modelelor de deep learning. Această nouă versiune include, de asemenea, serverul de inferență TensorRT, un microservice complet containerizat pentru inferențe de centre de date care se conectează perfect la o infrastructură Kubernetes existentă.
