Čip koji će smanjiti potrošnju energije
Nvidia tvrdi da novi B200 GPU nudi do 20 petaflopa FP4 snage iz svojih 208 milijardi tranzistora. GB200, koji kombinuje dva od tih GPU-a sa jednim Grace CPU-om, može ponuditi 30 puta veću performansu za LLM inferentne opterećenja, dok istovremeno potencijalno može biti znatno efikasniji.
„On smanjuje troškove i potrošnju energije do 25 puta, u odnosu na H100”, navode iz Nvidia, iako postoji neizvesnost oko cene — izvršni direktor Nvidia-e je sugerisao da bi svaki GPU mogao koštati između 30.000 i 40.000 dolara.
Nvidia tvrdi da bi treniranje modela sa 1,8 triliona parametara ranije zahtevalo 8.000 Hopper GPU-ova i 15 megavata snage. Danas, izvršni direktor Nvidia-e kaže da 2.000 Blackwell GPU-a to može uraditi trošeći samo četiri megavata.
Na GPT-3 LLM testu sa 175 milijardi parametara, Nvidia kaže da GB200 ima nešto skromniju sedam puta veću performansu od H100, a Nvidia tvrdi da nudi četiri puta bržu brzinu treniranja.
Ključna unapređenja uključivala su drugu generaciju transformatorskog motora koji udvostručuje računanje, propusnost i veličinu modela korišćenjem četiri bita za svaki neuron umesto osam (što objašnjava ranije pomenutih 20 petaflopa FP4).
Druga bitna razlika dolazi tek kada povežete veliki broj ovih GPU-ova: next-gen NVLink prekidač koji omogućava komunikaciju između 576 GPU-ova, sa 1,8 terabajta po sekundi dvostruke propusnosti. Da bi ostvarila ovo, Nvidia je morala da razvije potpuno novi čip za mrežni prekidač, opremljen sa 50 milijardi tranzistora i određenim računanjem na samoj ploči: 3,6 teraflopsa FP8, tvrdi Nvidia.
Nvidia i Dell razvili sistem za uvođenje veštačke inteligencije u firme
Nvidia i Dell zajednički su kreirali sistem za uvođenje veštačke inteligencije (AI) u firme. Oni ističu da sistem nazvan „AI Factory” može da se koristi na laptop uređajima, ličnim računarima, sistemima za skladištenje podataka i mrežnim uređajima, dakle u celoj korporativnoj mreži. Programeri obećavaju da će novi sistem pomoći kompanijama u ubrzanju integracije podataka i izgradnje infrastrukture uz pomoć AI alata.
Generalni direktor kompanije Dell, Majkl Del kaže da korporativni klijenti žele da na lak način uvedu AI u svoj rad i da njegova firma nudi rešenja za takve slučajeve.
Novi sistem je najavljen u okviru programerske konferencije firme Nvidia koja se održava u kalifornijskom San Hozeu. Nvidia je na pomenutoj konferenciji predstavila novi čip Blekvel B200 koji će prema tvrdnjama firme biti 25 puta ekonomičniji i energetski efikasniji od trenutnih rešenja. Saradnja između kompanija Dell Technologies i NVIDIA donosi nekoliko napredaka u infrastrukturi veštačke inteligencije (AI) i hardveru.
Evo detaljnog pregleda ključnih tačaka za „AI Factory”
Dell AI fabrika sa NVIDIA-om: Ova ponuda podržava različite primene i aplikacije veštačke inteligencije kroz čitav životni ciklus AI, od kreiranja i podešavanja modela do proširenja i izvođenja zaključaka. Takođe uključuje profesionalne usluge koje pomažu organizacijama da ubrzaju svoje strategije veštačke inteligencije, pripremu podataka, implementaciju i usvajanje. Dostupnost Dellove AI fabrike sa NVIDIA-om je putem tradicionalnih kanala i Dell APEX-a, navodi se na portalu InsideHPC.
Arhitektura na nivou police: Dell Technologies i NVIDIA sarađuju na uvođenju arhitekture na nivou police, visoke gustine, tečno hlađene. Ova arhitektura se zasniva na NVIDIA Grace Blackwell Superchip-u i cilj joj je podrška sledećoj generaciji AI ekosistema, a cilj je poboljšanje gustine performansi za radne opterećenja veštačke inteligencije u preduzeću.
