Nvidia představila svou budoucnost. Co od Ampere čekat?

15. 5. 2020. (redaktor: František Doupal, zdroj: Nvidia)
Nová architektura grafických jader společnosti Nvidia se zpočátku objeví ve variantách pro nasazení v serverech a datových centrech (akcelerátor Nvidia A100 se již vyrábí), ale později na ní budou stavět také spotřebitelské produkty jako herní série GeForce.

Nvidia Ampere staví na 7nm výrobním procesu, dodavatelem čipů je společnost TSCM, a oproti předchozím architekturám Turing a Volta přináší řadu nových technologií a vylepšení, které přijdou vhod nejen při náročných operacích, jako jsou výpočty související s umělou inteligencí či neuronovými sítěmi. I když je nutné hned v úvodu dodat, že je to právě oblast HPC, která bude z nové architektury těžit nejvíce.

Později se však, navzdory nejrůznějším spekulacím, které představení nové architektury doprovázely, architektura Ampere objeví i ve spotřebitelských řadách grafických čipů (GeForce a Quadro), k čemuž však v tuto chvílí nejsou k dispozici žádné další informace.

Klíčové inovace v Nvidia Ampere

Třetí generace Tensor Core

První generace technologie Tensor Core se objevila již v architektuře Volta a přinesla dramatické zrychlení AI výpočtů, které za pomoci masivního výkonu dokázala v některých případech řádově urychlit z týdnů na hodiny. Pro další urychlení a zjednodušení výpočtů Nvidia zavádí nové výpočetní modely Tensor Float (TF32) a Floating Point 64 (FP64). Např. nový TF32 má pracovat stejně jako FP32, ale pro AI výpočty má přinést až 20× zrychlení bez nutnosti provádět jakékoli změny v kódu. Další až 2× urychlení výpočtů má pak přinést i metoda Automatic Mixed Precision, jehož zprovoznění má být také velmi jednoduché, tentokrát se však již bez drobné úpravy kódu neobejde.

Třetí generace rozhraní NVLink

Škálování aplikací napříč více GPU vyžaduje extrémně rychlé datové přenosy. Třetí generace rozhraní NVLink dokáže až zdvojnásobit rychlost GPU-to-GPU komunikace až na 600 GB/s, což je asi 10× více než u PCIe čtvrté generace. Plné rychlosti vzájemné GPU komunikace lze využít v kombinaci s nejnovější generací Nvidia NVSwitch.

Multi-Instance GPU (MIG)

V případě opravdu výkonných řešení je někdy problém jednou jedinou aplikací či úlohou využít veškerý dostupný výkon. Díky technologii MIG lze dostupný výkon „rozporcovat“ až do sedmi samostatných a na úrovni hardwaru izolovaných GPU s vlastními jádry, pamětí i cache. Uživatelé tak mohou na jednom fyzickém řešení současně provozovat více menších i větších aplikací s garantovanou dostupností i kvalitou. Stejně tak tato technologie představuje přínos i pro IT administrátory, kteří budou schopni lépe a přesněji distribuovat výpočetní výkon každému uživateli a každé aplikaci (využitelné v bare-metal i virtualizovaném prostředí).

Rychlejší a chytřejší paměti

Aby byly výpočetní možnosti nové architektury Ampere využity skutečně na maximum, používají se paměti s propustností až 1,6 terabytů za sekundu. Nárůst oproti předchozí generaci tak činí až 67 %.

Structural Sparsity

Moderní AI sítě jsou velké a stále se zvětšují. Mají miliony nebo miliardy parametrů. Ne všechny z těchto parametrů jsou však nezbytné pro přesné předpovědi a závěry, a lze je proto převést na nuly. Modely se tak stávají více „řídké“ a výpočty se tak mohou bez jakéhokoli ovlivnění výsledků urychlit. Více informací se o této metodě dočtete zde.

Nvidia GA100

První čip postavený na nové architektuře nese jméno Nvidia GA100 a výrobce slibuje, že oproti předchůdcům je až 20× výkonnější. GPU je postavené na 7nm výrobním procesu, obsahuje přes 54 miliard tranzistorů a samozřejmě využívá všechny výše představené novinky. Ve srovnání s architekturou Volta je prý až 6× výkonnější při tréninku AI výpočtů a až 7× rychlejší při doručování výsledků.

Plocha GPU je 826 mm2, k dispozici je 8 192 Cuda jader a 48 GB vysokorychlostní paměti HBM2E (připojených skrze 6 144bitovou sběrnici). Velikost Level 2 cache paměti 48 MB s kompresí (která při vhodných operacích zvyšuje výkon). Cuda jádra (shadery) jsou členěny do osmi GPC bloků, které se dále dělí na osm podbloků (TPC). Každý podblok pak obsahuje dva bloky SM se 64 shadery a čtyřmi tensor jádry.

Nvidia A100

Prvním řešením, které čipy GA100 využívá, je akcelerátor Nvidia A100. Ve srovnání se specifikacemi, které uvádíme výše, však u čipu GA100 došlo k omezení některých vlastností. Pravděpodobně tomu tak je z ekonomických důvodů, protože výroba ještě nemusí být 100% odladěná, a Nvidia takto bude moci efektivněji využít i z výroby částečně defektní produkci (vadné části čipů se vypínají).

Oproti specifikaci čipu GA100 je v případě karty A100 k dispozici pouze sedm GPC (a tedy jen 6 912 Cuda jader a 432 tensor jader). Zredukovaná je také paměť – na 40 GB HBM2E paměti + 40 MB L2 cache. Samozřejmostí je podpora PCI Express Gen 4. Spotřeba se pak šplhá až na 400 W. Karta bude minimálně zpočátku dostupná pouze v provedení SXM4 pro osazení přímo na desku.

Nvidia DGX A100

Rovněž nově představený výpočetní serverový nod Nvidia DGX A100 přináší výkon pět petaflops dosažený složením výkonu osmi GPU Nvidia A100 propojených nejnovější revizí rozhraní NVLink. Díky technologii Multi-Instance GPU, o které jsme již hovořili, toto řešení umožňuje současně provozovat až 56 různých aplikací. Další výbavu tvoří dva procesory AMD (Rome), 1TB operační paměť DDDR4, 15TB NVMe SSD a devět síťových karet Mellanox s propustností 200 Gb/s.

Pro lepší ilustraci výkonu Nvidia uvádí, že pět jednotek DGX A100 dokáže při spotřebě 28 kilowattů dokáže nahradit 50 jednotek DGX-1 a 600 CPU se spotřebou 630 kilowattů. Cena novinky je 199 000 USD.

DGX A100 SuperPOD

Pro datová centra a další pracoviště vyžadující skutečně maximální možný výkon, bude k dispozici i řešení DGX A100 SuperPOD složené ze 140 systémů DGX A100. Celkem bude tedy čítat 1 120 akcelerátorů A100 doplněných o 170 200Gb síťových karet Mellanox, 4PB extrémně rychlého flash úložiště nebo 15 km optických kabelů.

Optimalizovaný software

Vedle představení nové architektury Nvidia současně pro její potřeby upravila a vylepšila software tak, aby mohli vývojáři využít výkon i nové možnosti naplno. Světlo světa tak spatřilo přes 50 nových verzí CUDA-X knihoven optimalizovaných pro práci s AI, ML, simulacemi apod. Inovovány byly i další nástroje včetně Nvidia Jarvis, Nvidia Merlin či Nvidia HPC SDK.

Pro zájemce, kteří by si chtěli novinky prostudovat detailně, Nvidia připravila např. tuto stránku.

Video : 

Podobné články

Jensen Huang, CEO společnosti Nvidia, představuje akcelerátor B200 a "superčip" GB200

Jaké novinky přinese architektura Nvidia Blackwell?

28. 3. 2024. (redaktor: František Doupal, zdroj: DCD Publishing)
Společnost Nvidia představila novou generaci architektury, kterou budou využívat její budoucí GPU. Nová platforma se soustředí primárně na umělou inteligenci a měla by umožnit provoz LLM (velkých jazykových modelů) s miliardami parametrů, současně však s až 25× nižšími náklady a spotřebou energie než u předchůdců. Opět tak bude možné trénovat o něco větší a složitější AI modely. Čtěte více

Standard GDDR7 schválen. Přinese propustnost až 192 GB/s

12. 3. 2024. (redaktor: František Doupal, zdroj: JEDEC, TechPowerUp, Tomshardware.com)
Organizace JEDEC zveřejnila finální podobu standardu pamětí pro grafické karty GDDR7. Paměťové čipy pro grafické karty nadcházejících generací podle něho přinesou propustnost až 192 GB/s. Vedle zvýšení výkonu bychom se měli dočkat také lepší energetické efektivity a dalších inovací. Čtěte více
Cooler Master MasterBox 600

CES 2024: Novinky z oblasti komponentů

22. 1. 2024. (redaktor: František Doupal, zdroj: DCD Publishing)
Další hojně zastoupenou oblastí jsou na veletrhu CES také počítačové komponenty. Nechybělo tady ani dominantní trio ve složení AMD, Intel a Nvidia, kteří zde představili nové grafické čipy a procesory. Co nabídnout však měly i desítky dalších dodavatelů, jejichž novinky také neujdou naší pozornosti. Čtěte více

AMD představilo nové grafiky střední třídy a novou generaci technologie FSR 3

31. 8. 2023. (redaktor: František Doupal, zdroj: AMD)
Grafické karty AMD Radeon RX 7800 XT a Radeon RX 7700 XT se soustředí na výhodný poměr mezi cenou a výkonem a cílí na uživatele, kteří si vystačí s hraním v rozlišení v 1 440p v současných AAA titulech. Karty nabízejí řadu zajímavých technologií včetně nové generace AMD FidelityFX Super Resolution 3 schopné v podporovaných herních titulech výrazně zvýšit obrazovou kvalitu. Čtěte více