Vývojová sada AGX Orin
Uživatelská příručka
Výkon umělé inteligence nové generace pro robotiku nové generace
Představujeme NVIDIA® Jetson AGX Orin™
NVIDIA Accelerated Computing způsobila revoluci v růstu odvětví umělé inteligence s vysoce výkonnými GPU, SoC a optimalizovanými softwarovými sadami, které jsou široce používány v odvětvích zahrnujících cloud, datová centra a edge computing. Platforma NVIDIA Jetson byla speciálně vytvořena, aby poskytovala výhody AI computingu vestavěným okrajovým zařízením. Jetson AGX Xavier uvedený na trh v roce 2018 zvýšil laťku AI v oblasti výpočetního výkonu tím, že poskytuje až 32 TOP výkonu AI a umožňuje nové okrajové aplikace poháněné AI. NVIDIA Jetson AGX Xavier v kombinaci s komplexním, optimalizovaným a škálovatelným softwarovým balíkem AI od NVIDIA pohání mnoho komerčních autonomních robotů používaných při doručování potravin, sklizni plodin, přemisťování skladového zboží, roboticky asistované chirurgii, autonomních průmyslových kontrolách a mnoha dalších.
Silný výkon Jetson AGX Xavier spolu s výkonným softwarovým balíkem NVIDIA AI vedl k rychlému růstu komunity vývojářů Jetson na více než jeden milion registrovaných vývojářů a umožnil více než 6000 zákazníkům vyvíjet a nasazovat řešení AI založená na NVIDIA Jetson. Tempo vývoje a zavádění autonomních strojů a robotů poháněných umělou inteligencí stále rychle roste a další generace aplikací vyžaduje ohromný výpočetní výkon umělé inteligence, aby zvládla multimodální aplikace umělé inteligence, které musí běžet souběžně v reálném čase. Vzhledem k tomu, že interakce mezi člověkem a robotem v maloobchodních prostorách, dodávkách potravin, nemocnicích, skladech, výrobních halách a dalších komerčních aplikacích narůstají, autonomní roboti budou muset souběžně provádět 3D vnímání, porozumění přirozenému jazyku, plánování cesty, vyhýbání se překážkám, odhad pozice a mnoho dalších. autonomní akce, které vyžadují nejen významný výkon AI, ale také vysoce přesné a trénované neurální modely pro každou aplikaci.
NVIDIA Jetson AGX Orin je nejvýkonnějším a nejnovějším členem rodiny NVIDIA Jetson. Poskytuje ohromný výkon a špičkovou energetickou účinnost ve své třídě a je podporován komplexním softwarovým balíkem NVIDIA AI, který pohání další generaci náročných aplikací AI. NVIDIA® Orin System-on-Chip (SoC) založený na NVIDIA AmpArchitektura GPU s 2048 jádry CUDA, 64 jádry Tensor Core a 2 motory Deep Learning Accelerator (DLA) poskytuje až 275 NEJLEPŠÍCH neupraveného výkonu AI. NVIDIA Jetson AGX Orin přináší následující klíčové výhody:
- Až 8x vyšší výpočetní výkon AI a až 2x energetická účinnost Jetson AGX Xavier
- Stejný pin-out a půdorys jako Jetson AGX Xavier, což zákazníkům umožňuje snadno upgradovat stávající designy na Jetson AGX Orin
- Špičkový výkon umělé inteligence umožňující výrazné zrychlení práce s počítačovým viděním v reálném světě a konverzační AI
- Výkonný softwarový balík NVIDIA AI s podporou SDK, jako je NVIDIA JetPack, NVIDIA RIVA, NVIDIA DeepStream, NVIDIA Isaac, NVIDIA TAO a další.
Jetson AGX Orin Developer Kit obsahuje vše, co potřebují vývojáři k rychlému uvedení do provozu. Jetson AGX Orin Developer Kit stojí 1999 XNUMX USD a je k dispozici ke koupi prostřednictvím autorizovaných distributorů NVIDIA po celém světě.
Obsah vývojářské sady
➢ Modul Jetson AGX Orin s chladičem a referenční nosnou deskou
➢ Řadič bezdrátového síťového rozhraní 802.11ac/abgn
➢ Napájecí adaptér a kabel USB Type-C
➢ Kabel USB Type-C na USB Type-A
➢ Průvodce rychlým startem a podporou
Obrázek 1 Jetson AGX Orin Developer Kit
Funkce vývojářské sady Jetson AGX Orin
| MODUL: | |
| GPU | NVIDIA Amparchitektura s 2048 jádry NVIDIA® CUDA® |
| CPU | 12jádrový procesor Arm Cortex-A78AE v8.2 64bitový 3MB L2 + 6MB L3 |
| DL akcelerátor | 2x NVDLA v2 |
| Vidění | PVA v2.0 |
| Paměť | 32 GB 256-bit LPDDR5204.8 GB/s |
| Skladování | 64GB eMMC 5.1 |
| Moc | 15W až 60W |
Tabulka 1 Specifikace modulu vývojářské sady Jetson AGX Orin
| DESKA REFERENČNÍHO DOPRAVCE: | |
| Fotoaparát | 16-žilový konektor MIPI CSI-2 |
| PCIe | Podpora slotu x16 PCIe |
| M.2 Klíč M | x4 PCIe Gen 4 |
| M.2 Klíč E | x1 PCIe Gen 4, USB 2.0, UART, I2S |
| USB | Typ C: 2x USB 3.2 Gen2 s podporou USB-PD |
| vytváření sítí | RJ45 (až 10 GbE) |
| Zobrazit | DisplayPort 1.4a (+MST) |
| microSD skluzavky | Karty UHS-1 až do režimu SDR104 12pinový automatizační header 10pinový konektor audio panelu 10kolíkový JTAG záhlaví 4kolíková hlavice ventilátoru 2pinový RTC záložní konektor baterie DC napájecí konektor Tlačítka Napájení, Vynutit obnovení a Resetovat |
| Rozměry | 40pinový header (I2C, GPIO, SPI, CAN, I2S, UART, DMIC) |
Tabulka 2 Specifikace desky nosiče vývojářské sady Jetson AGX Orin
Nejlepší výkon ve své třídě
Až 8x vyšší výkon AI
Energeticky účinný Jetson AGX Orin System-on-Module (SoM) poskytuje až 275 TOPS 1 výkonu AI v rámci 60W energetického rozpočtu, což je 8x zlepšení oproti 32 TOPS dodávaným Jetson AGX Xavier. Pro konstrukce vyžadující nižší výkon profiles, mohou zákazníci vyladit své návrhy pro power profiles rozsahem od 15W do 60W. Jetson AGX Orin také poskytuje až 9x vyšší výkon DLA než Xavier a poskytuje ještě vyšší energetickou účinnost pro inferenční aplikace, které běží čistě na jádrech DLA. Jetson AGX Orin také poskytuje až 1.5x vyšší výkon CPU a až 1.5x vyšší šířku pásma DRAM, což pomáhá snižovat úzká hrdla a latence při spouštění více souběžných aplikací pro odvozování.
Významné zrychlení výkonu pro úlohy s umělou inteligencí v reálném světě
NVIDIA Jetson AGX Orin poskytuje výrazné zrychlení výkonu pro různé pracovní zátěže umělé inteligence v reálném světě, měřeno průmyslově uznávanými benchmarky a výkonem na široce používaných neuronových sítích. Oborový standard MLPerf benchmark definovaný konsorciem předních výrobců včetně NVIDIA, Google, Meta a dalších měří výkon při běžných úlohách umělé inteligence pro klasifikaci obrazu, detekci objektů a zpracování přirozeného jazyka pomocí široce používaných neuronových sítí, jako jsou ResNet50, Mobilenet-v2 a GNMT. NVIDIA Jetson AGX Xavier je aktuálně na vrcholu žebříčku tohoto benchmarku a poráží konkurenci se značnými rozdíly. Přečtěte si blog zde NVIDIA Jetson AGX Orin tento náskok dále zvýší a dokonce s výrazným náskokem porazí současného lídra Jetson AGX Xavier. Výsledky tohoto benchmarku budou zveřejněny 6. dubna poté, co bude znovuviewed a potvrzeno benchmarkovou organizací MLPerf.
Jetson AGX Orin poskytuje téměř 3.5x vyšší výkon než Jetson AGX Xavier na populárních předtrénovaných neuronových sítích, které se používají pro detekci objektů, rozpoznávání akcí, odhad pozice a další. Nová funkce Sparsity představená v AmpArchitektura GPU a dostupná na Jetson AGX Orin pomůže dále zvýšit výkontagE. Očekává se, že neustálé optimalizace základního softwaru JetPack, neuronových sítí a přijetí řídkých sítí dále zlepší výkonnostní náskok Jetson AGX Orin v reálném světě až na 5x. Další informace o urychlení vyvozování pomocí vzácnosti naleznete zde.
2 Relativní nárůst výkonu představuje geometrický průměr nárůstu výkonu měřený napříč širokou škálou předem trénovaných neuronových sítí a inferenčních modelů používaných v MLPerf.
Výkon na modelech Vision AI a Conversational AI
Rychlejší vývoj se softwarovou platformou NVIDIA AI
Špičkový výkon a energetická účinnost Jetson AGX Orin jsou podporovány stejnou výkonnou platformou NVIDIA AI, která je nasazena v datových centrech s akcelerací GPU, serverech hyper scale a výkonných pracovních stanicích s umělou inteligencí. Platforma NVIDIA AI přináší optimalizované nástroje AI, knihovny a sady NVIDIA SDK, jako jsou CUDA, CuDNN, TensorRT, DeepStream, RIVA, TAO a Isaac, na platformu Jetson, což umožňuje vývojářům bezproblémově trénovat aplikace AI na výkonných cloudových GPU a nasazovat na nich vyškolené sítě. Okrajová zařízení AI poháněná Jetsonem. Nástroje jako NVIDIA Omniverse Replicator pro syntetické generování dat pomáhají při vytváření vysoce kvalitních datových sad pro podporu školení modelů, NVIDIA Train-Adapt-Optimize (TAO) a Pre-Trained Models (PTM) zkracují dobu vývoje až 10X a poskytují jednodušší a rychlejší způsob, jak urychlit školení a rychle vytvořit vysoce přesné modely připravené k výrobě. Na Jetson AGX Orin běží také sady SDK, které jsou nasazeny ve výkonných datových centrech, jako je RIVA pro zrychlenou konverzační umělou inteligenci a Deepstream pro zrychlenou umělou inteligenci. NVIDIA Isaac SDK poskytuje řešení s akcelerací GPU pro robotické aplikace založené na Jetsonu. Vývojáři mohou pomocí softwarových nástrojů dostupných na platformě NVIDIA AI rychle a snadno stavět pokročilé roboty, jako je ten, který je představen v demo videu Orion.
Obrázek 4 Softwarový balík NVIDIA AI pro Jetson
NVIDIA JetPack je základní SDK pro platformu Jetson edge AI. JetPack SDK poskytuje úplné vývojové prostředí pro hardwarově akcelerovaný vývoj AI na okraji. JetPack SDK poskytuje balíček podpory desky se zavaděčem, linuxovým jádrem, desktopovým prostředím Ubuntu a kompletní sadou knihoven pro akceleraci GPU počítání, multimédií, grafiky a počítačového vidění. Jetson AGX Orin je poháněn naší nejnovější verzí JetPack 5.0, mezi které patří:
- Nejnovější výpočetní zásobník s nejnovějšími verzemi CUDA 11 a TensorRT 8
- Linuxové jádro 5.10
- Kořenový adresář založený na Ubuntu 20.04 file systém
- UEFI pro bootloader CPU
- OP-TEE pro Trusted Execution Environment
- Hardware root of trust, Secure boot, Disk Encryption, Secure Storage a další bezpečnostní funkce
- Aktualizace Over-the-Air pro bezpečnou aktualizaci jakéhokoli modulu Jetson nasazeného v terénu
Informace o nastavení vývojové sady s JetPack 5.0 SDK najdete v části Zavedení vývojářské sady Jetson AGX Orin v dodatku.
NVIDIA TAO (Train-Adapt-Optimize) je rámec, který umožňuje vývojářům vytvářet vlastní modely připravené k produkci během hodin, nikoli měsíců, bez odborných znalostí AI nebo velkých školicích datových sad. Sada nástrojů NVIDIA TAO odstraňuje složitost rámce umělé inteligence/deep learning a umožňuje vám doladit vysoce kvalitní modely umělé inteligence předem vycvičené společností NVIDIA s pouhým zlomkem dat ve srovnání s tréninkem od nuly. Zákazníci mohou pomocí sady nástrojů TAO doladit a optimalizovat širokou škálu případů použití od počítačového vidění a automatického rozpoznávání řeči až po syntézu řeči a porozumění přirozenému jazyku. Sběr dat a anotace je nákladný a pracný proces. Simulace může pomoci překlenout potřebu dat. NVIDIA Omniverse Replicator využívá simulaci ke generování syntetických dat, jejichž vytvoření je řádově rychlejší a levnější než skutečná data. S Omniverse Replicator můžete rychle vytvářet různorodé, masivní a přesné datové sady pro trénování modelů umělé inteligence.
Poskytli jsme vám demo, které vám umožní používat TAO k trénování modelu v cloudu a nasazování trénovaného modelu na Jetson pomocí DeepStream. Pokyny ke spuštění ukázky naleznete v části NVIDIA TAO v příloze.
NVIDIA Isaac ROS GEM jsou hardwarově akcelerované balíčky, které vývojářům ROS usnadňují vytváření vysoce výkonných řešení na hardwaru NVIDIA.
NVIDIA Isaac Sim, poháněná Omniverse, je škálovatelná aplikace pro simulaci robotiky. Zahrnuje Replicator – nástroj pro generování různých syntetických datových sad pro trénink modelů vnímání. Isaac Sim je také nástroj, který pohání fotorealistická, fyzicky přesná virtuální prostředí pro vývoj, testování a správu robotů založených na umělé inteligenci.
NVIDIA RIVA je SDK pro vytváření konverzačních aplikací AI s akcelerací GPU. RIVA zahrnuje nejmodernější předtrénované modely pro automatické rozpoznávání řeči (ASR) a převod textu na řeč (TTS). Tyto předem připravené modely jsou vysoce přesné a lze je snadno přizpůsobit pomocí sady nástrojů TAO pro zlepšení přesnosti v požadovaných doménách, akcentech, jazycích a případech použití. Řečové modely NVIDIA RIVA jsou optimalizovány pro TensorRT, aby poskytovaly vysoký výkon inferencí a nízké latence na Jetson AGX Orin. Poskytli jsme vám demo RIVA ASR, což je aplikace pro diktování, která předvádí výkon Jetson AGX Orin a přesnost předem trénovaných neuronových sítí pro rozpoznávání řeči. Další podrobnosti a pokyny ke spuštění těchto ukázek naleznete v části NVIDIA RIVA v příloze.
DeepStream je SDK pro rychlý vývoj a nasazení aplikací a služeb Vision AI. DeepStream nabízí hardwarovou akceleraci nad rámec inferencí, protože nabízí hardwarovou akceleraci plugins pro end-to-end zrychlení potrubí AI. Nabízí nejmodernější propustnost. Vývojáři mohou také přinést své vlastní modely TensorFlow, PyTorch nebo ONNX a nasadit je pomocí DeepStream.
NVIDIA Fleet Command™ je cloudová služba, která bezpečně nasazuje, spravuje a škáluje aplikace umělé inteligence v rámci distribuované okrajové infrastruktury. Fleet Command, speciálně vytvořený pro AI, je řešením na klíč pro správu životního cyklu AI. Odstraňuje složitost budování a údržby špičkové softwarové platformy tím, že nabízí efektivní nasazení, aktualizace OTA a možnosti podrobného monitorování. Protokoly vrstveného zabezpečení chrání duševní vlastnictví a přehled aplikací od cloudu až po okraj. S Fleet Command mohou organizace přejít z nuly na AI během několika minut. Velení flotily na Jetsonu se blíží.
Všechny výše uvedené softwarové technologie v kombinaci s výkonem Jetson AGX Orin umožní vývojářům vytvářet multimodální aplikace, které provozují více souběžných neuronových sítí pro případy použití, jako jsou roboti osobních asistentů, jak je ukázáno v tomto videu. Video ukazuje robota Orion postaveného společností NVIDIA na platformě Jetson AGX Orin pomocí neuronových sítí a SDK, které jsou vample demos, které vám byly poskytnuty.
Máte přístup k této Reviewers Guide from https://developer.nvidia.com/jetson-agx-orin-review
Spuštění vaší vývojářské sady Jetson AGX Orin
Vývojářská sada Jetson AGX Orin je dodávána s Jetson Linux BSP. Stačí připojit napájecí zdroj, klávesnici, myš, displej a zapnout. Než budete pokračovat dále, nezapomeňte připojit Jetson k internetu přes vestavěnou Wi-Fi nebo ethernet. První spuštění na tomto „soukromém“ preview Před přebliknutím obrázku bude trvat několik minut, než se zobrazí úvodní konfigurační dialog. Vyrobené vývojářské sady, které budou k dispozici veřejnosti po oznámení v GTC 2022, budou mít předem flashovaný obraz BSP ve verzi s mnohem rychlejším prvním spuštěním. Projděte si jednoduchý proces počátečního nastavení a přeskočte instalaci chromu web prohlížeč na dotaz. V tomto soukromém pre. je známý problémview obraz. Po dokončení počáteční konfigurace a zavedení vývojářské sady na plochu můžete nainstalovat nejnovější komponenty BSP a JetPack pomocí níže uvedeného příkazu:
proveďte add-apt-repository „deb https://repo.download.nvidia.com/jetson/jetson-50/t234 r34.0 main“
sudo add-apt-repository “deb https://repo.download.nvidia.com/jetson/jetson-50/common r34.0 main” Sudo apt dist-upgrade
Během upgradu se skript několikrát zeptá na vaši volbu, zadejte prosím „Y“ pro všechny možnosti.
Proveďte tvrdý restart systému dlouhým stisknutím tlačítka napájení NEBO odpojením zdroje napájení a jeho opětovným připojením. Po restartování systému a přihlášení na plochu nainstalujte komponenty Jetpack pomocí: Sudo apt install Nvidia-jetpack
Po instalaci komponent JetPack restartujte systém a spusťte nejnovější JetPack.
Prozkoumání vývojářské sady
Vývojářská sada používá JetPack 5.0 (předběžná verze), který má následující součásti:
- CUDA 11.4
- cuDNN 8.3.2
- TensorRT 8.4.0
- OpenCV 4.5.4
- Vulkan 1.3
- VPI 2.0
- Noční systémy 2021.5
- Noční grafika 2021.5
V pravém horním rohu plochy je power profile volič. Po kliknutí se zobrazí rozevírací nabídka všech softwarově definovaných režimů napájení vývojářské sady. Za účelem reviewpomocí vývojářské sady, spouštění benchmarků a poskytnutých sample demos, potvrďte, že Jetson je v Maxx power profile.
JetPack je dodáván s více sampvestavěný. Tyto samplesy poskytují preview a schopnosti různých komponent JetPack. JetPack obsahuje následující sampsoubory, které lze zkompilovat na vývojářské sadě. Doporučujeme vám spustit tyto sampse dozvíte o součástech JetPack.
| Komponenta JetPack | Sample umístění na referenci filesystém |
| TensorRT | /usr/src/tensor/samples/ |
| cuDNN | /usr/src/cudnn_samples_v8/ |
| CUDA | /usr/local/Cuda-11.4/samples/ |
| MM API | /usr/src/jetson_multimedia_api |
| VPI | /opt/Nvidia/vpi2/samples/ |
Spuštění Inference Benchmarks
Stáhněte si odtud tarball s názvem „benchmarks.tar.gz“ potřebný pro tento benchmarking a přesuňte jej do Review Adresář. A rozbalte tarball: mkdir HOME/Review cd $HOME/Review
Přesuňte benchmarks.tar.gz dovnitř $HOME/Review a poté jej rozbalte: tar -xvf benchmarks.tar.gz
Nastavte požadavky pro spuštění benchmarku provedením:cd benchmarks: bash installBenchmarks.sh
Výše uvedený skript stáhne další obsah z internetu. Při spuštění skriptu se prosím ujistěte, že je devkit online
Pro čisté měření prosím restartujte systém a poté spusťte benchmarking.
Srovnávání modelu vidění
Spusťte Vision Model Benchmarks pomocí:
bash launchVisionBenchmark.sh
Získáte výstup podobný níže:
| Model | Jméno | FPS |
| 0 | peoplenet | 531.32 |
| 1 | action_recog_2d | 1576.914 |
| 2 | action_recog_3d | 108.7845 |
| 3 | dashcamnet | 1905.535 |
| 4 | bodyposenet | 560.9218 |
| 5 | lpr_us | 4118.4 |
Konverzační srovnávání modelu AI
Spusťte Vision Model Benchmarks pomocí: bash launchConvBenchmark.sh
Získáte výstup podobný níže. Žlutě jsou zvýrazněny latence ASR, NLP a TTS. Tuto latenci můžete převést na FPS pomocí 1000/latency.
—————–Spuštění benchmarku ASR
Načítání hodnotné datové sady…
filenázev: /benchdata/1272-135031-0000.wav
Načítání dokončeno 1 file
Latence (ms):
| Medián | 90 | 95 | 99 | Prům |
| 9.2084 | 9.3835 | 9.5279 | 14.065 | 9.4069 |
Střední latence (ms):
| Medián | 90 | 95 | 99 | Prům |
| 9.2061 | 9.3615 | 9.4755 | 9.6975 | 9.3387 |
Konečné latence (ms):
| Medián | 90 | 95 | 99 | Prům |
| 14.065 | 14.131 | 14.131 | 14.131 | 14.041 |
Doba chodu: 54.441 sec.
Celkový zpracovaný zvuk: 54.425 sec.
Propustnost: 0.99971 RTFX
—————–Spuštění NLP Benchmarku
Odeslání 1000 žádostí dokončeno
Dokončeno zpracování 1000 odpovědí
Doba chodu: 6.80158s
Celkový počet zpracovaných sekvencí: 1000
Propustnost: 147.025 seq/sec
Latence:
| Medián | 90 | 95 | 99 | Prům |
| 3.39 | 3.49 | 3.51 | 3.57 | 3.45 |
—————–Spuštění TTS Benchmark
Latence:
První zvuk – průměr: 0.024089 (Toto je v sekundách. Převést na milisekundy pomocí 1000/latence v sekundách)
První zvuk – P90: 0.0248866
První zvuk – P95: 0.0249044
První zvuk – P99: 0.0249245
Kus – průměr: 0.00473509
Kus – P90: 0.00488245
Kus – P95: 0.00489093
Kus – P99: 0.0058794
Propustnost (RTF): 50.8159
Na konci zastavte benchmarking pomocí: bash top benchmark. sh
NVIDIA TAO
NVIDIA poskytuje předem vycvičené modely neuronových sítí připravené pro produkci na NVIDIA GPU Cloud (NGC). Pro každý model poskytuje NVIDIA nasaditelný model a trénovatelný model. Nasaditelný model je připraven k výrobě a je optimalizován pro provoz na inferenčním potrubí, zatímco trénovatelný model je určen pro jemné ladění pomocí vlastních dat s NVIDIA TAO. V této ukázce zažijete:
- Nasazení vysoce přesných optimalizovaných modelů připravených k výrobě na Jetson
- Použití Train-Adapt-Optimize k trénování trénovatelného modelu v cloudu a následnému nasazení trénovaného modelu na Jetson.
Chcete-li nastavit, spusťte demo, vytvořte adresář a pojmenujte jej jako „Review” ve vašem domovském adresáři, pokud ještě nebyl vytvořen.
mkdir $HOME/Review
Stáhněte si tarball s názvem „TAO-PTM.tar.gz“ požadovaný pro toto demo odtud a přesuňte jej do Review Adresář. A rozbalte tarball: cd $HOME/Review
Přesuňte „TAO-PTM.tar.gz“ dovnitř $HOME/Review a poté jej rozbalte: tar -xvf TAO-PTM.tar.gz
cd $HOME/Review/TAO-PTM
bash installTAOPTM.sh
Instalace zabere několik minut.
Po dokončení instalace spusťte jupyter-lab pomocí následujících příkazů:
cd $HOME/Review/TAO-PTM/
export PATH=”$HOME/.local/bin/:$PATH”
jupyter-laboratoř
Klikněte na odkaz na konci výstupu výše uvedeného příkazu a otevře se notebook Jupyter v prohlížeči.
Nasaďte předem vycvičené modely na Jetson
V této části nasadíte implementovatelný model Peoplenet pomocí DeepStream a uvidíte jej v akci. V poznámkovém bloku Jupyter v prohlížeči přejděte (navigační podokno vlevo) do adresáře PreTrainedModel a otevřete poznámkový blok s názvem peoplenet_workflow.ipynb. O modelu PeopleNet: architektuře modelu, trénovacích datech a přesnosti si můžete přečíst v notebooku.
Trénujte pomocí NVIDIA TAO a Deploy on Jetson
V této části začnete od trénovatelného modelu PeopleNet a trénujete v cloudu na další třídu detekce. Po zaškolení si natrénovaný model stáhnete do Jetson a nasadíte jej pomocí DeepStream. V poznámkovém bloku Jupyter v prohlížeči přejděte (navigační panel vlevo) do adresáře TrainAdaptOptimize a otevřete poznámkový blok s názvem tao_workflow.ipynbview, poskytli jsme minimální sadu dat pro školení a školení pro 500 epoch. Kvalita detekcí těží z množství a kvality datové sady. Vzhledem k tomu, že jsme zachovali minimální soubor dat, abychom zkrátili dobu školení, vygenerovaný model nebude mít produkční kvalitu.
NVIDIA RIVA
V této ukázce zažijete NVIDIA RIVA ASR v akci. Budete potřebovat náhlavní soupravu s mikrofonem, která vám byla dodána na místěviewers balíček. Než začnete s ukázkami níže, připojte náhlavní soupravu USB s mikrofonem k vývojářské sadě.
Vytvořte adresář a pojmenujte jej jako „Review” ve vašem domovském adresáři, pokud jste tak již neučinili.
mkdir $HOME/Review
Stáhněte si tar ball s názvem „Riva.tar.gz“ požadovaný pro toto demo odtud a přesuňte jej do Review Adresář.
cd $HOME/Review
Přesuňte „Riva.tar.gz“ dovnitř $HOME/Review a poté jej rozbalte: tax -xvf Riva.tar.gz
Nainstalujte demo pomocí:
cd $HOME/Review/Riva
bash installRivaASR.sh
Po dokončení instalace můžete zažít následující ukázku přepisu RIVA:
Odeberte prosím USB kameru a připojujte pouze USB sluchátka s mikrofonem. A pak restart.
Tento krok vyžadujeme, protože jsme napevno naprogramovali demo tak, aby bylo možné používat náhlavní soupravu USB s mikrofonem, který jsme poskytli.
Demo RIVA ASR
První ukázka představí automatické rozpoznávání řeči RIVA (ASR) s případem použití přepisu. Demo využívá modelovou architekturu Citrinet, která je trénována pomocí datové sady ASR Set 3.0 16700 Hours. V tomto demu model běží zcela lokálně na Jetsonu. Spusťte demo pomocí níže uvedeného příkazu:
cd $HOME/Review/Rivabash spustíASR.sh
Načtení bude trvat přibližně 3 minuty. Po načtení uvidíte čistou obrazovku a v tomto okamžiku můžete začít mluvit. Uvidíte přepis probíhající v reálném čase.
Doporučujeme vám otestovat naše ASR zadáním diktátu jak RIVA ASR, tak konkurenčnímu řešení na trhu a porovnat přesnost a výkon. Po dokončení stiskněte ctrl-c pro zastavení přepisu a poté proveďte následující příkaz. bash stopRiva.shDalší zdroje
Kola Pytorch
Zde jsme hostili kola Pytorch: https://nvidia.box.com/shared/static/19je2l0ppy1fpq4mw1a5gsbb5y9fopy7.whl
Pro instalaci proveďte následující kroky: wget https://nvidia.box.com/shared/static/19je2l0ppy1fpq4mw1a5gsbb5y9fopy7.whl -O
pochodeň-1.10.0-cp38-cp38-linux_aarch64.whl
Sudo apt-get install python3-pip libopenblas-base libopenmpi-dev
pip3 nainstalujte Cython
pip3 install NumPy torch-1.10.0-cp38-cp38-linux_aarch64.whl
Kontejner Pytorch
Vytáhněte pytroch kontejner podle následujících kroků:
Krok 1: Přihlaste se do cloudu GPU Nvidia
přihlášení sudo docker nvcr.io
Uživatelské jméno jako $oauthtoken a heslo jako
“NzRkbGFham5hYmFjZWdxcDdwY2c1b3VyaXQ6MWQ3NmVkNjQtNGIyNS00MGFkLTlhYzEtYzNjMjkzZTc2
OTZi“, jak je znázorněno níže.
Krok 2: Vytáhněte a spusťte nádobu
sudo docker run -it –rm –runtime Nvidia –hostitel sítě nvcr.io/ealinux4tegra/l4t-pytorch:r34.0.1-pth1.10-py3
Specifikace NVIDIA Jetson AGX Orin
| Jetson AGX Xavier | Jetson AGX Orin | |
| Výkon AI | 32 VRCHŮ (INT8) | 275 TOPS (INT8 s řídkou) |138 TOPS (INT8) |
| GPU | 512jádrový GPU NVIDIA Volta s 64 jádry Tensor Core | NVIDIA s 2048 jádry AmpGPU s 64 jádry Tensor Core |
| DL akcelerátor | 2x NVDLA | 2x NVDLA v2 |
| Vision Accelerator | 2x PVA v1 | PVA v2 |
| CPU | 8jádrový procesor NVIDIA Carmel Arm®v8.2 64bitový CPU 8MB L2 + 4MB L3 | 12jádrový procesor NVIDIA Arm® Cortex A78AE v8.2 64bitový procesor 3 MB L2 + 6 MB L3 |
| Paměť | Až 64 GB 256bitové LPDDR4x @ 2133 MHz 137 GB/s | Až 64 GB 256-bit LPDDR5 @ 3200 MHz 204.8 GB / s |
| Skladování | 32GB eMMC 5.1 | 64 GB eMMC 5.1 |
| Kódování videa | 4x 4K60 | 8x 4K30 | 16x 1080p60 | 32x 1080p30 (H.265) H.264, VP9 |
2x 4K60 | 4x 4K30 | 8x 1080p60 | 16x 1080p30 (H.265) H.264, AV1 |
| Dekódování videa | 2x 8K30 | 6x 4K60 | 12x 4K30 | 26x 1080p60 | 52x 1080p30 (H.265) H.264, VP9 |
1x 8K30 | 3x 4K60 | 7x 4K30 | 11x 1080p60| 22x? 1080p30 (H.265) H.264, VP9, AV1 |
| Fotoaparát | 16 drah MIPI CSI-2 (36 virtuálních kanálů) | 8 pruhů SLVS-EC| D-PHY 40 Gbps / C-PHY 62 Gbps |
16 drah MIPI CSI-2 (16 virtuálních kanálů*) D-PHY 2.1 40 Gb/s / C-PHY 2.0 164 Gb/s |
| PCI Express | 16 drah PCIe Gen 4 1x8 + 1x4 + 1x2 + 2x1 |
22 drah PCIe Gen 4 Až 2x8, 1x4, 2x1 |
| Ethernet | 1 Gbe RGMII | 1 Gbe RGMII | 4x 10Gbe XFI |
| Mechanické | 100 mm x 87 mm 699 pinový konektor | 100 mm x 87 mm 699 pinový konektor |
| Moc | 10W až 30W | 15W až 60W |
Kontaktní informace
Případné dotazy při reviewpomocí vývojářské sady? E-mailem JAOReviewersTeam@nvidia.com
NVIDIA pro vztahy s veřejností Severní/Latinská Amerika
| David Pinto PR manažer, kancelář autonomních strojů: 408 566 6950 dpinto@nvidia.com |
Sridhar Ramaswamy Ředitel pro podnikový a technický marketing SHIELD Buňka: 510 545 3774 sramaswamy@nvidia.com |
| Michael Lim Ředitel, Kancelář pro vztahy s analytiky: 408 486 2376 mlim@nvidia.com |
NVIDIA Europe Public Relations
Rick Napier
Senior technický produktový manažer pro severní Evropu
Kancelář: +44 (118) 9184378
Mobil: +44 (7917) 630172
rnapier@nvidia.com NVIDIA UK
100 Brook Drive Green Park Reading
RG2 6UJ
Oznámení
VŠECHNY INFORMACE UVEDENÉ V TOMTO REVIEWPRŮVODCE ER, VČETNĚ KOMENTÁŘSKÉHO NÁZORU, SPECIFIKACE NÁVRHU NVIDIA, REFERENČNÍCH TABULÍ, FILES, VÝKRESY JAKO DIAGNOSTIKU, SEZNAMY A JINÉ DOKUMENTY (SPOLU A SAMOSTATNĚ, „MATERIÁLY“) JSOU POSKYTOVÁNY „TAK, JAK JSOU“. NVIDIA NEPOSKYTUJE ŽÁDNÉ ZÁRUKY, VÝSLOVNÉ, PŘEDPOKLÁDANÉ ZÁKONNÉ NEBO JINAK S OHLEDEM NA MATERIÁLY, A VÝSLOVNĚ ODMÍTÁ VŠECHNY PŘEDPOKLÁDANÉ ZÁRUKY NEPORUŠENÍ PRÁV, OBCHODOVATELNOSTI A VHODNOSTI PRO KONKRÉTNÍ PŘÍSLUŠENSTVÍ.
Poskytnuté informace jsou považovány za přesné a spolehlivé. Společnost NVIDIA Corporation však nepřebírá žádnou odpovědnost za důsledky použití takových informací nebo za jakékoli porušení patentů nebo jiných práv třetích stran, které může vyplynout z jejich použití. Žádná licence není udělena implicitně ani jinak v rámci jakéhokoli patentu nebo patentových práv společnosti NVIDIA Corporation. Specifikace uvedené v této publikaci se mohou bez upozornění změnit. Tato publikace nahrazuje a nahrazuje všechny informace dříve dodané produkty společnosti NVidia Corporation nejsou autorizovány k použití jako kritické součásti v systémech zařízení na podporu života bez výslovného písemného souhlasu společnosti NVIDIA Corporation.
ochranné známky
NVIDIA, logo NVIDIA, GeForce, Tegra, Tesla a Jetson jsou ochranné známky a/nebo registrované ochranné známky společnosti NVIDIA Corporation v USA a dalších zemích. Všechna práva vyhrazena. Ostatní názvy společností a produktů mohou být ochrannými známkami příslušných společností, se kterými jsou spojeny.
Copyright
© 2022 NVIDIA Corporation. Všechna práva vyhrazena.
Dokumenty / zdroje
 |
Vývojářská sada NVIDIA Jetson AGX Orin [pdfUživatelská příručka Jetson AGX Orin Developer Kit, Jetson, AGX Orin Developer Kit, Orin Developer Kit, Developer Kit, Kit |
 |
Vývojářská sada NVIDIA JETSON AGX ORIN [pdfUživatelská příručka JETSON AGX ORIN, Developer Kit, JETSON AGX ORIN Developer Kit |
