intel AI Analytics Toolkit pro Linux

Informace o produktu

AI Kit je sada nástrojů, která obsahuje několik prostředí conda pro strojové učení a projekty hlubokého učení. Zahrnuje prostředí pro TensorFlow, PyTorch a Intel oneCCL Bindings. Umožňuje uživatelům konfigurovat svůj systém nastavením proměnných prostředí, pomocí Conda přidávat balíčky, instalovat ovladače grafiky a deaktivovat hangcheck. Sada nástrojů může být použita v rozhraní příkazového řádku (CLI) a lze ji snadno integrovat do stávajících projektů bez jakýchkoli speciálních úprav.

Použití produktu

1. Než budete pokračovat, nakonfigurujte svůj systém nastavením proměnných prostředí.
2. Chcete-li pracovat v rozhraní příkazového řádku (CLI), použijte skript setvars.sh ke konfiguraci nástrojů v sadách nástrojů oneAPI prostřednictvím proměnných prostředí. Skript setvars.sh můžete získat jednou za relaci nebo pokaždé, když otevřete nové okno terminálu. Skript setvars.sh najdete v kořenové složce vaší instalace oneAPI.
3. Aktivujte různá prostředí conda podle potřeby pomocí příkazu „conda activate “. Sada AI obsahuje prostředí Conda pro TensorFlow (CPU), TensorFlow s Intel Extension pro Sample TensorFlow (GPU), PyTorch s rozšířením Intel pro PyTorch (XPU) a Intel oneCCL Bindings pro PyTorch (CPU).
4. Prozkoumejte jednotlivé prostředí související Začínáme SampDalší informace o tom, jak používat jednotlivá prostředí, naleznete v tabulce v uživatelské příručce.

Následující pokyny předpokládají, že jste nainstalovali software Intel® oneAPI. Možnosti instalace naleznete na stránce Intel AI Analytics Toolkit. Chcete-li vytvořit a spustit jako, postupujte podle těchto krokůample s Intel® AI Analytics Toolkit (AI Kit):

1. Nakonfigurujte svůj systém.
2. Sestavte a spusťte Sample.

POZNÁMKA: Standardní instalace Pythonu jsou plně kompatibilní se sadou AI, preferována je však distribuce Intel® Distribution for Python*.
K tomu, abyste je mohli začít používat s touto sadou nástrojů, nejsou nutné žádné speciální úpravy vašich stávajících projektů.

Součásti této sady nástrojů

Sada AI obsahuje

• Intel® Optimization for PyTorch*: Intel® oneAPI Deep Neural Network Library (oneDNN) je součástí PyTorch jako výchozí knihovna matematického jádra pro hluboké učení.
• Intel® Extension pro PyTorch: Intel® Extension pro PyTorch* rozšiřuje možnosti PyTorch* o aktuální funkce a optimalizace pro další zvýšení výkonu hardwaru Intel.
• Intel® Optimization for TensorFlow*: Tato verze integruje primitiva z oneDNN do běhového prostředí TensorFlow pro zrychlený výkon.
• Intel® Extension for TensorFlow: Intel® Extension for TensorFlow* je heterogenní, vysoce výkonný plugin pro hluboké učení založený na rozhraní TensorFlow PluggableDevice. Tento rozšiřující plugin přináší zařízení Intel XPU (GPU, CPU atd.) do open source komunity TensorFlow pro akceleraci zátěže AI.
• Intel® Distribution for Python*: Získejte rychlejší výkon aplikací Python hned po vybalení, s minimálními nebo žádnými změnami kódu. Tato distribuce je integrována s knihovnami Intel® Performance Libraries, jako je Intel® oneAPI Math Kernel Library a Intel®oneAPI Data Analytics Library.
• Intel® Distribution of Modin* (dostupná pouze prostřednictvím Anaconda), která vám umožňuje plynule škálovat předběžné zpracování napříč více uzly pomocí této inteligentní distribuované knihovny datových rámců s identickým rozhraním API jako pandy. Tato distribuce je dostupná pouze po instalaci Intel® AI Analytics Toolkit s Conda* Package Manager.
• Intel® Neural Compressor: rychle nasaďte řešení s nízkou přesností inference na populárních rámcích pro hluboké učení, jako jsou TensorFlow*, PyTorch*, MXNet* a runtime ONNX* (Open Neural Network Exchange).
• Intel® Extension for Scikit-learn*: Bezproblémový způsob, jak urychlit vaši aplikaci Scikit-learn pomocí Intel® oneAPI Data Analytics Library (oneDAL).
  Záplatování scikit-learn z něj dělá dobře vhodný rámec strojového učení pro řešení problémů v reálném životě.
• XGBoost Optimized by Intel: Tento dobře známý balíček pro strojové učení pro rozhodovací stromy se zesíleným gradientem zahrnuje bezproblémovou, drop-in akceleraci pro architektury Intel®, která výrazně urychlí trénování modelů a zlepší přesnost pro lepší předpovědi.

Nakonfigurujte svůj systém – Intel® AI Analytics Toolkit

Pokud jste ještě nenainstalovali sadu nástrojů AI Analytics Toolkit, přečtěte si část Instalace sady nástrojů Intel® AI Analytics Toolkit. Chcete-li nakonfigurovat svůj systém, před pokračováním nastavte proměnné prostředí.

 

Nastavení proměnných prostředí pro vývoj CLI
Pro práci v rozhraní příkazového řádku (CLI) se nástroje v sadách nástrojů oneAPI konfigurují pomocí
proměnné prostředí. Chcete-li nastavit proměnné prostředí pomocí skriptu setvars:

Možnost 1: Zdroj setvars.sh jednou za relaci
Zdroj setvars.sh pokaždé, když otevřete nové okno terminálu:

Skript setvars.sh můžete najít v kořenové složce vaší instalace oneAPI, což je obvykle /opt/intel/oneapi/ pro instalace v celém systému a ~/intel/oneapi/ pro soukromé instalace.

Pro instalace v celém systému (vyžaduje oprávnění root nebo sudo):

• . /opt/intel/oneapi/setvars.sh

Pro soukromé instalace:

• . ~/intel/oneapi/setvars.sh

Možnost 2: Jednorázové nastavení pro setvars.sh
Chcete-li, aby se prostředí pro vaše projekty nastavilo automaticky, zahrňte zdroj příkazu
/setvars.sh ve spouštěcím skriptu, kde bude vyvolán automaticky (nahradit
s cestou k umístění instalace oneAPI). Výchozí umístění instalace jsou /opt/
intel/oneapi/ pro instalace v celém systému (vyžaduje oprávnění root nebo sudo) a ~/intel/oneapi/ pro soukromé instalace.
Napřample, můžete přidat zdroj /setvars.sh do vašeho ~/.bashrc nebo ~/.bashrc_profile nebo ~/.profile file. Chcete-li, aby nastavení byla trvalá pro všechny účty ve vašem systému, vytvořte jednořádkový skript .sh v systémovém souboru /etc/profile.d složka, která je zdrojem setvars.sh (další podrobnosti najdete v dokumentaci Ubuntu o proměnných prostředí).

POZNÁMKA
Skript setvars.sh lze spravovat pomocí konfigurace file, což je zvláště užitečné, pokud potřebujete inicializovat konkrétní verze knihoven nebo kompilátoru namísto výchozího nastavení na „nejnovější“ verzi. Další podrobnosti naleznete v části Použití konfigurace File Chcete-li spravovat Setvars.sh.. Pokud potřebujete nastavit prostředí v jiném prostředí než POSIX, podívejte se na Nastavení vývojového prostředí oneAPI, kde najdete další možnosti konfigurace.

Další kroky

• Pokud nepoužíváte Conda nebo nevyvíjíte pro GPU, Build and Run a Sample Project.
• Pro uživatele Conda pokračujte další částí.
• Pro vývoj na GPU pokračujte na Uživatelé GPU

Prostředí Conda v této sadě nástrojů
Sada AI obsahuje několik prostředí conda. Každé prostředí je popsáno v tabulce níže. Jakmile nastavíte proměnné prostředí na prostředí CLI, jak bylo uvedeno dříve, můžete aktivovat různá prostředí conda podle potřeby pomocí následujícího příkazu:

• conda aktivovat

Chcete-li získat další informace, prozkoumejte prosím příslušné prostředí související s Getting Started Sampodkaz v tabulce níže.

Použijte funkci Conda Clone k přidání balíčků jako uživatel bez oprávnění root
Sada nástrojů Intel AI Analytics je nainstalována ve složce oneapi, jejíž správa vyžaduje oprávnění uživatele root. Možná budete chtít přidávat a udržovat nové balíčky pomocí Conda*, ale nemůžete to udělat bez přístupu root. Nebo můžete mít přístup root, ale nechcete zadávat heslo root pokaždé, když aktivujete Conda.

Chcete-li spravovat své prostředí bez použití přístupu root, využijte funkci klonování Conda ke klonování potřebných balíčků do složky mimo složku /opt/intel/oneapi/:

1. Ve stejném okně terminálu, kde jste spustili setvars.sh, identifikujte prostředí Conda ve vašem systému:
   • conda env seznam
     Uvidíte výsledky podobné tomuto:
2. Pomocí funkce klonování naklonujte prostředí do nové složky. V exampNíže se nové prostředí jmenuje usr_intelpython a klonované prostředí se jmenuje base (jak je znázorněno na obrázku výše).
   • conda create –name usr_intelpython –klonovat základnu
     Zobrazí se podrobnosti o klonu:

1. Aktivujte nové prostředí a povolte možnost přidávat balíčky. conda aktivovat usr_intelpython
2. Ověřte, že je nové prostředí aktivní. conda env seznam
   Nyní můžete vyvíjet pomocí prostředí Conda pro Intel Distribution pro Python.
3. Pro aktivaci prostředí TensorFlow* nebo PyTorch*:

TensorFlow

• conda aktivovat tensorflow

PyTorch

• conda activate pytorch

Další kroky

• Pokud nevyvíjíte pro GPU, vytvořte a spusťte Sample Project.
• Pro vývoj na GPU pokračujte na Uživatelé GPU.

Uživatelé GPU
Pro ty, kteří vyvíjejí na GPU, postupujte takto:

Nainstalujte ovladače GPU
Pokud jste při instalaci ovladačů GPU postupovali podle pokynů v instalační příručce, můžete tento krok přeskočit. Pokud jste ovladače nenainstalovali, postupujte podle pokynů v instalační příručce.

Přidat uživatele do skupiny videí
Pro výpočetní zátěž GPU nemají uživatelé bez oprávnění root (normální) obvykle přístup k zařízení GPU. Nezapomeňte do skupiny videí přidat své běžné uživatele; jinak binární soubory zkompilované pro zařízení GPU selžou, když je spustí normální uživatel. Chcete-li tento problém vyřešit, přidejte uživatele bez oprávnění root do skupiny videí:

• sudo usermod -a -G video

Zakázat Hangcheck
U aplikací s dlouhotrvajícím výpočetním zatížením GPU v nativním prostředí vypněte kontrolu zablokování. Toto se nedoporučuje pro virtualizace nebo jiné standardní využití GPU, jako je hraní her.

Pracovní zátěž, která trvá déle než čtyři sekundy, než se hardware GPU spustí, je dlouhotrvající zátěž. Ve výchozím nastavení jsou jednotlivá vlákna, která se kvalifikují jako dlouhotrvající úlohy, považována za nefunkční a jsou ukončena. Zakázáním časového limitu zablokování se tomuto problému můžete vyhnout.

POZNÁMKA: Pokud je jádro aktualizováno, hangcheck je automaticky povolen. Po každé aktualizaci jádra spusťte níže uvedený postup, abyste se ujistili, že je zakázána kontrola zablokování.

1. Otevřete terminál.
2. Otevřete grub file v /etc/default.
3. V grub file, najděte řádek GRUB_CMDLINE_LINUX_DEFAULT=”” .
4. Vložte tento text do uvozovek (“”):
5. Spusťte tento příkaz:
   sudo update-grub
6. Restartujte systém. Hangcheck zůstává vypnutý.

Další krok
Nyní, když jste nakonfigurovali svůj systém, přejděte k části Build and Run a Sample Project.

Sestavte a spusťte Sample Pomocí příkazového řádku

Intel® AI Analytics Toolkit
V této sekci spustíte jednoduchý projekt „Ahoj světe“, abyste se seznámili s procesem budování projektů, a poté sestavíte svůj vlastní projekt.

POZNÁMKA: Pokud jste své vývojové prostředí ještě nenakonfigurovali, přejděte na Konfigurace systému a vraťte se na tuto stránku. Pokud jste již provedli kroky pro konfiguraci systému, pokračujte níže uvedenými kroky.

Při práci z příkazového řádku můžete použít buď okno terminálu, nebo Visual Studio Code*. Podrobnosti o tom, jak používat VS Code lokálně, najdete v tématu Základní použití kódu Visual Studio s oneAPI v systému Linux*. Chcete-li vzdáleně používat VS Code, přečtěte si téma Vzdálený vývoj kódu Visual Studio s oneAPI v systému Linux*.

Sestavte a spusťte Sample Project
Sampsoubory níže musí být naklonovány do vašeho systému, než budete moci sestavit sampprojekt:

Chcete-li zobrazit seznam komponent, které podporují CMake, viz Použití CMake s aplikacemi oneAPI.

Sestavte si svůj vlastní projekt
K tomu, abyste je mohli začít používat s touto sadou nástrojů, nejsou nutné žádné speciální úpravy vašich stávajících projektů Pythonu. U nových projektů proces úzce navazuje na proces používaný pro vytváření sample projekty Hello World. Viz README Hello World files pro pokyny.

Maximalizace výkonu
Můžete získat dokumentaci, která vám pomůže maximalizovat výkon pro TensorFlow nebo PyTorch.

Nakonfigurujte své prostředí

POZNÁMKA: Pokud vaše virtuální prostředí není k dispozici nebo pokud chcete do virtuálního prostředí přidat balíčky, ujistěte se, že jste provedli kroky v části Použití funkce Conda Clone k přidání balíčků jako uživatel bez oprávnění root.

Pokud vyvíjíte mimo kontejner, použijte následující skript pro použití Intel® Distribution for Python*:

• • /setvars.sh
• kde je místo, kde jste nainstalovali tuto sadu nástrojů. Ve výchozím nastavení je instalační adresář:
• Instalace root nebo sudo: /opt/intel/oneapi
• Místní uživatelské instalace: ~/intel/oneapi

POZNÁMKA: Skript setvars.sh lze spravovat pomocí konfigurace file, což je zvláště užitečné, pokud potřebujete inicializovat konkrétní verze knihoven nebo kompilátoru namísto výchozího nastavení na „nejnovější“ verzi. Další podrobnosti naleznete v části Použití konfigurace File ke správě Setvars.sh. Pokud potřebujete nastavit prostředí v jiném prostředí než POSIX, přečtěte si téma Nastavení vývojového prostředí oneAPI, kde najdete další možnosti konfigurace.

Chcete-li přepnout prostředí, musíte nejprve deaktivovat aktivní prostředí.
Následující exampSoubor demonstruje konfiguraci prostředí, aktivaci TensorFlow* a poté návrat do Intel Distribution for Python:

Stáhněte si kontejner

Intel® AI Analytics Toolkit
Kontejnery vám umožňují nastavit a nakonfigurovat prostředí pro vytváření, spouštění a profilování aplikací oneAPI a distribuovat je pomocí obrázků:

• Můžete nainstalovat bitovou kopii obsahující prostředí předem nakonfigurované se všemi nástroji, které potřebujete, a poté vyvíjet v tomto prostředí.
• Můžete uložit prostředí a použít obrázek k přesunutí tohoto prostředí na jiný počítač bez dalšího nastavování.
• Podle potřeby můžete připravit kontejnery s různými sadami jazyků a běhových prostředí, analytickými nástroji nebo jinými nástroji.

Stáhnout obrázek Docker*
Obrázek Docker* si můžete stáhnout z úložiště kontejnerů.

POZNÁMKA: Obraz Dockeru má ~5 GB a jeho stažení může trvat ~15 minut. Bude vyžadovat 25 GB místa na disku.

1. Definujte obrázek:
   image=intel/oneapi-aikit docker vytáhněte „$image“
2. Vytáhněte obrázek.
   docker vytáhnout „$image“

Jakmile je obrázek stažen, přejděte k části Použití kontejnerů s příkazovým řádkem.

Použití kontejnerů s příkazovým řádkem
Intel® AI Analytics Toolkit Stáhněte si předem připravené kontejnery přímo. Níže uvedený příkaz pro CPU vás nechá na příkazovém řádku uvnitř kontejneru v interaktivním režimu.

CPU
image=intel/oneapi-aikit docker spustit -it “$image”

Použití Intel® Advisor, Intel® Inspector nebo VTune™ s kontejnery
Při použití těchto nástrojů musí být kontejneru poskytnuty další možnosti: –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE

• docker run –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE \ –device=/dev/dri -it “$image”

Používání systémů Cloud CI Systems

Systémy Cloud CI vám umožňují vytvářet a testovat software automaticky. Viz například repo v githubuampsoubory konfigurace files, které používají oneAPI pro oblíbené cloudové CI systémy.

Odstraňování problémů pro Intel® AI Analytics Toolkit

Upozornění a vyloučení odpovědnosti

Technologie Intel mohou vyžadovat aktivaci hardwaru, softwaru nebo služby. Žádný produkt ani součást nemůže být absolutně bezpečný.
Vaše náklady a výsledky se mohou lišit.

© Intel Corporation. Intel, logo Intel a další značky Intel jsou ochranné známky společnosti Intel Corporation nebo jejích dceřiných společností. Jiná jména a značky mohou být nárokovány jako vlastnictví jiných.

Informace o produktu a výkonu

Výkon se liší podle použití, konfigurace a dalších faktorů. Více se dozvíte na www.Intel.com/PerformanceIndex.
Revize upozornění č. 20201201

Tímto dokumentem není udělena žádná licence (výslovná nebo předpokládaná, estoppel nebo jinak) k právům duševního vlastnictví. Popisované produkty mohou obsahovat konstrukční vady nebo chyby známé jako errata, které mohou způsobit odchylku produktu od publikovaných specifikací. Aktuální charakterizované chyby jsou k dispozici na vyžádání.

Intel se zříká všech výslovných a předpokládaných záruk, včetně, bez omezení, předpokládaných záruk obchodovatelnosti, vhodnosti pro určitý účel a neporušení práv, jakož i jakékoli záruky vyplývající z průběhu výkonu, průběhu obchodování nebo použití v obchodě.

Dokumenty / zdroje

intel AI Analytics Toolkit pro Linux [pdfUživatelská příručka AI Analytics Toolkit pro Linux, AI Analytics Toolkit, Analytics Toolkit pro Linux, Analytics Toolkit, Toolkit

Reference

• Uživatelská příručka