NVIDIA NeMo Framework

Specifikace

• Název produktu: NVIDIA NeMo Framework
• Dotčené platformy: Windows, Linux, macOS
• Dotčené verze: Všechny verze před 24
• Chyba zabezpečení: CVE-2025-23360
• Základní skóre hodnocení rizika: 7.1 (CVSS v3.1)

Návod k použití produktu

Instalace aktualizace zabezpečení:
Chcete-li chránit svůj systém, postupujte takto:

1. Stáhněte si nejnovější verzi ze stránky NeMo-Framework-Launcher Releases na GitHubu.
2. Další informace najdete na stránce NVIDIA Product Security.

Podrobnosti aktualizace zabezpečení:
Aktualizace zabezpečení řeší zranitelnost v NVIDIA NeMo Framework, která by mohla vést ke spuštění kódu a datům.ampering.

Upgrade softwaru:
Pokud používáte starší verzi větve, doporučuje se upgradovat na nejnovější verzi větve, abyste problém se zabezpečením vyřešili.

Nadview

NVIDIA NeMo Framework je škálovatelný a cloudově nativní generativní rámec umělé inteligence vytvořený pro výzkumníky a vývojáře pracující na Velké jazykové modely, multimodální a Řeč AI (např Automatické rozpoznávání řeči a Převod textu na řeč). Umožňuje uživatelům efektivně vytvářet, přizpůsobovat a nasazovat nové generativní modely umělé inteligence využitím stávajícího kódu a předem trénovaných kontrolních bodů modelu.

Pokyny pro nastavení: Nainstalujte NeMo Framework

Velké jazykové modely a multimodální modely
NeMo Framework poskytuje end-to-end podporu pro vývoj velkých jazykových modelů (LLM) a multimodálních modelů (MM). Poskytuje flexibilitu pro použití on-premise, v datovém centru nebo u preferovaného poskytovatele cloudu. Podporuje také spouštění v prostředích podporujících SLURM nebo Kubernetes.

Správa dat
Kurátor NeMo [1] je knihovna Pythonu, která obsahuje sadu modulů pro dolování dat a syntetické generování dat. Jsou škálovatelné a optimalizované pro GPU, díky čemuž jsou ideální pro správu dat přirozeného jazyka pro trénování nebo dolaďování LLM. S NeMo Curator můžete efektivně extrahovat vysoce kvalitní text z rozsáhlého rawu web zdroje dat.

Školení a přizpůsobení

NeMo Framework poskytuje nástroje pro efektivní školení a přizpůsobení LLM a multimodální modely. Zahrnuje výchozí konfigurace pro nastavení výpočetního clusteru, stahování dat a hyperparametry modelu, které lze upravit tak, aby trénovaly nové datové sady a modely. Kromě předtréninku podporuje NeMo jak Supervised Fine-Tuning (SFT) tak i Parameter Efficient Fine-Tuning (PEFT) techniky jako LoRA, Ptuning a další.

Pro spuštění tréninku v NeMo jsou k dispozici dvě možnosti – pomocí rozhraní API NeMo 2.0 nebo pomocí NeMo Run.

• S NeMo Run (doporučeno): NeMo Run poskytuje rozhraní pro zefektivnění konfigurace, provádění a správy experimentů v různých výpočetních prostředích. To zahrnuje spouštění úloh na vaší pracovní stanici lokálně nebo ve velkých clusterech – jak s povoleným SLURM, tak s Kubernetes v cloudovém prostředí.
  • Předtrénink a rychlý start PEFT s NeMo Run
• Použití NeMo 2.0 API: Tato metoda funguje dobře s jednoduchým nastavením zahrnujícím malé modely, nebo pokud máte zájem napsat si vlastní dataloader, trénovací smyčky nebo změnit vrstvy modelu. Poskytuje vám větší flexibilitu a kontrolu nad konfiguracemi a usnadňuje programové rozšíření a přizpůsobení konfigurací.
  • Training Quickstart with NeMo 2.0 API
  • Migrace z NeMo 1.0 na NeMo 2.0 API

Zarovnání

• NeMo-Aligner [1] je škálovatelná sada nástrojů pro efektivní zarovnání modelu. Sada nástrojů má podporu pro nejmodernější algoritmy zarovnání modelů, jako je SteerLM, DPO, Reinforcement Learning from Human Feedback (RLHF) a mnoho dalších. Tyto algoritmy umožňují uživatelům sladit jazykové modely tak, aby byly bezpečnější, neškodnější a užitečnější.
• Všechny kontrolní body NeMo-Aligner jsou křížově kompatibilní s ekosystémem NeMo, což umožňuje další přizpůsobení a nasazení odvození.

Postupný pracovní postup všech tří fází RLHF na malém modelu GPT-2B:

• Školení SFT
• Školení modelu odměn
• školení PPO

Kromě toho demonstrujeme podporu pro různé další nové metody zarovnání:

• DPO: odlehčený algoritmus zarovnání ve srovnání s RLHF s jednodušší ztrátovou funkcí.
• Vlastní hra Jemné doladění (SPIN)
• SteerLM: technika založená na podmíněném SFT s řiditelným výstupem.

Další informace naleznete v dokumentaci: Dokumentace vyrovnání

Multimodální modely

• NeMo Framework poskytuje optimalizovaný software pro trénování a nasazení nejmodernějších multimodálních modelů v několika kategoriích: Multimodální jazykové modely, Vision-Language Foundations, Text-to-Image modely a nad rámec 2D generování pomocí Neural Radiance Fields (NeRF).
• Každá kategorie je navržena tak, aby vyhovovala specifickým potřebám a pokrokům v oboru, přičemž využívá nejmodernější modely ke zpracování široké škály datových typů, včetně textu, obrázků a 3D modelů.

Nasazení a vyvození
NeMo Framework poskytuje různé cesty pro odvození LLM, které vyhovují různým scénářům nasazení a potřebám výkonu.

Nasazení s NVIDIA NIM

• NeMo Framework se hladce integruje s nástroji pro nasazení modelů na podnikové úrovni prostřednictvím NVIDIA NIM. Tato integrace je poháněna NVIDIA TensorRT-LLM, což zajišťuje optimalizované a škálovatelné odvození.
• Pro více informací o NIM navštivte NVIDIA webmísto.

Nasazení s TensorRT-LLM nebo vLLM

• NeMo Framework nabízí skripty a rozhraní API pro export modelů do dvou knihoven optimalizovaných pro odvození, TensorRT-LLM a vLLM, a pro nasazení exportovaného modelu pomocí serveru NVIDIA Triton Inference Server.
• Pro scénáře vyžadující optimalizovaný výkon mohou modely NeMo využít TensorRT-LLM, specializovanou knihovnu pro urychlení a optimalizaci LLM odvození na GPU NVIDIA. Tento proces zahrnuje konverzi modelů NeMo do formátu kompatibilního s TensorRT-LLM pomocí modulu nemo.export.
  • Ukončení nasazení LLMview
  • Nasaďte velké jazykové modely NeMo pomocí NIM
  • Nasaďte velké jazykové modely NeMo pomocí TensorRT-LLM
  • Nasaďte velké jazykové modely NeMo pomocí vLLM

Podporované modely

Velké jazykové modely

Velké jazykové modely

Velké jazykové modely	Předškolení a SFT	PEFT	Zarovnání	Konvergence školení 8. RP	TRT/TRTLLM	Převést do a z objímání tváře	Hodnocení
Lama3 8B/70B, Lama3.1 405B	Ano	Ano	x	Ano (částečně ověřeno)	Ano	Obě	Ano
Mixtral 8x7B/8x22B	Ano	Ano	x	Ano (neověřeno)	Ano	Obě	Ano
Nemotron 3 8B	Ano	x	x	Ano (neověřeno)	x	Obě	Ano
Nemotron 4 340B	Ano	x	x	Ano (neověřeno)	x	Obě	Ano
Baichuan2 7B	Ano	Ano	x	Ano (neověřeno)	x	Obě	Ano
ChatGLM3 6B	Ano	Ano	x	Ano (neověřeno)	x	Obě	Ano
Gemma 2B/7B	Ano	Ano	x	Ano (neověřeno)	Ano	Obě	Ano
Gemma2 2B/9B/27B	Ano	Ano	x	Ano (neověřeno)	x	Obě	Ano
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	Ano	Ano	x	Ano (neověřeno)	x	x	Ano
Phi3 mini 4k	x	Ano	x	Ano (neověřeno)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	Ano	Ano	x	Ano (neověřeno)	Ano	Obě	Ano
StarCoder 15B	Ano	Ano	x	Ano (neověřeno)	Ano	Obě	Ano
StarCoder2 3B/7B/15B	Ano	Ano	x	Ano (neověřeno)	Ano	Obě	Ano
BERT 110M/340M	Ano	Ano	x	Ano (neověřeno)	x	Obě	x
T5 220M/3B/11B	Ano	Ano	x	x	x	x	x

 

Jazykové modely vidění

 

Vkládání modelů

 

Modely světové nadace

Poznámka
NeMo také podporuje předtrénování pro difúzní i autoregresivní architektury text2world modely základů.

Řeč AI

Vývoj konverzačních modelů umělé inteligence je složitý proces, který zahrnuje definování, konstrukci a školení modelů v konkrétních doménách. Tento proces obvykle vyžaduje několik iterací k dosažení vysoké úrovně přesnosti. Často zahrnuje více iterací k dosažení vysoké přesnosti, doladění různých úkolů a dat specifických pro doménu, zajištění výkonu školení a přípravu modelů pro nasazení odvození.

NeMo Framework poskytuje podporu pro školení a přizpůsobení modelů Speech AI. To zahrnuje úkoly, jako je automatické rozpoznávání řeči (ASR) a syntéza převodu textu na řeč (TTS). Nabízí hladký přechod na produkční nasazení na podnikové úrovni s NVIDIA Riva. Pro pomoc vývojářům a výzkumníkům obsahuje NeMo Framework nejmodernější předem vycvičené kontrolní body, nástroje pro reprodukovatelné zpracování dat řeči a funkce pro interaktivní zkoumání a analýzu datových sad řeči. Komponenty NeMo Framework for Speech AI jsou následující:

Školení a přizpůsobení
NeMo Framework obsahuje vše potřebné k trénování a přizpůsobení řečových modelů (ASR, Klasifikace řeči, Rozpoznávání mluvčího, Diarizace reproduktorua TTS) reprodukovatelným způsobem.

Předtrénované modely SOTA

• NeMo Framework poskytuje nejmodernější recepty a předem vyškolené kontrolní body několika ASR a TTS modely a také návod, jak je načíst.
• Nástroje pro řeč
• NeMo Framework poskytuje sadu nástrojů užitečných pro vývoj modelů ASR a TTS, včetně:
  • NeMo Forced Aligner (NFA) pro generování timest na úrovni tokenu, slova a segmentuampřeči ve zvuku pomocí modelů automatického rozpoznávání řeči založených na CTC společnosti NeMo.
  • Řečový datový procesor (SDP), sada nástrojů pro zjednodušení zpracování řečových dat. Umožňuje vám reprezentovat operace zpracování dat v konfiguraci file, minimalizuje standardní kód a umožňuje reprodukovatelnost a sdílení.
  • Průzkumník dat řeči (SDE), založený na Dash web aplikace pro interaktivní zkoumání a analýzu datových sad řeči.
  • Nástroj pro vytváření datové sady který poskytuje funkce pro zarovnání dlouhého zvuku files odpovídajícími přepisy a rozdělit je na kratší fragmenty, které jsou vhodné pro trénování modelu automatického rozpoznávání řeči (ASR).
  • Nástroj pro srovnání pro modely ASR k porovnání předpovědí různých modelů ASR na úrovni přesnosti slov a výpovědi.
  • Hodnotitel ASR pro vyhodnocení výkonu modelů ASR a dalších funkcí, jako je detekce hlasové aktivity.
  • Nástroj pro normalizaci textu pro převod textu z psané formy do mluvené formy a naopak (např. „31.“ vs. „Třicátý první“).
• Cesta k nasazení
• Modely NeMo, které byly vyškoleny nebo přizpůsobeny pomocí NeMo Framework, lze optimalizovat a nasadit s NVIDIA Riva. Riva poskytuje kontejnery a grafy Helm speciálně navržené pro automatizaci kroků pro nasazení tlačítka.

Další zdroje

GitHub Repos

• NeMo: Hlavní úložiště pro NeMo Framework
• NeMo–Běh: Nástroj pro konfiguraci, spouštění a správu vašich experimentů strojového učení.
• NeMo-Aligner: Škálovatelná sada nástrojů pro efektivní zarovnání modelu
• NeMo-kurátor: Škálovatelná sada nástrojů pro předběžné zpracování a správu dat pro LLM

Získání pomoci
Zapojte se do komunity NeMo, ptejte se, získejte podporu nebo nahlaste chyby.

• NeMo diskuse
• Problémy NeMo

Programovací jazyky a rámce

• Krajta: Hlavní rozhraní pro použití NeMo Framework
• Pytorch: NeMo Framework je postaven na PyTorch

licence

• Repo NeMo Github je licencováno pod licencí Apache 2.0
• NeMo Framework je licencován podle DOHODY O PRODUKTU NVIDIA AI. Vytažením a použitím kontejneru souhlasíte s podmínkami této licence.
• Kontejner NeMo Framework obsahuje materiály Llama, které se řídí licenční smlouvou komunity Meta Llama3.

Poznámky pod čarou
V současné době probíhá podpora NeMo Curator a NeMo Aligner pro multimodální modely a bude k dispozici velmi brzy.

FAQ

Otázka: Jak mohu zkontrolovat, zda je můj systém touto chybou zabezpečení ovlivněn?
Odpověď: Můžete zkontrolovat, zda je váš systém ovlivněn ověřením verze nainstalovaného rozhraní NVIDIA NeMo Framework. Pokud je nižší než verze 24, váš systém může být zranitelný.

Otázka: Kdo nahlásil problém se zabezpečením CVE-2025-23360?
Odpověď: Bezpečnostní problém nahlásil Or Peles – JFrog Security. NVIDIA uznává jejich přínos.

Otázka: Jak mohu v budoucnu dostávat upozornění na bulletin zabezpečení?
Odpověď: Navštivte stránku NVIDIA Product Security a přihlaste se k odběru upozornění na bulletin zabezpečení a zůstaňte informováni o aktualizacích zabezpečení produktu.

Dokumenty / zdroje

NVIDIA NeMo Framework [pdfUživatelská příručka NeMo Framework, NeMo, Framework

Reference

• Uživatelská příručka