Logo společnosti Texas Instruments

Texas Instruments AM6x vyvíjí více kamer

Vyvolávací systém pro více kamer Texas Instruments AM6x

Specifikace

  • Název produktu: Řada zařízení AM6x
  • Podporovaný typ kamery: AM62A (s vestavěným ISP nebo bez něj), AM62P (s vestavěným ISP)
  • Výstupní data kamery: AM62A (Raw/YUV/RGB), AM62P (YUV/RGB)
  • ISP HWA: AM62A (Ano), AM62P (Ne)
  • HWA pro hluboké učení: AM62A (Ano), AM62P (Ne)
  • 3D grafika HWA: AM62A (Ne), AM62P (Ano)

Úvod do aplikací s více kamerami na AM6x:

  • Vestavěné kamery hrají klíčovou roli v moderních systémech vidění.
  • Použití více kamer v systému rozšiřuje možnosti a umožňuje úkoly, které nelze s jednou kamerou realizovat.

Aplikace využívající více kamer:

  • Bezpečnostní dohled: Zlepšuje pokrytí dohledem, sledování objektů a přesnost rozpoznávání.
  • Surround View: Umožňuje stereo vidění pro úkoly, jako je detekce překážek a manipulace s objekty.
  • Systém záznamníku v kabině a kamery v zrcátku: Poskytuje prodloužené pokrytí a eliminuje slepá místa.
  • Lékařské zobrazování: Nabízí zvýšenou přesnost při chirurgické navigaci a endoskopii.
  • Drony a letecké snímkování: Pořizujte snímky ve vysokém rozlišení z různých úhlů pro různé aplikace.

Připojení více kamer CSI-2 k SoC:
Chcete-li k SoC připojit více kamer CSI-2, postupujte podle pokynů uvedených v uživatelské příručce. Zajistěte správné zarovnání a připojení každé kamery k určeným portům na SoC.

Poznámka k aplikaci
Vývoj aplikací pro více kamer na AM6x

Jianzhong Xu, Qutaiba Saleh

ABSTRAKTNÍ
Tato zpráva popisuje vývoj aplikací s využitím více kamer CSI-2 na zařízeních řady AM6x. Je prezentován referenční návrh detekce objektů s hlubokým učením na 4 kamerách na SoC AM62A spolu s analýzou výkonu. Obecné principy návrhu platí i pro další SoC s rozhraním CSI-2, jako jsou AM62x a AM62P.

Zavedení

Vestavěné kamery hrají důležitou roli v moderních systémech vidění. Použití více kamer v systému rozšiřuje možnosti těchto systémů a umožňuje funkce, které nejsou možné s jednou kamerou. Níže uvádíme několik příkladů...ampméně aplikací používajících více vestavěných kamer:

  • Bezpečnostní dohled: Více strategicky umístěných kamer zajišťuje komplexní dohled. Umožňují panoramatický výhled. views, omezit slepá místa a zvýšit přesnost sledování a rozpoznávání objektů, čímž se zlepší celková bezpečnostní opatření.
  • Surround ViewVíce kamer se používá k vytvoření stereofonního vidění, které umožňuje trojrozměrné informace a odhad hloubky. To je klíčové pro úkoly, jako je detekce překážek v autonomních vozidlech, přesná manipulace s objekty v robotice a vyšší realismus zážitků z rozšířené reality.
  • Systém záznamníku v kabině a kamerového zrcátka: Zaznamník v kabině s více kamerami může poskytnout větší pokrytí s použitím jediného procesoru. Podobně systém kamerového zrcátka se dvěma nebo více kamerami může rozšířit záběr řidiče. view a eliminovat slepá místa ze všech stran vozu.
  • Lékařské zobrazování: V lékařském zobrazování lze pro úkoly, jako je chirurgická navigace, použít více kamer, které chirurgům poskytují více perspektiv pro vyšší přesnost. V endoskopii umožňuje více kamer důkladné vyšetření vnitřních orgánů.
  • Drony a letecké snímkování: Drony jsou často vybaveny několika kamerami pro zachycení snímků nebo videí ve vysokém rozlišení z různých úhlů. To je užitečné v aplikacích, jako je letecké snímkování, monitorování zemědělství a zeměměřictví.
  • S pokrokem mikroprocesorů lze do jednoho systému na čipu integrovat více kamer.
    (SoC) pro poskytování kompaktních a efektivních řešení. SoC AM62Ax s vysoce výkonným zpracováním videa/obrazu a akcelerací hlubokého učení je ideálním zařízením pro výše uvedené případy použití. Další zařízení AM6x, AM62P, je navrženo pro vysoce výkonné vestavěné 3D zobrazovací aplikace. Díky 3D grafické akceleraci dokáže AM62P snadno spojovat snímky z více kamer a vytvářet panoramatické snímky s vysokým rozlišením. viewInovativní vlastnosti SoC AM62A/AM62P byly prezentovány v různých publikacích, například [4], [5], [6] atd. Tato aplikační poznámka nebude tyto popisy funkcí opakovat, ale místo toho se zaměří na integraci více kamer CSI-2 do aplikací vestavěného vidění na AM62A/AM62P.
  • Tabulka 1-1 ukazuje hlavní rozdíly mezi AM62A a AM62P, pokud jde o zpracování obrazu.

Tabulka 1-1. Rozdíly mezi AM62A a AM62P ve zpracování obrazu

SoC AM62A AM62P
Podporovaný typ kamery S vestavěným poskytovatelem internetových služeb nebo bez něj S vestavěným poskytovatelem internetových služeb
Výstupní data kamery RAW/YUV/RGB YUV/RGB
HWA pro poskytovatele internetových služeb Ano Žádný
Hluboké učení HWA Ano Žádný
3D grafika HWA Žádný Ano

Připojení více kamer CSI-2 k SoC
Subsystém kamery na čipu AM6x SoC obsahuje následující komponenty, jak je znázorněno na obrázku 2-1:

  • Přijímač MIPI D-PHY: přijímá video streamy z externích kamer s podporou až 1.5 Gb/s na datový kanál pro 4 kanály.
  • Přijímač CSI-2 (RX): přijímá video streamy z přijímače D-PHY a buď je přímo odesílá poskytovateli internetových služeb, nebo ukládá data do paměti DDR. Tento modul podporuje až 16 virtuálních kanálů.
  • SHIM: DMA wrapper, který umožňuje odesílání zachycených streamů do paměti přes DMA. Tento wrapper může vytvořit více kontextů DMA, přičemž každý kontext odpovídá virtuálnímu kanálu přijímače CSI-2.

Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (2)

Na čipu AM6x lze podporovat více kamer pomocí virtuálních kanálů CSI-2 RX, a to i přesto, že na SoC je pouze jedno rozhraní CSI-2 RX. Pro kombinování streamů z více kamer a jejich odeslání do jednoho SoC je zapotřebí externí agregační komponenta CSI-2. Lze použít dva typy agregačních řešení CSI-2, které jsou popsány v následujících částech.

Agregátor CSI-2 s využitím SerDes
Jedním ze způsobů, jak kombinovat více streamů z kamer, je použití řešení serializace a deserializace (SerDes). Data CSI-2 z každé kamery jsou převedena serializátorem a přenesena kabelem. Deserializátor přijímá všechna serializovaná data přenášená z kabelů (jeden kabel na kameru), převádí streamy zpět na data CSI-2 a poté odesílá prokládaný stream CSI-2 do jediného rozhraní CSI-2 RX na SoC. Každý stream z kamery je identifikován jedinečným virtuálním kanálem. Toto agregační řešení nabízí další výhodu v tom, že umožňuje připojení na velké vzdálenosti až 15 m od kamer k SoC.

Serializátory a deserializátory FPD-Link nebo V3-Link (SerDes), podporované v Linux SDK AM6x, jsou nejoblíbenějšími technologiemi pro tento typ agregačního řešení CSI-2. Deserializátory FPD-Link i V3-Link mají zpětné kanály, které lze použít k odesílání signálů synchronizace snímků pro synchronizaci všech kamer, jak je vysvětleno v [7].
Obrázek 2-2 ukazuje příkladamppříklad použití SerDes pro připojení více kamer k jednomu SoC AM6x.

Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (3)

BývalýampSoučástí tohoto agregačního řešení je sada Arducam V3Link Camera Solution Kit. Tato sada obsahuje deserializační hub, který agreguje 4 kamerové streamy CSI-2, a také 4 páry serializátorů V3link a kamer IMX219, včetně koaxiálních kabelů FAKRA a 22pinových FPC kabelů. Referenční návrh popsaný dále je postaven na této sadě.

Agregátor CSI-2 bez použití SerDes
Tento typ agregátoru se může přímo propojit s více kamerami MIPI CSI-2 a agregovat data ze všech kamer do jednoho výstupního streamu CSI-2.

Obrázek 2-3 ukazuje příkladample takového systému. Tento typ agregačního řešení nepoužívá žádný serializátor/deserializátor, ale je omezen maximální vzdáleností přenosu dat CSI-2, která je až 30 cm. Linux SDK AM6x Linux tento typ agregátoru CSI-2 nepodporuje.

Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (4)

Povolení více kamer v softwaru

Architektura softwaru subsystému kamery
Obrázek 3-1 znázorňuje blokové schéma softwaru systému pro snímání z kamery v Linux SDK AM62A/AM62P, odpovídající hardwarovému systému na obrázku 2-2.

Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (5)

  • Tato softwarová architektura umožňuje SoC přijímat více streamů kamer pomocí SerDes, jak je znázorněno na obrázku 2-2. SerDes FPD-Link/V3-Link přiřazuje každé kameře jedinečnou adresu I2C a virtuální kanál. Pro každou kameru by měla být vytvořena jedinečná stromová struktura zařízení s jedinečnou adresou I2C. Ovladač CSI-2 RX rozpozná každou kameru pomocí jedinečného čísla virtuálního kanálu a vytvoří kontext DMA pro každý stream kamery. Pro každý kontext DMA je vytvořen video uzel. Data z každé kamery jsou poté přijímána a ukládána pomocí DMA do paměti. Uživatelské aplikace používají video uzly odpovídající každé kameře pro přístup k datům kamery. Např.ampPoužití této softwarové architektury je uvedeno v kapitole 4 – Referenční návrh.
  • V této architektuře lze nainstalovat jakýkoli specifický ovladač senzoru, který je kompatibilní s frameworkem V4L2. Informace o integraci nového ovladače senzoru do Linux SDK naleznete v [8].

Architektura softwaru pro zpracování obrázků

  • Linuxová sada SDK AM6x poskytuje framework GStreamer (GST), který lze v oblasti ser použít k integraci komponent pro zpracování obrazu pro různé aplikace. Hardwarové akcelerátory (HWA) na SoC, jako je akcelerátor předběžného zpracování obrazu (VPAC) nebo ISP, video kodér/dekodér a výpočetní engine pro hluboké učení, jsou přístupné prostřednictvím GST. pluginsSamotný VPAC (ISP) má několik bloků, včetně podsystému Vision Imaging Sub-System (VISS), korekce zkreslení čočky (LDC) a multiskalárního systému (MSC), přičemž každý z nich odpovídá pluginu GST.
  • Obrázek 3-2 znázorňuje blokové schéma typického přenosu obrazu z kamery do kódovacího nebo hloubkového
    vzdělávací aplikace na AM62A. Další podrobnosti o end-to-end toku dat naleznete v dokumentaci k EdgeAI SDK.

Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (6)

U AM62P je zpracování obrazu jednodušší, protože na AM62P není žádný ISP.

Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (7)

Díky vytvoření video uzlu pro každou z kamer umožňuje obrazový kanál založený na GStreameru současné zpracování vstupů z více kamer (připojených přes stejné rozhraní CSI-2 RX). Referenční návrh využívající GStreamer pro aplikace s více kamerami je uveden v následující kapitole.

Referenční design

Tato kapitola představuje referenční návrh spouštění aplikací s více kamerami na AVM AM62A s využitím sady Arducam V3Link Camera Solution Kit pro připojení 4 kamer CSI-2 k AM62A a spuštění detekce objektů pro všechny 4 kamery.

Podporované kamery
Sada Arducam V3Link funguje jak s kamerami založenými na FPD-Link/V3-Link, tak s kamerami CSI-2 kompatibilními s Raspberry Pi. Byly testovány následující kamery:

  • D3 Inženýrství D3RCM-IMX390-953
  • Leopard Imaging LI-OV2312-FPDLINKIII-110H
  • Kamery IMX219 v sadě Arducam V3Link Camera Solution Kit

Nastavení čtyř kamer IMX219
Postupujte podle pokynů v rychlé úvodní příručce k sadě AM62A Starter Kit EVM a nastavte zařízení SK-AM62A-LP EVM (AM62A SK) a řešení ArduCam V3Link Camera Solution pro připojení kamer k AM62A SK prostřednictvím sady V3Link. Ujistěte se, že piny na flexibilních kabelech, kamerách, desce V3Link a AM62A SK jsou správně zarovnány.

Obrázek 4-1 znázorňuje nastavení použité pro referenční návrh v této zprávě. Hlavní komponenty nastavení zahrnují:

  • 1x deska EVM SK-AM62A-LP
  • 1x adaptérová deska Arducam V3Link d-ch
  • FPC kabel propojující Arducam V3Link s SK-AM62A
  • 4x adaptéry (serializátory) pro kamery V3Link
  • 4x RF koaxiální kabely pro připojení serializátorů V3Link k D-ch sadě V3Link
  • 4x kamery IMX219
  • 4x 2pinové kabely CSI-22 pro připojení kamer k sériovým čítačům
  • Kabely: HDMI kabel, USB-C pro napájení SK-AM62A-LP a 12V napájení pro sadu V3Link D-CH)
  • Další komponenty, které nejsou zobrazeny na obrázku 4-1: karta micro-SD, kabel micro-USB pro přístup k SK-AM62A-LP a ethernet pro streamování

Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (8)

Konfigurace kamer a rozhraní CSI-2 RX
Nastavte software podle pokynů uvedených v průvodci rychlým spuštěním Arducam V3Link. Po spuštění skriptu pro nastavení kamery setup-imx219.sh bude správně nakonfigurován formát kamery, formát rozhraní CSI-2 RX a trasy z každé kamery do odpovídajícího video uzlu. Pro čtyři kamery IMX219 jsou vytvořeny čtyři video uzly. Příkaz „v4l2-ctl –list-devices“ zobrazí všechna video zařízení V4L2, jak je znázorněno níže:

Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (9)

Pod tiscsi6rx je 1 video uzlů a 2 mediální uzel. Každý video uzel odpovídá kontextu DMA přidělenému ovladačem CSI2 RX. Z 6 video uzlů jsou 4 použity pro 4 kamery IMX219, jak je znázorněno v topologii mediálního potrubí níže:

Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (10)

Jak je uvedeno výše, mediální entita 30102000.ticsi2rx má 6 zdrojových plošek, ale používají se pouze první 4, každá pro jeden IMX219. Topologii mediálního potrubí lze také znázornit graficky. Spuštěním následujícího příkazu vygenerujete tečku. file:

Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (11)

Poté spusťte níže uvedený příkaz na hostitelském počítači se systémem Linux a vygenerujte soubor PNG. file:Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (12)

Obrázek 4-2 je obrázek vygenerovaný pomocí výše uvedených příkazů. Komponenty softwarové architektury znázorněné na obrázku 3-1 lze nalézt v tomto grafu.

Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (13)

Streamování ze čtyř kamer
Pokud je hardware i software správně nastaven, lze z uživatelského prostoru spouštět aplikace pro více kamer. U modelu AM62A musí být ISP vyladěn tak, aby poskytoval dobrou kvalitu obrazu. Postup ladění ISP naleznete v Průvodci laděním ISP pro AM6xA. Následující části uvádějí například...ampstreamování dat z kamery na displej, streamování dat z kamery do sítě a ukládání dat z kamery do files.

Streamování dat z kamery na displej
Základní aplikací tohoto vícekamerového systému je streamování videa ze všech kamer na displej připojený ke stejnému SoC. Následuje příklad pipeline GStreameru.ampstreamování čtyř IMX219 na displej (čísla video uzlů a čísla v4l-subdev v kanálu se pravděpodobně od restartu k restartu změní).

Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (14) Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (15)

Streamování dat z kamery přes Ethernet
Místo streamování na displej připojený ke stejnému SoC lze data z kamery streamovat také přes Ethernet. Přijímací stranou může být buď jiný procesor AM62A/AM62P, nebo hostitelský počítač. Následuje příkladampstreamování dat z kamery přes Ethernet (pro zjednodušení s použitím dvou kamer) (všimněte si pluginu kodéru použitého v kanálu):

Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (16)

Následuje exampzpůsob příjmu dat z kamery a jejich streamování na displej na jiném procesoru AM62A/AM62P:

Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (17)

Ukládání dat z kamery do Files
Místo streamování na displej nebo přes síť lze data z kamery ukládat lokálně files. Níže uvedený kanál ukládá data z každé kamery do file (použití dvou kamer jako examppro zjednodušení).

Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (18)Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (19)

Inference hlubokého učení s více kamerami

AM62A je vybaven akcelerátorem hlubokého učení (C7x-MMA) s až dvěma TOPS, které jsou schopny spouštět různé typy modelů hlubokého učení pro klasifikaci, detekci objektů, sémantickou segmentaci a další. Tato část ukazuje, jak může AM62A současně spouštět čtyři modely hlubokého učení na čtyřech různých kamerových kanálech.

Výběr modelu
EdgeAI-ModelZoo od TI nabízí stovky nejmodernějších modelů, které jsou převedeny/exportovány z původních trénovacích frameworků do formátu vhodného pro vestavěné systémy, aby je bylo možné nahrát do akcelerátoru hlubokého učení C7x-MMA. Cloudový analyzátor modelů Edge AI Studio poskytuje snadno použitelný nástroj pro „výběr modelu“. Je dynamicky aktualizován tak, aby zahrnoval všechny modely podporované v TI EdgeAI-ModelZoo. Nástroj nevyžaduje žádné předchozí zkušenosti a poskytuje snadno použitelné rozhraní pro zadávání funkcí požadovaných v požadovaném modelu.

Pro tento experiment s hlubokým učením s více kamerami byl vybrán model TFL-OD-2000-ssd-mobV1-coco-mlperf. Tento model detekce více objektů je vyvinut v prostředí TensorFlow se vstupním rozlišením 300×300. Tabulka 4-1 ukazuje důležité vlastnosti tohoto modelu trénovaného na datové sadě cCOCO s přibližně 80 různými třídami.

Tabulka 4-1. Hlavní vlastnosti modelu TFL-OD-2000-ssd-mobV1-coco-mlperf.

Model Úkol Rezoluce FPS mapa 50%

Přesnost na COCO

Latence/Rámec (ms) DDR BW

Využití (MB/rámec)

TFL-OD-2000-ssd-

mobV1-coco-mlperf

Detekce více objektů 300×300 ~152 15.9 6.5 18.839

Nastavení potrubí
Obrázek 4-3 ukazuje 4kamerový kanál hlubokého učení GStreamer. TI poskytuje sadu GStreamer plugins které umožňují přesunout část zpracování médií a inference hlubokého učení na hardwarové akcelerátory. Některé např.ampméně těchto plugins zahrnují tiovxisp, tiovxmultiscaler, tiovxmosaic a tidlinferer. Procesor na obrázku 4-3 zahrnuje všechny požadované plugins pro vícecestný kanál GStreamer pro vstupy ze 4 kamer, každý s předzpracováním médií, inferencí hlubokého učení a následným zpracováním. Duplikovaný plugins pro každou z drah kamery jsou v grafu pro snazší demonstraci seřazeny podle vrstev.
Dostupné hardwarové prostředky jsou rovnoměrně rozděleny mezi čtyři cesty kamer. Například AM62A obsahuje dva multiskalery obrazu: MSC0 a MSC1. Kanálová struktura explicitně vyhrazuje MSC0 pro zpracování cest kamery 1 a kamery 2, zatímco MSC1 je vyhrazen pro kameru 3 a kameru 4.

Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (21)

Výstup ze čtyř kamerových kanálů je zmenšen a zřetězen dohromady pomocí pluginu tiovxmosaic. Výstup je zobrazen na jedné obrazovce. Obrázek 4-4 ukazuje výstup ze čtyř kamer s modelem hlubokého učení, který běží na detekci objektů. Každý kanál (kamera) běží na 30 FPS a celkem 120 FPS.

Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (22)

Dále je uveden kompletní skript pro případ použití vícekamerového hlubokého učení, který je znázorněn na obrázku 4-3.

Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (23) Texas-Instruments-AM6x-Vyvolávací-pro-více-kamer-obr- (24)

Analýza výkonu

Sestava se čtyřmi kamerami s využitím desky V3Link a adaptéru AM62A SK byla testována v různých aplikačních scénářích, včetně přímého zobrazení na obrazovce, streamování přes Ethernet (čtyři UDP kanály) a nahrávání na 4 samostatné... files a s inferencí hlubokého učení. V každém experimentu jsme sledovali snímkovou frekvenci a využití jader CPU, abychom prozkoumali možnosti celého systému.

Jak je dříve ukázáno na obrázku 4-4, systém hlubokého učení používá plugin tiperfoverlay pro GStreamer k zobrazení zatížení jader CPU jako sloupcového grafu v dolní části obrazovky. Ve výchozím nastavení se graf aktualizuje každé dvě sekundy a zobrazuje zatížení jako procento využití.tage. Kromě pluginu tiperfoverlay pro GStreamer je nástroj perf_stats druhou možností pro zobrazení výkonu jádra přímo v terminálu s možností uložení do souboru. fileTento nástroj je přesnější ve srovnání s nástrojem tTiperfoverlay, protože ten přidává dodatečnou zátěž na jádra ARMm a DDR pro vykreslení grafu a jeho překrytí na obrazovce. Nástroj perf_stats se používá hlavně ke sběru výsledků využití hardwaru ve všech testovacích případech uvedených v tomto dokumentu. Mezi důležitá výpočetní jádra a akcelerátory studované v těchto testech patří hlavní procesory (čtyři jádra A53 Arm @ 1.25 GHz), akcelerátor hlubokého učení (C7x-MMA @ 850 MHz), VPAC (ISP) s VISS a multiskalery (MSC0 a MSC1) a operace DDR.

Tabulka 5-1 ukazuje výkon a využití zdrojů při použití kamery AM62A se čtyřmi kamerami pro tři případy použití, včetně streamování čtyř kamer na displej, streamování přes Ethernet a nahrávání na čtyři samostatné kamery. fileV každém případě užití jsou implementovány dva testy: pouze s kamerou a s inferencí hlubokého učení. První řádek v tabulce 5-1 navíc ukazuje využití hardwaru, když na serveru AM62A běžel pouze operační systém bez jakýchkoli uživatelských aplikací. Toto se používá jako základní hodnota pro porovnání při hodnocení využití hardwaru v ostatních testovacích případech. Jak je uvedeno v tabulce, čtyři kamery s hlubokým učením a zobrazením na obrazovce pracovaly s frekvencí 30 FPS každá, celkem 120 FPS pro všechny čtyři kamery. Této vysoké snímkové frekvence je dosaženo pouze s 86 % plné kapacity akcelerátoru hlubokého učení (C7x-MMA). Dále je důležité poznamenat, že akcelerátor hlubokého učení byl v těchto experimentech taktován na 850 MHz místo 1000 MHz, což je pouze asi 85 % jeho maximálního výkonu.

Tabulka 5-1. Výkon (FPS) a využití zdrojů adaptéru AM62A při použití se 4 kamerami IMX219 pro zobrazení na obrazovce, ethernetový stream a nahrávání do Filea provádění inference hlubokého učení

Aplikace n Potrubí (provoz)

)

Výstup FPS průměrné množství v potrubí FPS

celkový

MPU A53s @ 1.25

GHz [%]

MCU R5 [%] DLA (C7x-MMA) @ 850

MHz [%]

VISS [%] MSC0 [%] MSC1 [%] DDR

Rd [MB/s]

DDR

Wr [MB/s]

DDR

Celkem [MB/s]

Žádná aplikace Základní stav Bez operace NA NA NA 1.87 1 0 0 0 0 560 19 579
Fotoaparát pouze Proud na obrazovku Obrazovka 30 120 12 12 0 70 61 60 1015 757 1782
Streamování přes Ethernet UDP: 4 XNUMX XNUMX XNUMX XNUMX

porty 1920×1080

30 120 23 6 0 70 0 0 2071 1390 3461
Záznam na files 4 file1920×1080 30 120 25 3 0 70 0 0 2100 1403 3503
Vačka s hlubokým učením Hluboké učení: Detekce objektů MobV1- coco Obrazovka 30 120 38 25 86 71 85 82 2926 1676 4602
Hluboké učení: Detekce objektů MobV1-coco a streamování přes Ethernet UDP: 4 XNUMX XNUMX XNUMX XNUMX

porty 1920×1080

28 112 84 20 99 66 65 72 4157 2563 6720
Hluboké učení: Detekce objektů MobV1 - coco a záznam do files 4 file1920×1080 28 112 87 22 98 75 82 61 2024 2458 6482

Shrnutí
Tato zpráva o aplikaci popisuje, jak implementovat aplikace s více kamerami na zařízeních řady AM6x. Ve zprávě je uveden referenční návrh založený na sadě řešení kamer V3Link od společnosti Arducam a AM62A SK EVM s několika kamerovými aplikacemi využívajícími čtyři kamery IMX219, jako je streamování a detekce objektů. Uživatelům se doporučuje pořídit si sadu řešení kamer V3Link od společnosti Arducam a replikovat tyto příklady.ampZpráva také poskytuje podrobnou analýzu výkonu kamery AM62A při použití čtyř kamer v různých konfiguracích, včetně zobrazení na obrazovce, streamování přes Ethernet a nahrávání na... files. Také ukazuje schopnost AM62A provádět hluboké učení inference na čtyřech samostatných streamech kamer paralelně. Pokud máte jakékoli dotazy ohledně spuštění těchto příkladů...amples, odešlete dotaz na fóru TI E2E.

Reference

  1. Úvodní sada AM62A EVM – Stručný průvodce spuštěním
  2. Stručný návod k použití pro kamerové řešení ArduCam V3Link
  3. Dokumentace Edge AI SDK pro AM62A
  4. Chytré kamery Edge AI využívající energeticky úsporný procesor AM62A
  5. Systémy kamerových zrcadel na AM62A
  6. Systémy monitorování řidiče a obsazenosti na voze AM62A
  7. Aplikace čtyřkanálové kamery pro prostorový obraz View a kamerové systémy CMS
  8. AM62Ax Linux Academy o povolení senzoru CIS-2
  9. Edge AI ModelZoo
  10. Edge AI Studio
  11. Nástroj Perf_stats

Díly TI uvedené v této aplikační poznámce:

DŮLEŽITÉ UPOZORNĚNÍ A ODMÍTNUTÍ ODPOVĚDNOSTI

TI POSKYTUJE TECHNICKÁ A SPOLEHLIVOSTNÍ ÚDAJE (VČETNĚ DATOVÝCH LISTŮ), PROJEKTOVÉ PROSTŘEDKY (VČETNĚ REFERENČNÍCH NÁVRHŮ), APLIKACE NEBO JINÉ NÁVRHOVÉ RADY, WEB NÁSTROJE, BEZPEČNOSTNÍ INFORMACE A DALŠÍ ZDROJE „TAK, JAK JSOU“ A SE VŠEMI CHYBAMI, A ODMÍTÁ VŠECHNY ZÁRUKY, VÝSLOVNÉ I PŘEDPOKLÁDANÉ, VČETNĚ, BEZ OMEZENÍ, JAKÝCHKOLI PŘEDPOKLÁDANÝCH ZÁRUK OBCHODOVATELNOSTI, VHODNOSTI PARTNERSTVÍ THIERDULING VLASTNICKÁ PRÁVA .

Tyto zdroje jsou určeny pro zkušené vývojáře, kteří navrhují s produkty TI. Jste výhradně odpovědní za

  1. výběr vhodných produktů TI pro vaši aplikaci,
  2. navrhování, ověřování a testování vaší aplikace a
  3. zajištění toho, aby vaše aplikace splňovala platné normy a veškeré další bezpečnostní, zabezpečovací, regulační nebo jiné požadavky.

Tyto zdroje se mohou změnit bez předchozího upozornění. Společnost TI vám povoluje používat tyto zdroje pouze pro vývoj aplikace, která využívá produkty TI popsané v tomto zdroji. Jiná reprodukce a zobrazování těchto zdrojů je zakázáno. Není udělena žádná licence k žádným jiným právům duševního vlastnictví společnosti TI ani k žádným právům duševního vlastnictví třetích stran. Společnost TI se zříká odpovědnosti za jakékoli nároky, škody, náklady, ztráty a závazky vyplývající z vašeho používání těchto zdrojů a vy TI a její zástupce plně odškodníte.

Produkty TI jsou poskytovány v souladu s Prodejními podmínkami TI nebo jinými platnými podmínkami dostupnými buď na ti.com nebo poskytované ve spojení s takovými produkty TI. Poskytování těchto zdrojů společností TI nerozšiřuje ani jinak nemění příslušné záruky společnosti TI nebo odmítnutí záruky na produkty TI.

Společnost TI namítá a odmítá jakékoli dodatečné nebo odlišné podmínky, které jste navrhli.

DŮLEŽITÉ UPOZORNĚNÍ

  • Poštovní adresa: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265
  • Copyright © 2024, Texas Instruments Incorporated

Často kladené otázky

Otázka: Mohu s řadou zařízení AM6x použít jakýkoli typ kamery?

Řada AM6x podporuje různé typy kamer, včetně kamer s vestavěným ISP i bez něj. Další podrobnosti o podporovaných typech kamer naleznete ve specifikacích.

Jaké jsou hlavní rozdíly mezi AM62A a AM62P ve zpracování obrazu?

Mezi klíčové rozdíly patří podporované typy kamer, výstupní data kamer, přítomnost ISP HWA, Deep Learning HWA a 3-D Graphics HWA. Podrobné srovnání naleznete v části se specifikacemi.

 

Dokumenty / zdroje

Vývojka Texas Instruments AM6x s více kamerami [pdfUživatelská příručka
AM62A, AM62P, AM6x Vyvolání více kamer, AM6x, Vyvolání více kamer, Více kamer, Kamera

Reference

Zanechte komentář

Vaše emailová adresa nebude zveřejněna. Povinná pole jsou označena *