Domov › Tarify › Co je strojové vidění. Problematika strojového vidění a oblasti jeho použití. Průmyslové systémy strojového vidění

Co je strojové vidění. Problematika strojového vidění a oblasti jeho použití. Průmyslové systémy strojového vidění

Přehled trhu technologií počítačového vidění

Moderní svět počítačových systémů je těžké si představit bez technologií strojového nebo počítačového vidění. V článku "Proč počítač potřebuje vidění?" (ComputerPress č. 5’2002) byla zhodnocena historie vzniku této technologie a byl podán přehled řady jejích aplikací. Článek samozřejmě popisuje pouze malou část aplikací z široké škály používaných systémů počítačového vidění a v dalších číslech se vrátíme k posouzení této velmi zajímavé a rychle se rozvíjející oblasti znalostí. Ano, rychle se rozvíjí. Koneckonců, tato technologie je stará jen asi 50 let, což podle měřítek mnoha exaktních věd nepřesahuje své počátky. Počítačové vidění se zvyšováním svého vědeckého a praktického potenciálu souběžně se zdokonalováním výpočetní a záznamové techniky postupně dobývá nové technologické hranice. Vysoce výkonné počítače nejnovější generace (včetně moderních osobních počítačů) již umožňují řešit mnoho problémů zpracování toků digitální videoinformace a rozhodování v reálném čase. A dnes, kdy si to většina z nás nevšimne, je počítačové vidění docela pevně zavedené v mnoha oblastech lidského života, pomáhá mu a někdy ho nahrazuje, zbavuje ho monotónní, rutinní nebo často život ohrožující práce.

Není žádným tajemstvím, že počítačové vidění jako technologie prošlo nejširším, nejúplnějším a nejkomplexnějším rozvojem na Západě, zejména v USA, Jižní Koreji a Japonsku. Je to dáno především silnou finanční podporou této oblasti ze strany vlády a investorů, kteří jí předpovídají velkou budoucnost.

Je třeba poznamenat, že vše výše uvedené vede k rychlému růstu a zdokonalování technologií počítačového vidění. V současné době zahraniční výzkumná a komerční centra přitahují velké množství vědců a vysoce kvalifikovaných programátorů, provádějí paralelní výzkum v různých oblastech počítačového vidění a dosahují poměrně významných výsledků.

Rusko jako plnohodnotný člen světového ekonomického společenství nezůstalo stranou tohoto procesu. Ruský technologický trh již několik let také zaznamenává trend rostoucího zájmu o problémy počítačového vidění, a to jak ze strany šéfů řady IT společností a společností působících na bezpečnostním trhu, tak ze strany spotřebitelů (uživatelů) a studentů, kteří chtějí specializovat se na tyto oblasti. Reakcí na tento zájem byl vznik laboratoří, skupin a komerčních struktur, které si daly za úkol vyvíjet různé druhy technologií a aplikací pro řešení problémů počítačového vidění.

A pokud jsme před deseti lety byli v roli dohánění, dnes se mnoho společností – lídrů v oblasti pokročilých technologií snaží vstoupit na ruský trh, aby získaly relevantní technologie počítačového vidění nebo zadávaly zakázky na pokročilý výzkum a vývoj v této oblasti. plocha.

Tomuto tématu je věnován tento článek, jehož účelem je nejen demonstrovat zájem o toto téma ze strany ruských i zahraničních výrobců komodit, ale také pohovořit o řadě ruských firem, které vyvíjejí software pro různé zpracování obrazu a analytické systémy.

Kdo je kdo na ruském trhu počítačového vidění

Studie ruského trhu pro vývojáře technologií počítačového vidění ukazuje, že počet společností zabývajících se počítačovým viděním je relativně malý. Podívejme se na nejpozoruhodnější z těchto společností a uveďme stručný popis některých zajímavých technologií počítačového vidění, které dodávají na tuzemský i světový trh.

Mezi nejznámější fotogrammetrické systémy na světě patří takové hardwarové a softwarové systémy jako Leica a Intergraph, dodávané s výkonnými pracovními stanicemi.

Jsou to velmi drahé systémy a málokterá firma si je může dovolit.

S rozvojem výpočetní techniky jsou stále populárnější levnější systémy, které umožňují zpracování obrazu na osobních počítačích.

Ruské digitální fotogrammetrické systémy "Talka" (http://www.talka-tdv.ru/), Photomod (společnost "Rakurs" (http://www.racurs.ru/)), Z-Space (GosNIIAS), TsFS TsNIIGAiK (Roskartografiya) nebo „Photoplan“ (29. ústav ministerstva obrany), který není horší a někdy lepší než zahraniční analogy v kvalitě zpracování digitálního videosignálu, a přitom je desetkrát levnější než podobný zahraniční vývoj. Zvážení vlastností a možností takových systémů je předmětem samostatného článku.

Strojové vidění. Co to je a jak to používat? Zpracování obrazu optického zdroje

Strojové vidění je vědecký směr v oblasti umělé inteligence, zejména robotiky, a souvisejících technologií pro získávání obrazů objektů reálného světa, jejich zpracování a využití získaných dat k řešení různých druhů aplikovaných problémů bez (úplné nebo částečné) lidské účasti.

Historické průlomy ve strojovém vidění

Komponenty systému vidění

Jedna nebo více digitálních nebo analogových kamer (černobílých nebo barevných) s vhodnou optikou pro zachycení snímků

Software pro vytváření obrázků ke zpracování. U analogových kamer se jedná o digitizér obrazu

Procesor (moderní počítač s vícejádrovým procesorem nebo vestavěným procesorem, například - DSP)

Software pro počítačové vidění, který poskytuje nástroje pro vývoj jednotlivých softwarových aplikací.

Vstupní/výstupní zařízení nebo komunikační kanály pro hlášení nálezů

Chytrý fotoaparát: jedno zařízení, které zahrnuje všechny výše uvedené body.

Velmi specializované světelné zdroje (LED, zářivky a halogenové žárovky atd.)

Specifické softwarové aplikace pro zpracování obrazu a detekci příslušných vlastností.

Senzor pro synchronizaci detekčních částí (často optický nebo magnetický senzor) pro snímání a zpracování obrazu.

Pohony určitého tvaru sloužící k třídění nebo vyřazování vadných dílů.

Strojové vidění se zaměřuje především na průmyslové aplikace, jako jsou autonomní roboty a systémy vizuální kontroly a měření. To znamená, že technologie obrazových snímačů a teorie řízení jsou spojeny se zpracováním video dat pro řízení robota a zpracování výsledných dat v reálném čase se provádí v softwaru nebo hardwaru.

Zpracování obrazu a analýza obrazu se zaměřují především na práci s 2D obrazy, tzn. jak převést jeden obrázek na druhý. Například operace pixel po pixelu pro zvýšení kontrastu, operace pro zvýraznění hran, odstranění šumu nebo geometrické transformace, jako je rotace obrazu. Tyto operace předpokládají, že zpracování/analýza obrazu funguje nezávisle na obsahu samotných obrazů.

Počítačové vidění se zaměřuje na zpracování trojrozměrných scén promítaných na jeden nebo více obrazů. Například obnovením struktury nebo jiných informací o 3D scéně z jednoho nebo více snímků. Počítačové vidění často závisí na více či méně komplexních předpokladech o tom, co je na obrázcích znázorněno.

Existuje také obor zvaný vizualizace, který byl původně spojen s procesem vytváření obrázků, ale někdy se zabýval zpracováním a analýzou. Například radiografie pracuje s analýzou videodat pro lékařské aplikace.

A konečně, rozpoznávání vzorů je obor, který používá různé metody k extrakci informací z video dat, především na základě statistického přístupu. Velká část tohoto oboru je věnována praktické aplikaci těchto metod.

Můžeme tedy dojít k závěru, že pojem „počítačové vidění“ dnes zahrnuje: počítačové vidění, rozpoznávání vizuálních vzorů, analýzu a zpracování obrazu atd.

Úlohy počítačového vidění

Uznání

Identifikace

Detekce

Rozpoznávání textu

Obnovení 3D tvaru z 2D obrázků

Odhad pohybu

Obnova scény

Obnova obrazu

Identifikace struktur určitého typu v obrazech, segmentace obrazu

Analýza optického toku

Uznání

Klasickým problémem počítačového vidění, zpracování obrazu a strojového vidění je určení, zda video data obsahují nějaký charakteristický objekt, vlastnost nebo aktivitu.

Tento problém lze spolehlivě a snadno vyřešit lidmi, ale dosud nebyl uspokojivě vyřešen v počítačovém vidění v obecném případě: náhodné objekty v náhodných situacích.

Lze rozpoznat jeden nebo více předdefinovaných nebo naučených objektů nebo tříd objektů (obvykle spolu s jejich dvourozměrnou pozicí v obraze nebo trojrozměrnou pozicí ve scéně).

Identifikace

Je rozpoznána individuální instance objektu patřícího do třídy.
Příklady: identifikace konkrétního lidského obličeje nebo otisku prstu nebo vozidla.

Detekce

Video data jsou kontrolována na určitý stav.

Detekce založená na relativně jednoduchých a rychlých výpočtech se někdy používá k nalezení malých oblastí v analyzovaném snímku, které jsou pak analyzovány pomocí technik náročnějších na zdroje, aby se získala správná interpretace.

Rozpoznávání textu

Vyhledávání obrázků podle obsahu: Hledání všech obrázků ve velké sadě obrázků, které mají obsah definovaný různými způsoby.

Odhad polohy: Určení polohy nebo orientace určitého objektu vzhledem ke kameře.

Optické rozpoznávání znaků: Rozpoznávání znaků na obrázcích tištěného nebo ručně psaného textu (obvykle pro překlad do textového formátu, který je nejvhodnější pro úpravy nebo indexování. Například ASCII).

Obnova 3D tvaru z 2D snímků se provádí pomocí stereo rekonstrukce hloubkové mapy, rekonstrukce normálního pole a hloubkové mapy ze stínování polotónového snímku, rekonstrukce hloubkové mapy z textury a určení tvaru z posunutí.

Příklad obnovení 3D tvaru z 2D obrazu

Odhad pohybu

Několik úloh odhadu pohybu, ve kterých je zpracována sekvence obrázků (videodata) za účelem nalezení odhadu rychlosti každého bodu v obrázku nebo 3D scéně. Příklady takových úkolů jsou: určování trojrozměrného pohybu kamery, sledování, to znamená sledování pohybu objektu (například auta nebo lidí)

Obnova scény

Jsou uvedeny dva nebo více obrázků scény nebo video dat. Rekonstrukce scény má za úkol znovu vytvořit trojrozměrný model scény. V nejjednodušším případě může být modelem množina bodů v trojrozměrném prostoru. Sofistikovanější metody reprodukují úplný 3D model.

Obnova obrazu

Úkolem restaurování obrazu je odstranit šum (šum snímače, rozmazání pohybujícího se objektu atd.).

Nejjednodušším přístupem k řešení tohoto problému je použití různých typů filtrů, jako jsou dolní nebo střední propusti.

Vyšší úrovně odstranění šumu se dosahuje nejprve analýzou obrazových dat pro různé struktury, jako jsou linie nebo hrany, a poté řízením procesu filtrování na základě těchto dat.

Obnova obrazu

Analýza optického toku (zjištění pohybu pixelů mezi dvěma snímky).
Několik úloh odhadu pohybu, ve kterých je zpracována sekvence obrázků (videodata) za účelem nalezení odhadu rychlosti každého bodu v obrázku nebo 3D scéně.

Příklady takových úloh jsou: určování trojrozměrného pohybu kamery, sledování, tzn. sledování pohybu předmětu (například aut nebo lidí).

Metody zpracování obrazu

Počítadlo pixelů

Počítá počet světlých nebo tmavých pixelů.
Pomocí počítadla pixelů může uživatel vybrat obdélníkovou oblast na obrazovce v místě zájmu, například tam, kde očekává, že uvidí tváře lidí procházejících kolem. Kamera okamžitě odpoví informací o počtu pixelů reprezentovaných stranami obdélníku.

Počítadlo pixelů vám umožňuje rychle zkontrolovat, zda namontovaná kamera splňuje zákonné nebo zákaznické požadavky na rozlišení pixelů, například pro obličeje lidí vstupujících do dveří monitorovaných kamerou nebo pro účely rozpoznání SPZ.

Binarizace

Převede obrázek ve stupních šedi na binární (bílé a černé pixely).
Hodnoty každého pixelu jsou konvenčně kódovány jako „0“ a „1“. Hodnota „0“ se běžně nazývá pozadí nebo pozadí a „1“ je popředí.

Často se při ukládání digitálních binárních obrázků používá bitmapa, kde je jeden bit informace použit k reprezentaci jednoho pixelu.

Také, zvláště v raných fázích technologie, dvě možné barvy byly černá a bílá, což není povinné.

Segmentace

Používá se k vyhledávání a/nebo počítání dílů.

Účelem segmentace je zjednodušit a/nebo změnit reprezentaci obrázku tak, aby byl jednodušší a snadněji analyzovatelný.

Segmentace obrazu se běžně používá ke zvýraznění objektů a hranic (čáry, křivky atd.) v obrazech. Přesněji řečeno, segmentace obrazu je proces přiřazování štítků ke každému pixelu v obrázku tak, aby pixely se stejnými štítky sdílely společné vizuální charakteristiky.

Výsledkem segmentace obrazu je sada segmentů, které dohromady pokrývají celý obraz, nebo sada kontur extrahovaných z obrazu. Všechny pixely v segmentu jsou podobné v nějaké charakteristické nebo vypočítané vlastnosti, jako je barva, jas nebo textura. Sousední segmenty se v této charakteristice výrazně liší.

Čtení čárových kódů

Čárový kód je grafická informace aplikovaná na povrch, označení nebo obal výrobků, díky čemuž je čitelný technickými prostředky - sled černobílých pruhů nebo jiných geometrických tvarů.
Ve strojovém vidění se čárové kódy používají k dekódování 1D a 2D kódů určených ke čtení nebo skenování stroji.

Optické rozpoznávání znaků

Optické rozpoznávání znaků: Automatické čtení textu, jako jsou sériová čísla.

OCR se používá k převodu knih a dokumentů do elektronické podoby, k automatizaci podnikových účetních systémů nebo k publikování textu na webové stránce.

OCR umožňuje upravovat text, vyhledávat slova nebo fráze, ukládat je v kompaktnější podobě, zobrazovat nebo tisknout materiál bez ztráty kvality, analyzovat informace a aplikovat elektronický překlad, formátování nebo převod řeči na text.

Můj program napsaný v LabView pro práci s obrázky

Počítačové vidění bylo použito pro nedestruktivní kontrolu kvality supravodivých materiálů.

Zavedení.Řešení problémů zajištění komplexní bezpečnosti (jak protiteroristické a mechanické bezpečnosti objektů, tak technologické bezpečnosti ženijních systémů) v současnosti vyžaduje systematickou organizaci kontroly aktuálního stavu objektů. Jedním z nejperspektivnějších způsobů sledování aktuálního stavu objektů jsou optické a optoelektronické metody založené na technologiích zpracování videoobrazu optického zdroje. Patří sem: programy pro práci s obrázky; nejnovější metody zpracování obrazu; zařízení pro získávání, analýzu a zpracování snímků, tzn. soubor nástrojů a metod souvisejících s oblastí počítačového a strojového vidění. Počítačové vidění je obecný soubor technik, které umožňují počítačům vidět a rozpoznávat trojrozměrné nebo dvourozměrné objekty, ať už technické nebo netechnické. Práce s počítačovým viděním vyžaduje digitální nebo analogová vstupně/výstupní zařízení, stejně jako počítačové sítě a analyzátory polohy IP určené k řízení výrobního procesu a přípravě informací pro přijímání provozních rozhodnutí v co nejkratším čase.

Prohlášení o problému. Hlavním úkolem navržených systémů počítačového vidění dnes zůstává detekce, rozpoznání, identifikace a kvalifikace potenciálních rizikových objektů umístěných na náhodném místě v prostoru provozní odpovědnosti komplexu. V současnosti existující softwarové produkty zaměřené na řešení uvedených problémů mají řadu významných nevýhod, a to: značnou složitost spojenou s vysokými detaily optických obrazů; vysoká spotřeba energie a poměrně úzký rozsah schopností. Rozšíření úkolů detekce objektů potenciálního rizika do oblasti vyhledávání náhodných objektů v náhodných situacích umístěných na náhodném místě není u stávajících softwarových produktů možné ani s využitím superpočítače.

Cíl. Vývoj univerzálního programu pro zpracování obrazu optického zdroje se schopností streamovat analýzu dat, to znamená, že program musí být lehký a rychlý, aby jej bylo možné zapsat na malém počítačovém zařízení.

úkoly:

vývoj matematického modelu programu;

psaní programu;

testování programu v laboratorním experimentu s plnou přípravou a provedením experimentu;

výzkum možností využití programu v souvisejících oblastech činnosti.

Relevantnost programu je určena:

vysoké náklady na profesionální programy pro zpracování vizuálních informací.

Analýza relevance vývoje programu.

nedostatek programů pro zpracování obrazu na softwarovém trhu, které poskytují podrobnou analýzu konstrukčních součástí objektů;

neustále rostoucí požadavky na kvalitu a rychlost získávání obrazových informací, prudce zvyšující poptávku po programech pro zpracování obrazu;

stávající potřeba vysoce výkonných programů, které jsou spolehlivé a uživatelsky přívětivé;

Jsou potřeba vysoce výkonné programy a jednoduchá správa, což je v naší době extrémně obtížné dosáhnout. Vzal jsem si například Adobe Photoshop. Tento grafický editor má harmonickou kombinaci funkčnosti a snadného použití pro běžného uživatele, ale v tomto programu není možné pracovat s komplexními nástroji pro zpracování obrazu (například analýza obrazu vytvořením matematického vztahu (funkce) nebo integrované zpracování obrazu );

vysoké náklady na profesionální programy pro zpracování vizuálních informací. Pokud je software kvalitní, pak je cena za něj extrémně vysoká, a to i na úrovni jednotlivých funkcí konkrétní sady programů. Níže uvedený graf ukazuje poměr cena/kvalita mezi jednoduchými analogy programu.

Pro zjednodušení řešení úloh tohoto typu jsem vyvinul matematický model a napsal program pro počítačové zařízení pro analýzu obrazu pomocí jednoduchých transformací zdrojových obrázků.

Program pracuje s transformacemi, jako je binarizace, jas, kontrast obrazu atd. Princip činnosti programu je demonstrován na příkladu analýzy supravodivých materiálů.

Při vytváření kompozitních supravodičů na bázi Nb3Sn se mění objemový poměr bronzu a niobu, velikost a počet vláken v něm, rovnoměrnost jejich rozložení po průřezu bronzové matrice, přítomnost difúzních bariér a stabilizačních materiálů. Pro daný objemový podíl niobu ve vodiči vede zvýšení počtu vláken ke zmenšení jejich průměru. To vede ke znatelnému nárůstu interakční plochy Nb/Cu-Sn, což výrazně urychluje proces růstu supravodivé fáze. Takové zvýšení množství supravodivé fáze se zvýšením počtu vláken ve vodiči zajišťuje zvýšení kritických charakteristik supravodiče. V tomto ohledu je nutné mít nástroj pro řízení objemového podílu supravodivé fáze ve finálním produktu (kompozitním supravodiči).

Při tvorbě programu byl zohledněn význam provádění výzkumu materiálů, ze kterých jsou supravodivé kabely vyrobeny, protože při nesprávném poměru niobu k bronzu je možný výbuch drátů a v důsledku toho i lidské oběti, peněžní náklady a ztráta času. Tento program umožňuje určit kvalitu vodičů na základě chemické a fyzikální analýzy objektu.

Blokové schéma programu

Popis etap výzkumu.

Fáze 1. Příprava vzorku: řezání kompozitního supravodiče na elektrickém výbojovém stroji; vtlačení vzorku do plastové matrice; leštění vzorku do zrcadlového lesku; leptání vzorku pro zvýraznění niobových vláken na bronzové matrici. Byly získány vzorky lisovaných kompozitních supravodivých vzorků;

Fáze 2. Zobrazování: získávání metalografických snímků pomocí rastrovacího elektronového mikroskopu.

Fáze 3. Zpracování obrazu: vytvoření nástroje pro stanovení objemového podílu supravodivé fáze v metalografickém obrazu; soubor statisticky významných údajů o konkrétním typu vzorku. Byly vytvořeny matematické modely různých nástrojů pro zpracování obrazu; byl vytvořen vývoj softwaru pro odhad objemového podílu supravodivé fáze; program byl zjednodušen spojením několika matematických funkcí do jedné; průměrná hodnota objemového podílu niobových vláken v bronzové matrici byla 24,7±0,1 %. Nízké procento odchylky ukazuje na vysokou opakovatelnost struktury kompozitního drátu.

Snímky kompozitních supravodičů z elektronové mikroskopie

Metody zpracování obrazu v programu.

Identifikace- je rozpoznána individuální instance objektu patřícího do třídy.

Binarizace– proces převodu barevného (nebo šedého) obrázku na dvoubarevný černobílý.

Segmentace je proces dělení digitálního obrazu na více segmentů (mnoho pixelů, nazývaných také superpixely).

Eroze– komplexní proces, při kterém strukturální prvek prochází všemi pixely obrazu. Pokud se v určité poloze každý jednotlivý pixel strukturního prvku shoduje s jediným pixelem binárního obrazu, pak se provede logické sčítání centrálního pixelu strukturního prvku s odpovídajícím pixelem výstupního obrazu.

Dilatace- konvoluce obrazu nebo vybrané oblasti obrazu s určitým jádrem. Jádro může mít jakýkoli tvar a velikost. V tomto případě je v jádře přidělena jedna vedoucí pozice, která je při výpočtu konvoluce kombinována s aktuálním pixelem.

Programové vzorce

Binarizační vzorec (metoda Otsu):

Vzorec eroze:

Dilatační vzorec:

Vzorec dilatace a eroze

Vzorce pro segmentaci prahových barev:

Určení modulu gradientu jasu pro každý pixel obrázku:

Výpočet prahu:

Použité vybavení

Rozhraní programu

Přehled trhu technologií počítačového vidění

Tomuto tématu je věnován tento článek, jehož účelem je nejen demonstrovat zájem o toto téma ze strany ruských i zahraničních výrobců komodit, ale také pohovořit o řadě ruských firem, které vyvíjejí software pro různé zpracování obrazu a analytické systémy.

Kdo je kdo na ruském trhu počítačového vidění

Studie ruského trhu pro vývojáře technologií počítačového vidění ukazuje, že počet společností zabývajících se počítačovým viděním je relativně malý. Podívejme se na nejpozoruhodnější z těchto společností a uveďme stručný popis některých zajímavých technologií počítačového vidění, které dodávají na tuzemský i světový trh.

Mezi nejznámější fotogrammetrické systémy na světě patří takové hardwarové a softwarové systémy jako Leica a Intergraph, dodávané s výkonnými pracovními stanicemi.

Jsou to velmi drahé systémy a málokterá firma si je může dovolit.

S rozvojem výpočetní techniky jsou stále populárnější levnější systémy, které umožňují zpracování obrazu na osobních počítačích.

Počítačové vidění ve svém jádru zahrnuje analýzu vizuálních informací, aby se dále rozhodlo, jakou akci podniknout ve vztahu k objektu, který je v centru pozornosti. Nejjednodušší příklad použití technologie: kontrola stavu produktu na dopravním pásu nebo před odesláním balíku poštou. Je také běžné, že se strojové vidění používá k hodnocení kvality desek plošných spojů, přičemž každý nový produkt se okamžitě porovnává s referenční deskou, než se automaticky přesune do další fáze montáže. Tyto technologie poskytují neocenitelný zdroj pro hodnocení kvality a snižování chybovosti tam, kde lidské oko a mozek jednoduše nejsou schopny provést objektivní posouzení kvůli nutnosti prohlížet stejné položky stovky nebo tisícekrát denně.

Počítačová potřeba „strojového vidění“

Se zvyšujícím se rozlišením optických systémů se zvyšuje i potenciál strojového vidění, protože spolu s rozlišením roste i počet detailů k vyhodnocení. Menší a menší objekty lze zpracovávat vzorově, což vede ke zvýšení zátěže procesoru, který musí analyzovat velké množství dat a rychle se rozhodnout o dalším kroku (shoda/neúspěch, zpoždění, návrat na začátek, atd.). Například při třídění zeleniny již nejsou vhodná jednoduchá rozhodnutí o vhodnosti a velikosti, protože normy se v jednotlivých zemích liší a kvalita produktů se liší podle ročního období. Pro minimalizaci množství vad pro výrobce a zároveň zajištění požadované kvality pro spotřebitele jsou potřeba podrobnější algoritmy a kategorie - a to je pro lidské oko a mozek téměř nemožný úkol.

Řekněme, že existuje dánská společnost Qtechnology, která dodává „chytré kamery“ pro třídění zeleniny. Jsou schopny zpracovat až 25 tun produktů za hodinu bez lidského zásahu. Těchto objemů se dosahuje analýzou více než 250 000 jednotlivých produktů na základě více než 500 000 obrázků. A protože každý obrázek zabírá přibližně 6,2 MB, ukazuje se, že nakonec vyžaduje analýzu přes 2,5 terabajtů grafických dat za hodinu – obrovské množství informací! Jen přenos takového pole bude vyžadovat více než 6 hodin pomocí gigabitového ethernetového připojení.

Chcete-li tento problém vyřešit pomocí jednodušších algoritmů, musíte jej rozdělit na etapy a nainstalovat více kamer, zvětšit plochy osvětlení, přidělit více prostoru v továrnách atd. Alternativně lze použít produktivnější výpočetní systémy: s centralizovaným napájením a rychlejším připojením nebo distribuovaným zpracováním informací pomocí „chytrých kamer“, které budou zaznamenávat data v reálném čase v každé fázi a dodávají pouze hotové parametry pro konečné rozhodnutí- mechanismus výroby.

Ve standardních systémech vizuální kontroly jsou kvalita a bezpečnost potravin nejčastěji určovány vnějšími fyzikálními atributy, jako je textura a barva. Hyperspektrální zobrazování dává potravinářskému průmyslu možnost hodnotit potraviny pomocí dodatečných chemických a biologických parametrů k určení hladiny cukru, tuku, tekutin a bakterií v každém produktu.
Při hyperspektrálním zobrazování se z každého pixelu získávají trojrozměrné sady prostorových a spektrálních informací. Další spektrální charakteristiky poskytují podrobnější popis parametrů, což umožňuje jejich klasifikaci. Soubory 3D dat zahrnují intenzitu (odraženého nebo procházejícího světla) každého pixelu, která se vypočítá změřením délky všech vln viditelného světla, což má za následek, že každý soubor dat obsahuje velké množství informací. Toto množství informací představuje exponenciální nárůst výpočetní úlohy provádění kvalitativní a kvantitativní analýzy stavu produktu v reálném čase.

Aplikace heterogenních výpočtů

Ke splnění požadavků i budoucích výzev jsou zapotřebí vysoce výkonné a škálovatelné výpočetní systémy.

Zmíněná Qtechnology využívá hybridní procesory APU od AMD v platformách chytrých fotoaparátů. Tyto procesory kombinují GPU (grafická procesorová jednotka) a CPU (centrální procesorová jednotka) na jediném čipu. Výsledkem je, že systém má schopnost posílat pole grafických dat přímo do GPU ke zpracování bez jakéhokoli zpoždění přenosu mezi komponenty. A CPU je schopno bez prodlevy zpracovávat další úkoly, čímž zvyšuje výkon celého systému v reálném čase a poskytuje potřebný výkon pro dnešní požadavky systémů počítačového vidění.
Kombinace různých výpočetních modulů na jednom čipu nebo v jednom systému umožňuje každému prvku přiřadit odpovídající zátěž – a to je základem heterogenního počítání. Konsorcium Heterogeneous System Architecture (HSA) Foundation bylo založeno v roce 2012 s cílem formulovat otevřené průmyslové specifikace pro procesory a systémy, které využívají všechny dostupné výpočetní prvky ke zlepšení efektivity koncového použití. AMD prosazuje koncept heterogenního počítání, jehož podstatou je sdílení všech výpočetních zdrojů systému: jak centrálních, tak grafických procesorů.

Konkrétně GPU je paralelní výpočetní engine, který může snadno aplikovat stejné instrukce na velké sady dat (v našem případě pixely) současně; a to je přesně to, co společnosti potřebují k provozování instalací strojového vidění. Výkon systému lze navíc zvýšit kombinací schopností APU s externí diskrétní grafickou kartou. Tento přístup umožňuje společnostem přidávat výpočetní zdroje GPU podle potřeby pro podporu ještě složitějších úloh v oblasti vidění.

Rozsáhlá podpora ekosystému pro architekturu x86 umožňuje společnostem používat knihovny pro zpracování obrazu s otevřeným zdrojovým kódem nebo připojit řešení třetích stran, jako jsou OpenCV, Mathworks Matlab a Halcon. Nástroje pro ladění, analyzátory latence a profilery (perf, ftrace) jsou dnes také široce dostupné. Strojové vidění představuje nejnovější příklad využití výpočetního výkonu polovodičů ke snížení nákladů, urychlení výroby, zlepšení kvality a poskytnutí řady dalších užitečných výhod v mnoha aplikacích a odvětvích. Díky inovacím a úspěšným nápadům inženýrů embedded řešení tedy obecně dochází k pozitivnímu efektu pro ekonomiku, kulturu a každého z nás zvlášť.

Zdálo by se, že všechny počítače jsou stejné a mohou vyřešit jakýkoli problém. Ale není to tak úplně pravda. Již v minulém století se v počítačovém průmyslu začal aktivně rozvíjet směr průmyslových počítačů, které se od svých „kancelářských“ protějšků lišily kompaktnějším a odolnějším mechanickým designem, širokými možnostmi rozšíření (karty pro vstup/výstup signálu) a dlouhou životností. systémů a komponent, které je tvoří. Postupem času došlo k hlubší specializaci, byly identifikovány řady průmyslových počítačů pro konkrétní aplikační oblasti - pro efektivní řešení problémů se strojovým viděním se tak objevily počítače s dalšími funkcemi, které výrazně usnadnily úkoly vývojových inženýrů a zvýšily provozní vlastnosti systému (obr. 1).

Rýže. 1. Klasifikace počítačů

Zde je jen částečný seznam požadavků na práci v aplikacích strojového vidění a videosledování, které musí zařízení splňovat:

vysoce výkonná rozhraní pro připojení GigE/PoE a USB3 kamer, které splňují mezinárodní standardy, rozšiřující slot pro instalaci CameraLink nebo CoaXpress frame grabberu;
široký výběr procesorů s dostatečným výkonem s grafickými koprocesory a vysoce výkonnými čipsety schopnými zpracovávat velké datové toky;
digitální, snadno programovatelné linky pro připojení senzorů a synchronizaci kamer a osvětlení;
instalace několika jednotek, včetně rychle vyměnitelných, organizace polí RAID pro vysokorychlostní záznam video streamů a ukládání velkého množství dat;
průmyslová rozhraní pro připojení externích zařízení: RS-232/485, CAN;
Robustní, kompaktní mechanická konstrukce s minimem pohyblivých součástí pro zajištění spolehlivého provozu a dlouhé životnosti v obtížných provozních podmínkách.

Je zřejmé, že ve většině průmyslových, a ještě více v kancelářských počítačích, je mnoho z těchto funkcí nadbytečných, ale v systémech strojového vidění jsou rozhodující.

Jedním z představitelů tohoto trendu v počítačovém průmyslu byla společnost Neousys Technologies (Tchaj-wan), jejíž produkty byly od samého počátku navrženy pro práci s počítačovým viděním a kamerovým dohledem. Abychom se blíže seznámili s vlastnostmi výpočetních platforem pro různé aplikace, definujeme hlavní oblasti použití moderních digitálních videokamer. Můžeme tedy rozlišit několik skupin aplikací:

průmyslové systémy strojového vidění;
rozpoznávací systémy;
inteligentní systémy řízení dopravy (ITS);
mobilní systémy v dopravě.

Nyní se podívejme na požadavky na výpočetní systém v jednotlivých případech.

Průmyslové systémy strojového vidění

Průmyslové systémy strojového vidění jsou možná nejrozmanitější třídou systémů, pokud jde o počet a typ úloh. Je však možné zdůraznit důležité funkce:

možnost připojení více kamer;
vysoká rychlost záznamu, až několik set snímků za sekundu;
bohaté funkce pro ovládání nastavení fotoaparátu a podsvícení;
široké možnosti synchronizace se senzory;
značné objemy úložných zařízení pro archivaci dat.

Protože je kamera ve většině případů umístěna vedle počítače, bylo by pro její připojení dobrou volbou rozhraní USB3. Poskytne jak napájení kamery, tak i schopnost pořizovat snímky vysokou rychlostí a rozlišením (FullHD – více než 150 fps).

Rýže. 2. Počítač z řady ROS-200

Úlohy na základní úrovni hravě zvládnou počítače založené na moderním čtyřjádrovém procesoru Atom E3845, vybaveném mimo jiné poměrně výkonným grafickým koprocesorem a hardwarovým kodekem. V řadě Neousys se jedná o nejprodávanější řadu POC-200 (obr. 2). Vývojář má dvě rozhraní GigE/PoE a tři vysokorychlostní USB3. Kompaktní pouzdro pojme (a v případě potřeby snadno vymění) SATA HDD/SDD disk standardního 2,5” formátu. Pro připojení externích zařízení je kromě dvou standardních RS-232 k dispozici dvojice univerzálních portů RS-232/485. A konečně několik rychlých, snadno programovatelných digitálních linek pro připojení ovládacích tlačítek, senzorů a vydávání signálů, například do sloupu odmítnutí nebo signálu. To vše je zabaleno v kompaktním čtvrtlistovém pouzdru formátu A4, které vydrží zatížení až 5 Grms/500 Hz s rozsahem provozních teplot -25 °C (na vyžádání od -45 °C).

Rýže. 3. Počítač Nuvo 5000

Charakteristickým rysem všech počítačů Neousys je přítomnost pevného chladiče jako nedílné součásti skříně, což bylo důsledkem bezventilátorové konstrukce stroje. Procesor je doslova nalepen na výkonném chladiči. Tento přístup, i když s sebou nese mírné zvýšení hmotnosti a rozměrů výrobku, je výsledkem seriózní inženýrské práce na dosažení odolnosti a mechanické pevnosti díky absenci rotujících součástí, které se stávají jednou z nejpravděpodobnějších příčin selhání zařízení. . Nutno podotknout, že vývojářům počítačů Neousys se kromě čistě inženýrských úkolů podařilo vytvořit produkt s atraktivním průmyslovým designem.

Rýže. 4. Počítače řady Nuvo-6000

Společnost Neousys Technologies se naučila obejít se bez ventilátorů nejen v systémech s low-endovými procesory Intel Atom a Celeron, ale také s počítači vyššího patra – i5/i7 šesté generace Skylake. Dnes vlajková loď společnosti Nuvo řady počítačů 5000, oceněná v roce 2016 cenou Vision Systems Innovators Awards, je schopna řešit nejsložitější problémy počítačového vidění. Počítač Nuvo-5000 (obr. 3) vybavený výkonnými procesory si zachovává a rozvíjí vynikající schopnosti nižších řad. Ve zvětšeném, ale přesto kompaktním pouzdře již můžete umístit dva 2,5” disky a uspořádat je do pole RAID 0/1, přičemž jeden z disků vybavíte konektorem vyměnitelným za provozu. Počet portů pro připojení kamer lze snadno zvýšit na 10. Patentovaná technologie MezIO nabízí flexibilní mechanismus pro rozšíření možností vstupu/výstupu řídicích signálů, indikací a průmyslových komunikačních rozhraní.

Rýže. 5. Rozšiřující pozice pro instalaci dvou nebo šesti rozšiřujících slotů (řada Nuvo-6000)

V některých případech musí počítače kromě samotného strojového vidění řešit problémy klasické průmyslové automatizace. Klíčovým bodem je zde přítomnost rozšiřujících slotů PCI/PCIe. Pro takové aplikace jsou nejlepší volbou počítače řady Nuvo-6000 (obr. 4). Zatímco zůstává spolehlivým kompaktním počítačem bez ventilátoru, je stroj doplněn o šachtu se dvěma nebo šesti rozšiřujícími sloty (obr. 5). Přihrádka obsahuje ventilátor a řídicí systém pro vytvoření pohodlných provozních podmínek pro vestavěné I/O karty.

Rozpoznávací systémy

Rýže. 6. Počítač Nuvo-5095

Aby bylo možné reagovat na výzvy dneška, vznikají stále sofistikovanější bezpečnostní systémy, ve kterých se klíčovým prvkem stávají rozpoznávací algoritmy. Kromě bezpečnostních systémů mají tyto technologie uplatnění v komerčních projektech, jako je studium spotřebitelské demografie v maloobchodě, třídění odpadu a další aplikace. Moderní kamery pro strojové vidění poskytují stále vyšší rozlišení a lepší kvalitu obrazu. FullHD rozlišení (2 MP) je běžné v masovém segmentu, 4K (12 MP) se zkouší v nejsložitějších úlohách. Nutno podotknout, že objem zpracovávaných dat roste exponenciálně. Pro nejnáročnější aplikace je nabízena verze počítače Nuvo-5095 uzpůsobená pro instalaci grafických akcelerátorů nVidia (obr. 6). Zde se ale neobejdete bez ventilátoru pro nVidia GeForce GTX 950 nebo GTX 1050 nainstalovaného v rozšiřující kazetě počítače. Centrální procesor si přitom stále vystačí s pasivním zářičem. Společně systém s unikátním grafickým koprocesorem CUDA zůstal provozuschopný v rozsahu okolních teplot od –25 do +60 °C (procesory i7-6700TE, i5-6500TE, 35W TDP).

Inteligentní systémy řízení dopravy ITS

Inteligentní systémy řízení dopravy, zejména ty instalované na frekventované křižovatce, jsou snad nejnáročnější na počet připojených kamer. Je nutné přijímat a zpracovávat snímky přenášené z více pohledů na jednom místě. Úkol pro instalátory zjednodušuje průmyslový počítač s větším než obvyklým počtem portů pro připojení kamer. Tyto systémy obvykle používají kamery s rozhraním Ethernet/PoE. Řada Neousys zahrnuje model Nuvo-3616 splňující tyto požadavky, který je vybaven 16 (!) IEEE 802.3at PoE+ porty, čtyřmi disky s možností rychlé výměny a organizace polí RAID 0/1/5/10 s kapacitou až 8 TB.

Mobilní systémy v dopravě

Rýže. 7. Počítače určené pro práci ve vozidlech: Nuvo-5100VTC a Nuvo-2500 (na pozadí)

Moderní vozidla, zejména pro komerční účely, ať už se jedná o nákladní automobil, traktor, kombajn nebo lokomotivu, jsou dnes masivně vybavena počítačovými systémy navrženými pro zvýšení bezpečnosti a efektivity jejich provozu. Kromě již popsaných funkcí musí počítačové platformy určené pro použití v dopravě splňovat ještě přísnější požadavky a mít další rozhraní. Speciálně pro takové aplikace byla vytvořena verze počítače Neousys 5100VTC (obr. 7). Úspěšně prošel mezinárodní certifikací pro železniční aplikace EN 50155. Kromě standardních funkcí počítačů řady Nuvo-5000 je vybaven rozhraním pro sledování zapalovacího obvodu a CAN, což zjednodušuje jeho instalaci do moderního vozidla. Speciální verze ethernetových konektorů M12 zlepšuje spolehlivost připojení kamerových kabelů při otřesech. Další sloty miniPCI jsou navrženy pro instalaci modulů systému geografické polohy GPS/GLONASS a mobilní komunikace 3G/4G s praktickým externím slotem pro SIM kartu.

Pro automobilové systémy se skromnějšími požadavky na výpočetní možnosti platformy se perfektně hodí kompaktní verze počítače s ovládáním zapalování a rozhraním CAN - Nuvo-2500 na bázi poměrně výkonného čtyřjádrového procesoru Atom 3845.

Závěrem lze říci, že výběr správné platformy obsahující všechny potřebné komponenty pro aplikaci strojového vidění do značné míry určuje její výkon a spolehlivost algoritmů zpracování obrazu. A pokud jsou kancelářské počítače pro tvorbu matematického obsahu docela vhodné, pak je při uvádění systémů do provozu nutné pečlivě vybírat výpočetní platformu, aby investice do vývoje softwaru nepřišly nazmar.

Oblíbené v kategorii: