Domov › Internet › Prohlížení IP kamer přes rtsp. Vysíláme video stream z IP kamery pomocí WebRTC. Proč je potřeba protokol RTSP?

Prohlížení IP kamer přes rtsp. Vysíláme video stream z IP kamery pomocí WebRTC. Proč je potřeba protokol RTSP?

Podle některých zpráv dnes existují stovky milionů IP kamery pro video dohled. Zpoždění přehrávání videa však není pro všechny kritické. Video sledování obvykle probíhá "staticky" - stream je zaznamenán v úložišti a může být analyzován na pohyb. Existuje mnoho softwarových a hardwarových řešení vyvinutých pro video dohled, která plní svou práci dobře.

V tomto článku se podíváme na trochu jinou aplikaci IP kamery, a to uplatnění v online vysílání tam, kde je to vyžadováno nízká komunikační latence.

Nejprve si vyjasněme případné nedorozumění v terminologii o webových kamerách a IP kamerách.

Webová kamera je zařízení pro snímání videa, které nemá vlastní procesor a síťové rozhraní. Webová kamera vyžaduje připojení k počítači, smartphonu nebo jinému zařízení, které má síťovou kartu a procesor.

IP kamera je samostatné zařízení, které má vlastní síťovou kartu a procesor pro kompresi zachyceného videa a jeho odesílání do sítě. IP kamera je tedy samostatný minipočítač, který se plně připojuje k síti a nevyžaduje připojení k jinému zařízení a může přímo vysílat do sítě.

Nízká latence(nízká latence) je u IP kamer a online vysílání poměrně vzácný požadavek. Potřeba pracovat s nízkou latencí vzniká například tehdy, pokud zdroj videostreamu aktivně interaguje s diváky tohoto streamu.

Nejčastěji je nízká latence potřebná v případech herního použití. Mezi takové příklady patří: videoaukce v reálném čase, video kasino s živým dealerem, interaktivní online televizní pořad s hostitelem, dálkové ovládání kvadrokoptéry atd.

Živý online kasino dealer v práci.

Běžná RTSP IP kamera obvykle streamuje video H.264 kodek a může pracovat ve dvou režimech přenosu dat: prokládané A neprokládané.

Režim prokládané nejoblíbenější a nejpohodlnější, protože V tomto režimu jsou videodata přenášena přes TCP v rámci síťového připojení ke kameře. Pro distribuci z IP kamery do prokládané stačí otevřít/předat jeden RTSP port kamery (například 554) ven. Přehrávač se může ke kameře připojit pouze přes TCP a v rámci tohoto připojení přijímat stream.

Druhý provozní režim fotoaparátu je neprokládané. V tomto případě je spojení navázáno pomocí protokolu RTSP/TCP a provoz probíhá odděleně, podle protokolu RTP/UDP mimo vytvořený TCP kanál.

Režim neprokládané výhodnější pro vysílání videa s minimální latencí, protože využívá RTP/UDP, ale zároveň je problematičtější, pokud je hráč umístěn vzadu NAT.

Při připojování k IP kameře přehrávače, který je za NAT, musí přehrávač vědět, které externí IP adresy a porty může použít pro příjem audio a video provozu. Tyto porty jsou specifikovány v textu SDP config, který je odeslán do kamery, když je navázáno RTSP spojení. Pokud byl NAT otevřen správně a byly určeny správné IP adresy a porty, pak bude vše fungovat.

Takže, abyste mohli zachytit video z kamery s minimálním zpožděním, musíte použít neprokládání režimu a přijímat video provoz přes UDP.

Prohlížeče nepodporují přímo zásobník protokolů RTSP/UDP, ale podporují zásobník protokolů nativní technologie WebRTC.

Zejména technologie prohlížeče a fotoaparátu jsou velmi podobné SRTP je to zašifrované RTP. Ale pro správnou distribuci do prohlížečů by IP kamera potřebovala částečnou podporu pro WebRTC stack.

K odstranění této nekompatibility je vyžadován mezilehlý přenosový server, který bude fungovat jako most mezi protokoly IP kamer a protokoly prohlížeče.

Server přebírá stream z IP kamery přes RTP/UDP a odešle jej do připojených prohlížečů přes WebRTC.

Technologie WebRTC funguje podle protokolu UDP a tím poskytuje malé zpoždění ve směru Server > Prohlížeč. IP kamera také funguje pomocí protokolu RTP/UDP a poskytuje malé zpoždění ve směru Fotoaparát > Server.

Kamera může vydávat omezený počet streamů kvůli omezeným zdrojům a šířce pásma. Použití zprostředkujícího serveru umožňuje škálovat vysílání z IP kamery na velký počet diváků.

Na druhou stranu při použití serveru jsou povoleny dvě komunikační nohy:
1) Mezi diváky a serverem
2) Mezi serverem a kamerou
Tato topologie má řadu „vlastností“ nebo „úskalí“. Uvádíme je níže.

Úskalí č. 1 – kodeky

Použité kodeky mohou být překážkou výkonu s nízkou latencí a mohou snížit celkový výkon systému.

Pokud například kamera vysílá 720p video stream v H.264 a je připojen prohlížeč Chrome na smartphonu Android pouze s podporou VP8.

Když je povoleno překódování, musí být vytvořena relace překódování pro každou z připojených IP kamer, která dekóduje H.264 a zakóduje se VP8. V tomto případě bude 16jádrový dvouprocesorový server schopen obsluhovat pouze 10-15 IP kamer, při přibližné rychlosti 1 kamery na fyzické jádro.

Pokud tedy kapacita serveru neumožňuje překódování plánovaného počtu kamer, je třeba se překódování vyhnout. Obsluhujte například pouze prohlížeče, které podporují H.264, a ostatním nabídněte použití nativní mobilní aplikace pro iOS nebo Android, která podporuje kodek H.264.

Jako možnost, jak obejít překódování v mobilním prohlížeči, můžete použít H.L.S.. Ale streamování HTTP nemá vůbec nízkou latenci a v současné době nelze použít pro interaktivní vysílání.

Úskalí č. 2 – Datový tok a ztráta fotoaparátu

Protokol UDP pomáhá vyrovnat se s latencí, ale umožňuje ztrátu video paketů. Proto i přes nízkou latenci, pokud dojde k velkým ztrátám v síti mezi kamerou a serverem, může dojít k poškození obrazu.

Chcete-li eliminovat ztráty, musíte se ujistit, že tok videa generovaný kamerou má datový tok, který se vejde do vyhrazené šířky pásma mezi kamerou a serverem.

Úskalí č. 3 – Přenosová rychlost a ztráty

Každý prohlížeč vysílání připojený k serveru má také určitou šířku pásma při stahování.

Pokud IP kamera odešle stream, který přesahuje možnosti kanálu diváka (kamera například odešle 1 Mbps a divák může pouze přijmout 500 kbps), pak na tomto kanálu dojde k velkým ztrátám a v důsledku toho zamrzne video nebo silné artefakty.

V tomto případě existují tři možnosti:

Překódujte video stream individuálně pro každého diváka při požadovaném datovém toku.
Transcode streamy ne pro každou připojenou osobu, ale pro skupinu diváků.
Připravte si streamy z kamery předem v několika rozlišeních a bitratech.

První možnost s překódováním není vhodné pro každého diváka, protože spotřebovává zdroje CPU i při 10-15 připojených diváků. I když je třeba poznamenat, že tato možnost poskytuje maximální flexibilitu při maximálním zatížení CPU. Tito. To je ideální možnost, pokud například vysíláte streamy pouze 10 geograficky rozmístěným lidem, každý z nich dostává dynamický bitrate a každý z nich potřebuje minimální latenci.

Druhá možnost je snížit zatížení CPU serveru pomocí transkódovacích skupin. Server vytvoří několik skupin podle bitrate, například dvě:

200 kbps
1 Mbps

Pokud divák nemá dostatečnou šířku pásma, přepne se do skupiny, ve které může pohodlně přijímat video stream. Počet překódovacích relací se tedy nerovná počtu diváků jako v prvním případě, ale je pevným číslem, například 2, pokud překódovací skupiny dva.

Třetí možnost zahrnuje úplné odmítnutí překódování na straně serveru a použití již připravených video streamů v různých rozlišeních a bitratech. V tomto případě je kamera nakonfigurována pro výstup dvou nebo tří streamů s různým rozlišením a přenosovou rychlostí a diváci mezi těmito streamy přepínají v závislosti na jejich šířce pásma.

V tomto případě překódování na serveru zmizí a přesune se na samotnou kameru, protože Kamera je nyní nucena kódovat dva nebo více streamů namísto pouze jednoho.

V důsledku toho jsme zvažovali tři možnosti, jak se přizpůsobit šířce pásma diváků. Pokud předpokládáme, že jedna transkódovací relace zabírá 1 jádro serveru, dostaneme následující tabulku zatížení CPU:

Tabulka ukazuje, že můžeme přesunout zatížení překódování na kameru nebo přenést překódování na server. Možnosti 2 a 3 se zdají být nejoptimálnější.

Testování RTSP jako WebRTC

Nastal čas provést několik testů, abychom zjistili skutečný obraz toho, co se děje. Vezměme skutečnou IP kameru a proveďte testování pro měření latence vysílání.

Pro testování si vezměme starodávnou IP kameru D-link DCS-2103 s podporou RTSP a kodeky H.264 a G.711.

Vzhledem k tomu, že fotoaparát ležel dlouho ve skříni s dalšími užitečnými zařízeními a dráty, musel jsem ho poslat do Resetovat stisknutím a podržením tlačítka na zadní straně fotoaparátu po dobu 10 sekund.

Po připojení k síti se na kameře rozsvítilo zelené světlo a router viděl v lokální síti další zařízení s IP adresou 192.168.1.37.

Přejdeme do webového rozhraní fotoaparátu a nastavíme kodeky a rozlišení pro testování:

Dále přejděte do nastavení sítě a zjistěte adresu RTSP kamery. V tomto případě adresa RTSP live1.sdp, tj. Kamera je k dispozici na rtsp://192.168.1.37/live1.sdp

Dostupnost kamery lze snadno zkontrolovat pomocí VLC přehrávač. Média – Otevřete síťový proud.

Ujistili jsme se, že kamera funguje a přenáší video přes RTSP.

Jako server pro testování použijeme Web Call Server 5. Toto je streamovací server s podporou RTSP a WebRTC protokoly. Připojí se k IP kameře přes RTSP a vyzvedněte video stream. Dále distribuujte stream WebRTC.

Po instalaci je potřeba přepnout server do režimu RTSP neprokládané o kterém jsme hovořili výše. To lze provést přidáním nastavení

Rtsp_interleaved_mode=false
Toto nastavení je přidáno do konfigurace flashphoner.properties a vyžaduje restart serveru:

Restart serveru webového volání služby
Máme tedy server, který pracuje podle neprokládaného schématu, přijímá pakety z IP kamery přes UDP a následně je distribuuje přes WebRTC (UDP).

Testovací server je umístěn na VPS serveru umístěném ve frankfurtském datovém centru, má 2 jádra a 2 gigabajty RAM.

Kamera je umístěna v místní síti na 192.168.1.37.

Proto první věc, kterou musíme udělat, je předat port 554 na adresu 192.168.1.37 pro příchozí TCP/RTSP připojení, aby server mohl navázat spojení s naší IP kamerou. Chcete-li to provést, přidejte do nastavení routeru pouze jedno pravidlo:

Pravidlo říká routeru, aby přesměroval veškerý příchozí provoz na port 554 a IP adresu na 37.

Pokud máte přátelský NAT a znáte externí IP adresu, můžete začít testovat se serverem.

Standardní ukázkový přehrávač v prohlížeči Google Chrome vypadá takto:

Chcete-li spustit přehrávání streamu RTSP, stačí do pole zadat jeho adresu Proud.
V tomto případě je adresa streamu: rtsp://ip-cam/live1.sdp
Tady ip-cam toto je externí IP adresa vaší kamery. Server se pokusí navázat spojení s touto adresou.

Testování latence VLC vs WebRTC

Poté, co jsme nakonfigurovali IP kameru a otestovali ji VLC, nakonfiguroval server a otestoval RTSP protékají serverem s distribucí WebRTC, můžeme konečně porovnat latence.

K tomu nám poslouží časovač, který na obrazovce monitoru ukáže zlomky sekund. Zapněte časovač a současně zapněte přehrávání videa VLC lokálně a v prohlížeči Firefox prostřednictvím vzdáleného serveru.

Ping na server 100 ms.
Ping lokálně 1 ms.

První test pomocí časovače vypadá takto:
Na černém pozadí je původní časovač, který ukazuje nulové zpoždění. Vlevo, odjet VLC, napravo Firefox, přijímání WebRTC stream ze vzdáleného serveru.

	Nula	VLC	Firefox, WCS
Čas	50.559	49.791	50.238
Latence ms	0	768	321

V tomto testu vidíme zpoždění VLC dvakrát delší než zpoždění Firefox + Web Call Server, přestože se video ve VLC přehrává v místní síti a video, které se zobrazuje ve Firefoxu, prochází serverem v datovém centru v Německu a vrací se zpět. Tento nesoulad může být způsoben skutečností, že VLC pracuje přes TCP (prokládaný režim) a obsahuje některé další vyrovnávací paměti pro plynulé přehrávání videa.

Pořídili jsme několik snímků, abychom zaznamenali hodnoty latence.

Často vyvstává otázka: Jak připojit IP kameru k NVR, pokud není na seznamu kompatibility?

Jsou dvě možnosti ONVIF a RTSP

Začněme protokolem ONVIF (Open Network Video Interface Forum)

ONVIF je obecně uznávaný protokol pro společný provoz IP kamer, NVR, softwaru, v případě, že všechna zařízení jsou od různých výrobců. ONVIF lze přirovnat k angličtině pro mezinárodní komunikaci lidí.

Ujistěte se, že připojená zařízení podporují ONVIF na některých zařízeních ONVIF může být ve výchozím nastavení zakázáno.
Nebo může být zakázána autorizace přes ONVIF, což znamená, že přihlašovací jméno/heslo bude vždy ve výchozím nastavení
bez ohledu na přihlašovací jméno/heslo pro WEB

Za zmínku také stojí, že některá zařízení používajísamostatný port pro provoz přes protokol ONVIF

V některých případech se heslo ONVIF může lišit od hesla pro přístup na WEB.

Co je k dispozici při připojení přes ONVIF?

Zjištění zařízení

Přenos videa

Příjem a přenos audio dat

Ovládání PTZ kamery

Analytika videa (například detekce pohybu)

Tyto parametry závisí na kompatibilitě verzí protokolu ONVIF. V některých případech jsou některé parametry nedostupné nebo nefungují správně.

K a pomocí ONVIF

V rekordérech SNR a Dahua je protokol ONVIF umístěn na kartě Vzdálené zařízení, řádek Výrobce

Vyberte kanál, ke kterému bude zařízení připojeno

Na kartě Výrobce vyberte ONVIF

Upřesněte IP adresa zařízení

RTSP port zůstává výchozí

Použití kamer ONVIF port 8080
(od roku 2017 byl u nových modelů ONVIF port změněn na 80 pro řadu Alpha a Mira)
OMNY kamery Základna použití ONVIF port 80, v registrátoru je označen jako HTTP port

název

Heslo podle parametrů zařízení

Vzdálený kanál výchozí je 1. Pokud je zařízení vícekanálové, zobrazí se číslo kanálu.

Vyrovnávací paměť dekodéru— ukládání video streamu do vyrovnávací paměti indikující hodnotu času

Typ serveruzde je na výběr TCP,UDP Schedule

TCP- naváže spojení mezi odesílatelem a příjemcem, zajistí, aby veškerá data dorazila k příjemci beze změn a v požadovaném pořadí a také reguluje přenosovou rychlost.

Na rozdíl od TCP, UDP nenaváže předběžné spojení, ale místo toho jednoduše začne vysílat data. UDP nemonitoruje, zda byla data přijata, a neduplikuje je v případě ztráty nebo chyby.

UDP je méně spolehlivý než TCP. Ale na druhou stranu poskytuje rychlejší přenos streamu díky absenci opakovaného přenosu ztracených paketů

Plán— automatická detekce typu.

Takto vypadají připojená zařízení v Dahua

Zelený stav znamená, že rekordér a kamera jsou úspěšně připojeny

Červený stav znamená, že došlo k problémům s připojením. Například port připojení je nesprávný.

Druhý způsob připojení je RTSP(Protokol streamování v reálném čase)

RTSPprotokol streamování v reálném čase, který popisuje příkazy pro ovládání streamu videa.

Pomocí těchto příkazů je stream videa vysílán ze zdroje k příjemci

například z IP kamery do DVR nebo serveru.

Co je k dispozici při připojení přes RTSP?

Přenos videa

Příjem a přenos audio dat

VýhodaTento přenosový protokol spočívá v tom, že nevyžaduje kompatibilitu verzí.

Dnes RTSP podporují téměř všechny IP kamery a NVR

Nedostatky Protokol spočívá v tom, že kromě přenosu obrazových a zvukových dat není k dispozici nic jiného.

Podívejme se na příklad připojení fotoaparátu do a pomocí RTSP

RTSP umístěný na záložce Vzdálené zařízení, řádek Výrobce, v rekordéru SNR a Dahua je prezentován jakoVšeobecné

Vyberte kanál, ke kterému bude zařízení připojeno

URL adresa- zde zadáme řetězec dotazu, pro který kamera odesílá základní RTSP stream s vysoký rozlišení.

Další URL - Tady zadejte řetězec dotazu, pro který kamera odesílá další RTSP stream s nízké rozlišení.

Příklad požadavku:

rtsp://172.16.31.61/1 hlavní stream

rtsp://172.16.31.61/2 další stream

Proč potřebujete další vlákno?

Na lokálním monitoru připojeném k multiobrazovému rekordéru používá rekordér další vlákno k úspoře zdrojů. Například u malých obrázků s 16 okny není vůbec nutné dekódovat rozlišení Full HD, stačí D1. Pokud jste otevřeli okna 1/4/8, v tomto případě je hlavní stream dekódován s vysokým rozlišením.

názevpodle parametrů zařízení

Heslo podle parametrů zařízení

Vyrovnávací paměť dekodéruukládání video streamu do vyrovnávací paměti indikující časovou hodnotu

Typ serveru- TCP, UDP, Schedule (podobné protokolu ONVIF)

Tento článek odpovídá na nejčastější otázky, například:

Je IP kamera kompatibilní s NVR?

A pokud je kompatibilní, jak se připojit!?

RTSP (Real Time Streaming Protocol)– protokol streamování v reálném čase, který obsahuje jednoduchou sadu základních příkazů pro ovládání streamu videa.

Připojení zdrojů RTSP a IP kamer ve videokonferencích

Protokol RTSP umožňuje jakémukoli uživateli TrueConf připojit se k IP video kamerám a dalším zdrojům mediálního obsahu vysílaným pomocí tohoto protokolu ke sledování vzdálených objektů. Uživatel se také může připojit k takovým kamerám a vysílat snímky během videokonference.

Díky podpoře protokolu RTSP se uživatelé TrueConf Serveru mohou nejen připojit k IP kamerám, ale také vysílat videokonference do RTSP přehrávačů a mediálních serverů. Přečtěte si více o vysílání RTSP.

Výhody používání IP kamer se softwarovými řešeními TrueConf

Instalací IP kamery do kanceláře nebo průmyslové dílny a připojením k ní v jakoukoliv vhodnou dobu budete moci řídit výrobní proces vaší společnosti.
Vzdálené objekty můžete sledovat nepřetržitě. Pokud se například chystáte na dovolenou a nechcete nechat svůj byt bez dozoru, jednoduše tam nainstalujte jednu nebo více IP kamer. Zavoláním na jednu z těchto kamer z vašeho PC s nainstalovanou klientskou aplikací TrueConf se můžete kdykoli připojit ke svému bytu a v reálném čase vidět, co se tam děje.
V klientských aplikacích TrueConf pro Windows, Linux a macOS mají všichni uživatelé přístup k možnosti nahrávat videokonference, díky čemuž můžete během video sledování zaznamenávat jakékoli události a přijímat o nich dokumentární důkazy.

Pohodlné sledování video vysílání nebo lze konfigurovat pomocí softwarových multimediálních přehrávačů na vašem osobním počítači. Dnes se podíváme na to, jak nakonfigurovat stream RTSP pro síťové zařízení Dahua Technology v jednom z nejpopulárnějších přehrávačů, VLC Media Player.

RTSP (Real Time Streaming Protocol) je protokol, který umožňuje uživateli vzdáleně přehrávat stream multimediálních dat (audio a video) pomocí hypertextového odkazu a multimediálního přehrávače (v našem případě VLC Media Player).

Pokud potřebujete nakonfigurovat stream videa, použijte následující kroky:

Nejprve je potřeba stáhnout a nainstalovat VLC Media Player, který je volně dostupný na oficiálních stránkách.
Klikněte na položku nabídky Media – Open Network Stream (Open URL).
Do řádku s výzvou zadejte síťovou adresu RTSP.
Jakmile se na obrazovce objeví obraz videa, stiskněte tlačítko přehrávání.

Vysvětlení odkazu RTSP

Příklad:

rtsp:// :@:/cam/realmonitor?channel= &podtyp=

kde:

: Uživatelské jméno (přihlášení).

: Heslo.

: IP adresa síťové videokamery.

: Výchozí port je 554. Tuto hodnotu lze ignorovat.

: číslo kanálu. Číslování začíná od 1.

: typ proudu. Význam hlavní vlákno je 0, další vlákno 1 je 1, další vlákno 2 je 2. Například odkaz na další vlákno číslo 1 bude vypadat takto:

rtsp://admin: [e-mail chráněný]:554/cam/realmonitor?channel=1&subtype=1

IP videokamery Dahua Technology podporují protokoly přenosu dat TCP a UDP. Pokud byl port 554 změněn, změňte jej v příslušném poli nastavení videokamery (webové rozhraní).

Pokud máte nějaké problémy s nastavením streamu RTSP, podívejte se prosím do příslušné části.

Jak zkontrolovat schopnost vysílat RTSP stream z IP kamery v různých webových prohlížečích

Pojďme zkontrolovat zobrazení streamu videa RTSP v prohlížečích Chrome, Firefox, Safari na počítačích se systémem Windows, Mac OS X, Linux a mobilních zařízeních se systémem Android a iOS

Kontrola streamu RTSP ve VLC

Chcete-li se rychle ujistit, že je stream RTSP dostupný a streamuje video, otevřete jej v přehrávači VLC. Pokud se stream přehrává správně, přecházíme k testování webového rozhraní. RTSP URL můžete získat v ovládacím panelu IP kamery nebo použít nějaký veřejně dostupný RTSP video stream, například tento: rtsp://b1.dnsdojo.com:1935/live/sys3.stream

Testování streamu RTSP-WebRTC v prohlížečích Google Chrome a Mozilla Firefox

Dbáme na to, aby se stejný stream RTSP přehrával na běžné HTML stránce v prohlížečích Chrome a Firefox.

1. Načtěte demo rozhraní na , menu ‚Demo / Streaming Min‘. Toto je minimální webové rozhraní HTML5, které využívá technologii WebRTC k zobrazení streamu videa RTSP v prohlížečích Chrome a Firefox.

2. Vytvořte připojení k serveru Web Call Server

3. Zadejte RTSP adresu kamery a začněte přehrávat stream:

Díky tomu jsme úspěšně otestovali přehrávání streamu RTSP v prohlížeči Google Chrome. Podobný test lze provést s prohlížeči Firefox a Opera na těch desktopových a mobilních platformách, které v prohlížečích podporují technologii WebRTC.

Testování streamu RTSP-Websocket v prohlížeči Safari pod iOS a Mac OS X

Prohlížeče na zařízeních se systémem iOS nepodporují technologii WebRTC. Z tohoto důvodu je použit samostatný přehrávač ‚WS Player Min‘, který stream odebírá přes protokol Websocket a přehrává jej v prvku HTML5-Canvas prohlížeče.

1. Stejně jako v případě prohlížeče Chrome musíte otevřít stránku demo rozhraní, ale vybrat jinou položku nabídky:

2. Poté vytvořte připojení k serveru Web Call Server

3. Zadejte dříve známou adresu vysílání RTSP a přehrajte tok videa:

Výše uvedené tedy demonstruje schopnost zobrazit provoz RTSP převedený pomocí Web Call Server na většině běžných webových prohlížečů, včetně nejoblíbenějších mobilních platforem.

Dalším krokem je přidání HTML5 RTSP přehrávače na váš vlastní web. Proces přidávání je podrobně popsán v přilehlé části Implementace.