Կենդանի հեռարձակման տեխնոլոգիայի կոդավորում և փաթեթավորում

Տեսանյութի կոդավորման իմաստը

Մեծ պահեստային տարածք ՝ բնօրինակ տեսանյութերի տվյալների համար, 1080P 7 s տեսանյութը պահանջում է 817 ՄԲ
Վիդեո տվյալների փոխանցման բնօրինակը զբաղեցնում է մեծ թողունակություն, և վերոնշյալ 11 վայրկյանների տեսանյութը 7 Մբիթ / վ թողունակությամբ փոխանցելու համար պահանջվում է 10 րոպե:
H.264 կոդավորումից և սեղմումից հետո տեսանյութի չափը կազմում է ընդամենը 708 կ, իսկ 10 Մբիթ / վ թողունակության համար անհրաժեշտ է ընդամենը 500 մբ, ինչը կարող է բավարարել իրական ժամանակում փոխանցման պահանջները: Հետեւաբար, տեսանյութերի ձեռքբերման սենսորից հավաքված բնօրինակ տեսանյութը պետք է լինի կոդավորված:

Հիմնական

Եվ ինչու՞ հսկայական օրիգինալ տեսանյութը կարող է կոդավորվել շատ փոքր տեսանյութի մեջ: Ո՞րն է սրա մեջ առկա տեխնոլոգիան: Նախքան տեխնոլոգիայի մասին խոսելը, մենք նախ պետք է հաստատենք տեսանյութի հայեցակարգը, որը շարունակական նկարներ է:

Հիմնական գաղափարը ավելորդ տեղեկատվության հեռացումն է.

Տարածական ավելորդություն. Նկարի հարակից պիքսելների միջև կա մեծ փոխկապակցվածություն
Empամանակավոր ավելորդություն. Նման բովանդակություն հարակից նկարների միջև ՝ տեսանյութի հաջորդականությամբ
Կոդավորման ավելորդություն. Պիքսելների տարբեր արժեքներ տարբեր հավանականություններ ունեն
Տեսողական ավելորդություն. Մարդու տեսողական համակարգը զգայուն չէ որոշ մանրամասների նկատմամբ
Գիտելիքների ավելորդություն. Օրինաչափության կառուցվածքը կարելի է ձեռք բերել նախնական գիտելիքներից և ֆոնային գիտելիքներից
Տեսանյութը, ըստ էության, նկարների շարք է, որոնք անընդհատ և արագ նվագարկվում են, ուստի տեսանյութը սեղմելու ամենադյուրին ճանապարհը նկարների յուրաքանչյուր շրջանակի սեղմումն է: Օրինակ, MJPEG- ի հին կոդավորումը տեսանյութում պատկերված նկարների յուրաքանչյուր շրջանակը սեղմելու համար է: Կոդավորման այս մեթոդը Կա միայն ներկապնակի կոդավորում, որը կոդավորելու համար օգտագործում է տարածական նմուշի կանխատեսում: Պատկերի փոխաբերությունն այն է, որ յուրաքանչյուր շրջանակ վերաբերվի որպես նկարի, և օգտագործի JPEG կոդավորման ձևաչափը ՝ պատկերը սեղմելու համար: Այսպիսի կոդավորումը միայն հաշվի է առնում նկարում ավելորդ տեղեկատվության սեղմումը:

Այնուամենայնիվ, շրջանակների ժամանակային փոխկապակցվածության պատճառով մշակվել են որոշ առաջադեմ ծածկագրիչներ, որոնք կարող են օգտագործել միջսահմանային կոդավորումը: Պարզ ասած, շրջանակի վրա որոշ տարածքներ ընտրվում են որոնման ալգորիթմի միջոցով, ապա հաշվարկվում է ընթացիկ շրջանակը: Դա կոդավորման ձև է `առջևի և հետևի տեղեկանքի շրջանակների վեկտորային տարբերությամբ: Նկար 2-ում հետևյալ երկու անընդմեջ շրջանակների միջոցով մենք կարող ենք տեսնել, որ դահուկորդը տեղափոխվում է առաջ, բայց իրականում ձյան տեսարանը հետ է շարժվում, և P շրջանակը հղում է անում: Շրջանակները (I կամ այլ P շրջանակներ) կարող են կոդավորվել, չափը կոդավորումից հետո շատ փոքր է, և սեղմման գործակիցը շատ բարձր է:

Տեղեկանք հղում մասին շրջանակը http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww

Որոշ ուսանողների կարող է հետաքրքրել, թե ինչպես են առաջացել այս երկու նկարները: Ահա FFmpeg հրամանների երկու տող, որոնց պետք է հասնել: FFmpeg- ի վերաբերյալ ավելի մանրամասն տեղեկություններ ստանալու համար տե՛ս հետևյալ գլուխները.

Առաջին տողում առաջանում է շարժական վեկտորով տեսանյութ
Երկրորդ գիծը յուրաքանչյուր շրջանակ է դուրս բերում որպես նկար
Օգտագործեք հրամանը

ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf կոդային դիտում = mv = pf + bf + bb tutudebug2.mp4

ffmpeg -i tutudebug2.mp4'tutunormal-% 03d.bmp '
　　　

Բացի տարածական ավելորդությունից և ժամանակային ավելորդության սեղմումից, կան հիմնականում կոդավորող սեղմում և տեսողական սեղմում: Հետևյալը ծածկագրիչի հոսքի հիմնական գծապատկերն է.

Նկար 3-ը և Նկար 4-ը երկու գործընթաց են: Նկար 3-ը ներշրջանակային կոդավորում է, իսկ Նկար 4-ը `շրջանակային կոդավորում: Նկարից տեսվող հիմնական տարբերությունն այն է, որ առաջին քայլը տարբեր է: Փաստորեն, այս երկու գործընթացները նույնպես զուգակցվում են: Ընդհանուր առմամբ, ես շրջանակի և P շրջանակի մեջ համապատասխանաբար օգտագործում են ներկրոնային կոդավորում և միջշրջանակային կոդավորում:

Կոդավորիչի ընտրություն

Ես տեսակավորել եմ ծածկագրիչի սկզբունքը և հիմնական գործընթացը: Կոդավորիչը տասնամյակների զարգացում է ապրել: Այն վերածվել է միայն ներհաղորդական կոդավորմանը աջակցելուց մինչև նոր սերնդի ծածկագրողներ, որոնք ներկայումս ներկայացնում են H.265 և VP9: Ներկայումս վերլուծվում են որոշ սովորական ծածկագրիչներ, և մենք ձեզ կտանենք ծածկագրողների աշխարհը ուսումնասիրելու:

H.264

ներածություն

H.264 / AVC նախագիծը մտադիր է ստեղծել տեսանյութերի ստանդարտ: Համեմատած հին ստանդարտի հետ, այն կարող է ապահովել բարձրորակ տեսանյութեր ավելի ցածր թողունակությամբ (այլ կերպ ասած ՝ MPEG-2, H.263 կամ MPEG-4 մաս 2 կամ պակաս թողունակության միայն կեսը) ՝ առանց ավելորդ դիզայնի բարդության դրան անհնար է հասնել, կամ իրականացման գինը չափազանց բարձր է: Մեկ այլ նպատակ է ապահովել բավարար ճկունություն `տարբեր ծրագրերում, ցանցերում և համակարգերում օգտագործելու համար, ներառյալ բարձր և ցածր թողունակությունը, բարձր և ցածր տեսանյութերի լուծումները, հեռարձակումը, DVD պահոցը, RTP / IP ցանցերը և ITU-T մուլտիմեդիա հեռախոսների համակարգը:

H.264 / AVC- ն պարունակում է մի շարք նոր առանձնահատկություններ ՝ այն ոչ միայն ավելի արդյունավետ դարձնելով, քան նախորդ կոդեկները, այլև կարող է օգտագործվել տարբեր ցանցային միջավայրերում կիրառական ծրագրերում: Այս տեխնիկական հիմքը ստիպում է H.264- ը դառնալ հիմնական կոդեկը, որն օգտագործում են առցանց վիդեո ընկերությունները, ներառյալ YouTube- ը, բայց դրա օգտագործումը այնքան էլ հեշտ գործ չէ: Տեսականորեն, H.264- ի օգտագործումը մեծ գումար է պահանջում: Արտոնագրային վճարներ:

Արտոնագրային արտոնագիր

MPEG-2- ի առաջին և երկրորդ մասերի և MPEG-4- ի երկրորդ մասի նման, H.264 / AVC օգտագործող ապրանք արտադրողները և ծառայություններ մատուցողները պետք է արտոնագրատերերին վճարեն արտոնագրային լիցենզիայի վճարներ: Արտոնագրային այս լիցենզիաների հիմնական աղբյուրը մասնավոր կազմակերպություն է, որը կոչվում է MPEG-LA LLC: Այս կազմակերպությունը կապ չունի MPEG ստանդարտացման կազմակերպության հետ, բայց այս կազմակերպությունը ղեկավարում է նաև MPEG-2 մաս մեկ համակարգը, երկրորդ մասը տեսանյութը և MPEG-4 մասը մեկ մասը: Երկու մասից բաղկացած տեսանյութերի և այլ տեխնոլոգիական արտոնագրերի լիցենզիաներ:
Արտոնագրային այլ լիցենզիաները պետք է դիմեն մեկ այլ մասնավոր կազմակերպության, որը կոչվում է VIA լիցենզավորում, որը նաև կառավարում է արտոնագրային լիցենզիաներ աուդիո սեղմման ստանդարտների համար, ինչպիսիք են MPEG-2 AAC և MPEG-4 Audio:

H.264- ի բաց աղբյուրի իրականացում

openh264- ը բաց կոդով H.264 կոդավորման ծրագիր է, որն իրականացվում է Cisco- ի կողմից: Չնայած H.264- ը պահանջում է բարձր արտոնագրային վճար, արտոնագրային վճարի վրա տարեկան սահմանափակում կա: Այն բանից հետո, երբ Cisco- ն վճարում է OpenH264- ի տարեկան արտոնագրային վճարը, OpenH264- ը իրականում անվճար է Օգտագործեք այն ազատորեն:

x264- ը GPL- ով լիցենզիա ունեցող անվճար ծրագրաշարը տեսագրող կոդավորող է: X264- ի հիմնական գործառույթն է իրականացնել H.264 / MPEG-4 AVC վիդեո կոդավորումը, այլ ոչ թե որպես ապակոդավորիչ:

Բացառելով համեմատության համար ծախսերի հարցը.
Openh264- ի պրոցեսորի օգտագործումը շատ ավելի ցածր է, քան x264- ը
openh264- ը աջակցում է միայն ելակետային պրոֆիլը, x264- ն աջակցում է ավելի շատ պրոֆիլների

HEVC / H.265

ներածություն

Բարձր արդյունավետության տեսանյութերի կոդավորումը (HEVC) տեսանյութերի սեղմման ստանդարտ է (որը կոչվում է նաև H.265), որը համարվում է ITU-T H.264 / MPEG-4 AVC ստանդարտի իրավահաջորդ: 2004 թ.-ին ISO / IEC շարժվող նկարների փորձագետների խումբը (MPEG) և ITU-T վիդեոդոդագրման փորձագետների խումբը (VCEG) սկսեցին զարգանալ որպես ISO / IEC 23008-2 MPEG-H մաս 2 կամ ITU-T H.265: HEVC / H.265 վիդեո սեղմման ստանդարտի առաջին տարբերակը ընդունվել է որպես Հեռահաղորդակցության միջազգային միության (ITU-T) պաշտոնական ստանդարտ 13 թ. Ապրիլի 2013-ին: HEVC- ը համարվում է ոչ միայն տեսահոլովակի որակը բարելավելու, այլ նաև կրկնակի հասնելու համար: H.264 / MPEG-4 AVC- ի սեղմման արագությունը (համարժեք է նույն պատկերի որակի ներքո բիթի արագության 50% իջեցմանը) և կարող է աջակցել 4K լուծաչափով և նույնիսկ ծայրահեղ բարձր հստակությամբ հեռուստատեսությամբ (UHDTV), հասնել 8192 4320 (8K լուծաչափ):

Արտոնագրային արտոնագիր

HEVC- ն պահանջում է, որ բովանդակության բոլոր արտադրողները, որոնք օգտագործում են H.265 տեխնոլոգիան, ներառյալ Apple- ը, YouTube- ը, Netflix- ը, Facebook- ը և Amazon- ը, վճարել իրենց բովանդակության եկամտի 0.5% -ը `որպես տեխնոլոգիայի օգտագործման վճար: Ամբողջ հոսքային լրատվամիջոցների շուկան տարեկան հասնում է մոտ 100 միլիարդ ԱՄՆ դոլարի, և այն շարունակում է աճի պայմաններում, 0.5% գանձումը հաստատ հսկայական վճար է: Եվ նրանք չեն թողնում սարքավորումներ արտադրողներին, որոնց թվում հեռուստատեսային արտադրողները մեկ միավորի համար պետք է վճարեն 1.5 ԱՄՆ դոլար, իսկ բջջային սարքեր արտադրողներին ՝ մեկ միավորի համար արտոնագրային վճարներ 0.8 ԱՄՆ դոլար: Նրանք նույնիսկ բաց չեն թողել այնպիսի արտադրողների, ինչպիսիք են Blu-ray սարքերի նվագարկիչները, խաղային կոնսոլները և տեսաձայնագրիչները, որոնք յուրաքանչյուրը պետք է վճարեն 1.1 դոլար:

H.265 / HEVC- ի բաց աղբյուրի ներդրում

libde265 HEVC- ն ապահովում է կառուցվածքային ընկերությունը ՝ GNU Lesser General Public License (LGPL) բաց աղբյուրի լիցենզիայով, և հեռուստադիտողները կարող են վայելել ամենաբարձր որակի պատկերները ՝ ավելի դանդաղ ինտերնետի արագությամբ: H.264 ստանդարտի հիման վրա հիմնված նախորդ ապակոդավորիչների համեմատ ՝ libde265 HEVC ապակոդավորիչը կարող է ձեր ամբողջական HD պարունակությունը հասցնել լսարանի մինչև երկու անգամ, կամ հոսքի համար պահանջվող թողունակությունը նվազեցնել 50% -ով:

x265- ը մշակվել է MulticoreWare- ի կողմից և հասանելի է GPL պայմանագրով:

VP8

ներածություն

VP8- ը վիդեո սեղմման բաց ձևաչափ է, որը նախ մշակվել է On2 Technologies- ի կողմից, այնուհետև թողարկվել է Google- ի կողմից: Միևնույն ժամանակ, Google- ը նաև թողարկեց VP8 կոդավորված իրականացման գրադարան ՝ libvpx, որը թողարկվեց BSD լիցենզիայի պայմանների տեսքով և հետագայում ավելացրեց արտոնագիրն օգտագործելու իրավունքը: Որոշ փաստարկներից հետո VP8- ի թույլտվությունը վերջապես հաստատվեց որպես բաց աղբյուրի թույլտվություն:

Ներկայումս VP8- ին աջակցող վեբ զննարկիչներն են Opera, Firefox և Chrome:

Արտոնագրային արտոնագիր

2013-ի մարտին Google- ը համաձայնություն ձեռք բերեց MPEG LA- ի և 11 արտոնագրային սեփականատերերի հետ `թույլ տալու Google- ին ձեռք բերել VP8 և դրա նախորդ VPx և այլ ծածկագրեր, որոնք կարող են խախտվել արտոնագրերի նկատմամբ: Միևնույն ժամանակ, Google- ը կարող է նաև անվճար արտոնագրել հարակից արտոնագրերը VP8 օգտվողներին: , Այս համաձայնագիրը հարմար է նաև VPx կոդավորման հաջորդ սերնդի համար: Մինչ այժմ MPEG LA- ն հրաժարվել է VP8 արտոնագրերի կենտրոնացված լիցենզավորման դաշինքի ստեղծումից, և VP8 օգտվողները կկարողանան որոշել, որ այս կոդն օգտագործեն անվճար ՝ առանց մտահոգվելու արտոնագրերի խախտման հնարավոր ռոյալթիի մասին:

VP8- ի բաց աղբյուրի իրականացում

Libvpx- ը VP8- ի միակ բաց աղբյուրի իրականացումն է: Այն մշակվել է On2 Technologies- ի կողմից: Google- ը այն ձեռք բերելուց հետո բացեց իր սկզբնական կոդը: Լիցենզիան շատ ազատ է և կարող է օգտագործվել անվճար:

VP9

ներածություն

VP9- ի մշակումն սկսվել է 2011-ի երրորդ եռամսյակում: Նպատակը `ֆայլի չափը 50% -ով իջեցնել` համեմատած նույն պատկերի որակի ներքո գտնվող VP8 կոդավորման հետ: Մեկ այլ նպատակ `կոդավորման արդյունավետության մեջ գերազանցել HEVC կոդավորումը:

13-ի դեկտեմբերի 2012-ին Chromium դիտարկիչը աջակցություն ավելացրեց VP9 կոդավորման համար: Chrome զննարկիչը սկսեց աջակցել VP9 կոդավորված տեսանյութերի նվագարկմանը 21 թվականի փետրվարի 2013-ին:

Google- ը հայտարարեց, որ VP9 կոդի մշակումը կավարտի 17 թ.-ի հունիսի 2013-ին, երբ Chrome զննարկիչը լռելյայն կառաջնորդի VP9 կոդը: 18 թվականի մարտի 2014-ին Mozilla- ն Firefox զննարկչին ավելացրեց VP9 աջակցություն:

3-ի ապրիլի 2015-ին Google- ը թողարկեց libvpx1.4.0, որն ավելացրեց աջակցություն 10-բիթ և 12-բիթանոց խորության, 4: 2: 2 և 4: 4: 4 քրոմների նմուշառման և VP9 բազմաբնույթ կոդավորման / վերծանման համար:

Արտոնագրային արտոնագիր

VP9- ը բաց ձևաչափով, անվճար վոնտաժային տեսանյութերի կոդավորման ձևաչափ է:

VP9- ի բաց աղբյուրի իրականացում

libvpx- ը VP9- ի միակ բաց աղբյուրի իրականացումն է, որը մշակվել և պահպանվում է Google- ի կողմից: Որոշ ծածկագրեր կիսվում են VP8- ի և VP9- ի կողմից, իսկ մնացածը համապատասխանաբար VP8- ի և VP9- ի կոդեկների իրականացումն է:

VP9- ի և H.264- ի և HEVC- ի համեմատություն
HEVC- ի և H.264- ի համեմատություն տարբեր լուծումներով
H.264 / MPEG-4- ի հետ համեմատած, HEVC- ի բիթային արագության միջին նվազումը հետևյալն է.

Տեսանելի է, որ բիթ տոկոսադրույքն իջել է ավելի քան 60% -ով

HEVC- ն (H.265) ավելի մեծ առավելություն ունի բիթ արագության խնայողության մեջ VP9- ի և H.264- ի համար `խնայելով 48.3% և 75.8% համապատասխանաբար նույն PSNR- ի ներքո
H.264- ը կոդավորման ժամանակում հսկայական առավելություն ունի: VP9- ի և HEVC- ի (H.265) հետ համեմատած `HEVC- ն 6 անգամ ավելի է, քան VP9- ին, իսկ VP9- ը` գրեթե 40 անգամ գերազանցող H.264- ի: