09-10-2008 the Dutch Guild of Multi-Media Engineers.

09-10-2008

the Dutch Guild of Multi-Media Engineers

09-10-2008

Multi Channel Audio voor (HD) Video

the Dutch Guild of Multi-Media Engineers

Peter SchutChief Technical Officer – Axon Digital Design

09-10-2008

Waarom deze presentatie

• Omdat Hank van de Loo mij weer wist te strikken voor een klusje bij ‘de Guild’

• Audio is het ondergeschoven kind in de video industrie• Vooral met de introductie van HD gaat er het een en

ander veranderen• Vooral meerkanaals audio is een uitdaging waar vele

extra zaken onder controle gehouden moeten worden.

09-10-2008

Agenda

• PCM, het SD-SDI embedded tijdperk• Dolby E

– Metadata– RP2020

• Dolby Digital– Metadata– DialNorm

• Upmixing• Dolby Digital plus• AAC+ (Dolby Pulse)

09-10-2008

PCM de originele embedded domein standaard

• 15 jaar geleden bestond embedded audio uit 4 PCM kanalen, (2x AES/EBU – groep 1)

• Dit was de standaard hoofdzakelijk gevormd door de Sony Digi-Betacam

• Het NOB was een ‘early adaptor’ met een MCR en infrastructuur volledig embedded.

• De trade-off opgedragen door Gerrit de Nooijer was 5000 gulden back to back, anders was een separate audio laag interessanter

• Vandaag de dag is embedded audio de normaalste zaak van de wereld

09-10-2008

Dolby E

09-10-2008

Er ontstond een vraag naar meer audio kanalen

• De Digi-Beta triggerde met zijn limiet van 4 audio kanalen een nieuwe uitdaging.

• Dolby E was een aardig alternatief om meerdere audio kanalen in een bestaande infrastructuur te gebruiken

• De compatibiliteit met metadata voor meer kanalen surround was een additionele plus, maar in eerste instantie niet de belangrijkste reden van het gebruik van Dolby E

09-10-2008

Wat is Dolby E

• Dolby E is een AES/EBU compatibel signaal• De meeste AES/EBU transport apparatuur is

transparant (no SRC)• Het heeft meestal video framerate van 25 of 30Hz• Het is meestal 20 bits @ 48kHz• 8 mono kanalen passen in een Dolby E stroom• Extra features

– Zeer hoge kwaliteit die meerdere encodeer en decodeer slagen toelaat.

– Zeer robuust bij schakelen in video – Zeer uitgebreide metadata en tijdcode

09-10-2008

Encoderen en decoderen

Sync T/C

AudioEncode

Metadata

Mux

4 AESpairs

Metadata

2 Ch.DigitalAudio

Sync T/C

Demux

Metadata

AudioDecode

4 AESpairs

Metadata

• Tot 10 encodeer/decodeer slagen• Naadloos switchen

09-10-2008

Dolby E data rates

• Door de ruime data rates is Dolby E redelijk transparant

Bit Depth

24 bits

24 bits

20 bits

20 bits

16 bits

16 bits

Program Config

5.1 + stereo

four stereo

5.1 + stereo

four stereo

5.1

three stereo

Channel Data Rate

308 kbps

274 kbps

257 kbps

228 kbps

286 kbps

243 kbps

09-10-2008

Dolby E bij editen of schakelen

• Elk Dolby E frame correspondeert met een video frame• Een ‘guard band’ voorziet in een safe area voor

schakelen in de stroom of tussen 2 stromen.

V ideo fram e in te rva l

B itdepth

C oded fram e

09-10-2008

Dolby E bij editen of schakelen

• Bij PCM zal het schakelen in de stroom de audio samples verminken

• De Dolby E ‘guard-band’ beschermt de audio data

audio audio audio audio

D olby E D olby E D olby E D olby E

09-10-2008

Dolby E naadloze crossfade

• Cross fades worden automatisch door de decoder ondersteund door een overlap functie van 5ms

Seamless splice

Stream 1 S tream 1 S tream 2 S tream 2

09-10-2008

Dolby E Metadata

• De Dolby E metadata bevat (consumer-) informatie om de Dolby Digital encoder in de transmissie te sturen

• Deze metadata zal uiteindelijk de set-top box of surround decoder instellen

Dolby EDecoder

Dolby DigitalEncoder

metadata

09-10-2008

Dolby E Metadata

• Deze metadata is een geintegreerd onderdeel van Dolby E

• Dolby E encoders en decoders kunnen die metadata manipuleren

• Encoders kunnen omgaan met errors in metadata• Als een decoder geen Dolby E ziet maar PCM, kan hij

naar een preset omschakelen die de juiste metadata genereert

• Er zijn twee metadata categorieën– Consumer metadata voor de transmissie van Dolby Digital

(plus)– Professionele metadata voor het transmissie systeem

09-10-2008

Dolby E Metadata velden

• Consumer metadata fields:– Channel configuration– Dialogue normalization value– Dynamic range compression values– Other Dolby Digital control parameters

• Professional metadata fields:– Program configuration– Video frame rate– SMPTE time code– Channel gain words– Channel meter values

1 set per 1 set per programprogram

1 set per Dolby E stream1 set per Dolby E stream

1 set per channel1 set per channel

09-10-2008

Dolby E Latency

• Dolby E encoding en decoding kent een frame vertraging

• Het decoderen kan in principe korter, maar zal nooit laag genoeg zijn om het te kunnen verwaarlozen

• Om deze reden, een video frame delay

09-10-2008

To E or not to E?

• Dolby E was in eerste instantie nodig omdat de gebruikte apparatuur niet compatibel was met meer dan 2 AES/EBU stromen

• Ten 2e was het gebruik van metadata een enorm voordeel in deze ‘multi-channel’ toepassingen

• Het nadeel zijn de encodeer en decodeer slagen die speciale hardware vergen, en de bijkomende vertragingen van een frame per coding slag.

• Apparatuur kan nu vaak wel 8 mono kanalen of meer aan, dus waarom nog Dolby E?

• Voor de metadata is er nu ook een alternatief:– RP2020

09-10-2008

RP2020

• RP2020 is een standaard die voorziet in het transporteren van Metadata binnen de blanking van het video signaal.

• Het gebruikt deze VBI ruimte op een manier vergelijkbaar met tijdcode in de HD wereld.

• Embedded data pakketten bevatten deze metadata• Nadeel:

– Veel apparatuur niet transparant– Geen harde koppeling tussen audiodata en metadata– Op dit moment nog niet echt praktisch toepasbaar

09-10-2008

Dolby Digital

09-10-2008

Dolby Digital bij film

• 35mm Film: Dolby Digital soundtrack• Tussen de sprocket gaten

Analoge audio

09-10-2008

Bioscoop - Thuis

Cinema Home

Gedefinieerd luister volumeGekalibreerd op 85dBc front, 82dBc rear

Gebruiker bepaalt volume

Afspeel apparatuur kan volledige dynamiek aanMinimale standaards zij gedefinieerd

Alles mogelijk tussen een koptelefoon en vloerstaande speakers

5.1 audio wordt altijd als 5.1 afgespeeld

7.1 digitale home theaters tot draagbare mono TVs

09-10-2008

Dolby audio metadata

• Data over audio data die beschrijft en controleert• Is een onderdeel van elke Dolby E en Dolby Digital

stroom (ook Dolby Digital plus en binnenkort Dolby Pulse)

• Compatibel met > 1 miljard afspeel apparaten

DOLBYDOLBYDIGITALDIGITAL

DECODERDECODERDOLBYDOLBYDIGITALDIGITAL

ENCODERENCODER

USERSET-UP

AUDIO DATA

DATADATASTREAMSTREAM

METADATA

AUDIO DATA

09-10-2008

Welke specs moest Dolby Digital hebben?

• Het leveren van een betere kwaliteit!– Een betere frequentie karakteristiek– Groter dynamisch bereik

• De gemiddelde luidheid zou constant moeten zijn!!!

• Meer aan het einde van deze presentatie• Compatibel met alle reeds bestaande afspeel

apparatuur– Mono TV’s– Stereo TV’s– Pro-Logic home cinema's

• Maar ook Digitale home cinema's

09-10-2008

Het leveren van een betere kwaliteit!

• Dolby Digital encoding algoritme is 24bit• S/N voor Dolby Digital is >110dB

09-10-2008

Compatibel met alle reeds bestaande afspeel apparatuur

• Een aansluiting voor alle opties

System Connection

Mono TV RF Input

Stereo TV SCART

Pro-Logic home cinema Line level RCA ingangen

Digital home cinema Co-Axial of Optical digital input

(tegenwoordig ook HDMI)

09-10-2008

Een consumenten receiver

DTV

AnalogueTV RF

Out

LineOut

DigitalOut

Audio System

09-10-2008

Het downmix proces

INSIDEINSIDEDECODERDECODER

LL

RR

LoLo

RoRo

CC C mix

+

+

LSLS S mixS mix

+

+

RSRS

LFELFE ??NOT USEDNOT USED

S mixS mix

09-10-2008

Dynamiek controle

• Verandert niet de gecodeerde code• Gain wordt berekend in de encoder, maar wordt

toegepast in de decoder• Alle kanalen worden samen behandeld• Verschillende type programma's hebben verschillende

DRC karakteristieken– Attack/release times– Compression slopes/thresholds

09-10-2008

Dynamiek controle

00

-10-10

-20-20

-30-30

-40-40

-50-50

-60-60

-70-70

-80-80

dBFSFull Range

SignalLine LevelOutputs

RFOutput

09-10-2008

Downmix voor alle uitgangen

DOLBYDOLBYDIGITALDIGITAL

ENCODERENCODER

A SINGLEBITSTREAMDELIVERED

TO MANYRECEIVERS

DIGITALPASSTHROUGH

SET-TOP BOX

5.1

DIGITALDIGITALHOME THEATERHOME THEATER

DIGITALPASSTHROUGH

SET-TOP BOX

5.1

DIGITALDIGITALHOME THEATERHOME THEATER

Lt / RtDOWNMIX

HOME THEATERHOME THEATER

PROLOGIC

HI-FI VCR

STEREODOWNMIX

STEREO,STEREO,HEADPHONESHEADPHONES

MONODOWNMIX

TV RF REMODTV RF REMOD

09-10-2008

Andere metadata

• Channel mode en LFE• Is dit 5.1 or stereo?• Dolby Surround mode• Is dit een stereo mix matrix encoded?• Audio production information• Mix level• Room type• Zie ‘A Guide to Dolby Metadata’ verkrijgbaar op

www.dolby.com voor alle details

09-10-2008

Upmixing2.0 naar 5.1

09-10-2008

Upmixing

• In transmissie is het schakelen tussen 2.0 (stereo PCM) en 5.1 een lastige zaak.

• Hiervoor is een upmixing proces gemaakt• Deze zorgt voor een constante 5.1 transmissie, zelfs

als de bron 2.0 is• Linear Acoustic is een van de pioneers op dit vlak

– Binnenkort ook verkrijgbaar bij Axon

09-10-2008

Upmixing

09-10-2008

Dolby Digital Plus

09-10-2008

Dolby Digital plus

• Zowel een professioneel als consumer formaat• Voor de consument de manier om 7.1 in transmissie of

op een optische drager te krijgen (BlueRay)• Hogere compressie, of betere kwaliteit bij gelijke

bandbreedte• Metadata structuur gelijk aan Dolby Digital• Dolby Digital plus gaat hand in hand met MPEG4/H264• Verplicht in Frankrijk bij HD transmissie• Kan meerdere audio stromen bevatten (audio

description)• Makkelijk te transcoderen naar AC3 voor compatibiliteit

09-10-2008

AAC+ (omgedoopt naar Dolby Pulse)

09-10-2008

Dolby Pulse

• Door de aankoop van Coding Technologies is de zeer efficiënte AAC+ nu in handen van Dolby

• Dolby Pulse is AAC in een Dolby Digital plus jasje• Net geïntroduceerd op IBC• We zullen zien …..

09-10-2008

DialNorm

09-10-2008

De gemiddelde luidheid zou constant moeten zijn !!!

• dBFS Leq(A)• Leq(A) is een lange termijn gemiddelde meting van de

luidheid van geluid• Leq(A) gebruikt A-weighting om de frequentie curve

van het oor te simuleren• Oorspronkelijke gebruikers:

– samplen het programma een paar seconden– Passen het volume aan tot het goed is

• Dolby Digital gebruikt Dialogue Normalisation (DialNorm) om verschillen te corrigeren bij het afspelen

09-10-2008

Wat is DialNorm?

-20 dBFS-20 dBFS

0 dBFS0 dBFS

-10 dBFS-10 dBFS

-30 dBFS-30 dBFS

-40 dBFS-40 dBFS

AVERAGE DIALOGUEAVERAGE DIALOGUE SIGNAL PEAKSSIGNAL PEAKS

DigitalFull Scale

-50 dBFS-50 dBFS

-24

09-10-2008

Wat is DialNorm?

-20 dBFS-20 dBFS

0 dBFS0 dBFS

-10 dBFS-10 dBFS

-30 dBFS-30 dBFS

-40 dBFS-40 dBFS

DIALOGUELOUDNESSAT -31 dBFS

DigitalFull Scale

-50 dBFS-50 dBFS

WITHDIALOG NORMALIZATION

PROGRAMLEVEL

SHIFTED-7 dB


09-10-2008

Enkele typische audio signalen

-27

ACTIONFILM DRAMA SPORTS CLASSICAL ROCK NEWS ADS

-24 -21 -20

-10

-20

-7


0 dBFS

-10 dBFS

-20 dBFS

-30 dBFS

-40 dBFS

09-10-2008

Hoe worden die uitgezonden?



0 dBFS

-10 dBFS

-20 dBFS

-30 dBFS

-40 dBFS

09-10-2008

Enkele typische audio signalen

-27


-24 -21 -20

-10

-20

-7


0 dBFS

-10 dBFS

-20 dBFS

-30 dBFS

-40 dBFS

09-10-2008

Uitgezonden met Dolby Digital



0 dBFS

-10 dBFS

-20 dBFS

-30 dBFS

-40 dBFS

09-10-2008

Dank [email protected]

09-10-2008 the Dutch Guild of Multi-Media Engineers.

Documents

Transcript of 09-10-2008 the Dutch Guild of Multi-Media Engineers.