(Sound)elearning.kocw.net/KOCW/document/2015/kumoh/leehaeyeon/16.pdf · 1. 사운드 개념 1....

Chapter 10 멀티미디어 - 사운드 (Sound)

http://cs.kumoh.ac.kr/main.do

Contents

1. 사운드 개념

2. 사운드 데이터 및 코딩

3. 사운드 데이터 처리

4. 사운드 데이터 응용


1. 사운드 개념

1. 사운드 정의

A. 물체의 진동으로 인해 일어나는 물리적 현상

예) 바이올린 현을 켜거나 심벌즈를 부딪칠 때 나는 진동

B. (Wikipidia) Sound is the vibration of matter, as perceived by

the sense of hearing. Physically, sound is vibrational mechanical

energy that propagates through matter as a wave.


1. 사운드 개념

1. 사운드 원리

A. 물체 진동이 주변 공기로 퍼지면서 형성된 압력으로 인하여

귀에 있는 고막이 떨리면서 사람이 차이를 인지함

B. 파형 (Wave)

일정 간격으로 같은 패턴을 반복하는 압력의 파동 모양

(1 주기)


1. 사운드 개념

1. 주기 (cycle, period)

A. 같은 파형이 한 번 나타나는 데 소요되는 시간 (단위 초)

B. 주기적인 형태의 사운드 (periodic sounds)

인지할 수 있는 주기성을 갖는 사운드

새의 지저귐

C. 비주기적인 형태의 사운드 (non-periodic sounds)

주기적 사운드의 반대 개념

재채기, 노이즈

2. 주파수 (frequency)

A. 1초당 주기 수, 주기 값의 역수

B. 단위 Hz

한주기 (one period)

공기압(air pressure)

시간의 경과

진폭(amplitude)

한주기 (one period)

공기압(air pressure)

시간의 경과

진폭(amplitude)


1. 사운드 개념

1. 사운드 신호의 가청 주파수

A. 가청 주파수란 사람의 청력으로 들을 수 있는 주파수 대역을 의미

B. 사람의 가청 주파수 : 20 Hz ~ 20 kHz

가청 주파수의 대역폭은 동물마다 다름: 예) 박쥐, 돌고래 …

C. 사운드 신호의 변조 및 하드웨어 설계 등 사운드 처리에 이용


1. 사운드 개념

1. 가청 주파수 테스트 (10Hz, 100Hz, 1000Hz, 10000Hz)

2. 5초 192,000 Hz 샘플링


1. 사운드 개념

1. 10 Hz


1. 사운드 개념

1. 100 Hz (0 ~ 1초 구간 확대)


1. 사운드 개념

1. 1000 Hz, 10000Hz


1. 사운드 개념

1. 사운드의 강도 (intensity)

A. 심리적인 요인을 배제한 물리적인 사운드의 크기

참고) 세기(loudness) : 심리적으로 느끼는 사운드의 크기

B. 사운드 강도 단위: 데시벨 (dB, Decibel)

A: 측정강도

B: 가청문턱값 1.0*10-12 (1m2에 작용하는 힘)

C. 고통 임계값 (threshold of pain): 100 dB ~ 120 dB

사운드 데이터에 대해서 처리할 사운드 강도의 범위를

설정하는 것 등에 유용하게 사용이 가능함

dB = 10 log10(A / B)



1. 사운드 데이터 코딩 (coding)

A. 인코딩 (encoding) - Encoder

아날로그 신호를 디지털 신호로 변환한 후 전송 선로를 통하여

전송하거나 기억 장소에 저장하기 전에 압축하는 과정

B. 디코딩 (decoding) - Decoder

전송되거나 기억 장소에 저장된 디지털 신호를 원래의

아날로그 사운드 신호로 복원하는 과정

C. 인코딩 + 디코딩 모듈: 코덱 (Codec)



음질

(MOS)매우좋음

좋음

보통

나쁨

매우나쁨

혼성 코딩

파형 코딩

전송률 (Bit Rate)

음원 코딩

2 4 8 16 32 46

음질

(MOS)매우좋음

좋음

보통

나쁨

매우나쁨

혼성 코딩

파형 코딩

전송률 (Bit Rate)

음원 코딩

2 4 8 16 32 46

1. 사운드 코딩 기법

A. 파형 코딩

B. 음원 코딩

C. 혼성 코딩

2. 코딩 기법 비교


2. 사운드 데이터 및 코딩 - 파형코딩

1. 파형 코딩 (Waveform coding)

A. 사운드를 1 차원 시계열(time-series) 데이터로 규정하여

사운드 파형 자체를 복원 가능하도록 코딩하는 방법

B. 방법들

PCM (Pulse Code Modulation)

DPCM (Differential PCM)

ADPCM (Adaptive DPCM)



1. PCM (Pulse Code Modulation)

A. 연속적으로 변화하는 아날로그 신호의 강도를 주기적으로 샘플링

하여 저장하는 방법

가령) 3비트로 표현되는 디지털 값으로 저장한다면 s1＝4(100),

s2＝6(110), s3＝7(111), s4＝7(111), s5＝7(111), s6＝6(110) …

시간의경과s1 s2 s3 s4 s5 s60

1

2

3

4

5

6

7

신호의강도


1

2

3

4

5

6

7

0

1

2

3

4

5

6

7

신호의강도



1. PCM (Pulse Code Modulation) - 계속

A. 샘플링 기법: 일정한 시간 간격으로 알아낸 아날로그 신호의 크기

를 디지털 데이터의 형태(양자 단위)로 저장하는 방법

- 가령, 실수를 정수로 저장, 정수를 4의 배수로 저장 등…

B. 양자화 잡음 (quantization noise)

원래 신호값과 양자로 표현된 신호값과 차이

원래 아날로그 신호가 갖고 있는 변화폭이 작거나

디지털 데이터의 단위당 비트수가 클수록 그 크기가 감소

C. 나이퀴스트 정리: 원래의 아날로그 신호가 갖는 주기보다 2배 이

상 빠른 주기로 샘플링하면 원래 신호와 거의 차이가 없는 사운

드 정보를 얻게 됨

예) 가청주파수 20Hz ~ 20 KHz

음악 CD : 1 초에 44,100 회 (44.1 kHz) 샘플링



1. DPCM (Differential PCM)

A. 바로 이전에 샘플링 되었던 신호값과의 차이를 코딩하는 방법

B. 아날로그 신호는 인접한 범위 내에서 그 크기 변화가

심하지 않기 때문에 DPCM이 가능

2. ADPCM

A. 미리 예상한 신호값과 원래의 신호 값의 차이에 따라

스케일(scale)을 다르게 하여 코딩하는 방법

B. 압축 알고리즘 단순성과 뛰어난 음질로 여러 분야에서 응용됨



1. PCM 4 6 6 7 7 6 …

2. DPCM 4 2 0 1 0 -1 …

3. ADPCM 4 1 0 1 0 -1 …

x2 x2 x1 x1 x1


1

2

3

4

5

6

7

신호의강도


1

2

3

4

5

6

7

0

1

2

3

4

5

6

7

신호의강도



1. 사람의 음성

A. 대역폭: 약 4 kHz

B. 샘플링: 8 kHz

C. 샘플 당 사용되는 데이터 최소 비트 수 : 2 bits

D. 코딩에 필요한 최소 전송률 : 8 kHz * 2 bits = 16 Kbps

E. 16 Kbps 이상 전송률을 사용시 원음과 가깝게 재현할 수 있음

2. CD의 음질

A. 가청주파수 대역폭: 약 20 kHz

B. 샘플링: 44.1 kHz

C. 샘플 당 사용되는 데이터 최소 비트 수 : 16 bits (2 bytes)

D. 코딩에 필요한 최소 전송률 : 44.1 kHz * 16 bits * 2 Channel



1. 사운드 예 - Stereo



1. 파형 변화의 예



1. 파형에 대한 디지털 데이터



1. SBC (Sub-band coding)

A. 아날로그 신호를 주파수 대역 상에서 다수 개의 주파수 대역으로

분리한 후에 각 아날로그 신호에 대해 코딩 방법을 적용

B. SBC 예)

1) 아날로그 신호의 주파수 대역을 5개로 분할

2) 각 주파수 대역만 추출하기 위한 대역 통과 필터를 적용

3) 5개 새로운 아날로그 신호 획득

4) 각각의 새로운 신호에 대해 PCM, DPCM, ADPCM 등

음성 코딩 방법을 적용

C. 장점

인간의 청각 특성을 이용한 처리가 용이

특정 주파수 대역에 대한 코딩 과정에서 일어날 수 있는

양자화 잡음은 다른 주파수 대역의 코딩에 영향을 미치지 않음


2. 사운드 데이터 및 코딩 - 음원코딩

1. 음원 코딩 (source coding)

A. 인간의 음성 생성 과정을 기본 모델로 하는 음성 코딩 기법

B. 장점

음성을 몇 개의 파라미터로 코딩하므로, 정보량이 작음

C. 단점

기존에 개발된 음성 생성 모델이 인간의 음성 생성 과정에

비해 매우 단순하여 고품질 합성음 코딩에 적절치 않음


2. 사운드 데이터 및 코딩 - 혼성코딩

1. 혼성 코딩 (hybrid coding)

A. 파형 코딩을 이용하여 여기 (excitation) 신호를 생성하고,

음원 코딩을 사용하여 조음 기관의 공명 특성을 반영하는

정보를 재현

B. 적용 사례

RELP(Residual Excited Linear Prediction),

MBE(Multi-Band Excitation)

MP-LPC(Multi Pulse LPC)

CELP(Codebook Linear Excited Prediction)


2. 사운드 데이터 및 코딩 - 저장

1. 사운드 카드

A. Analog-to-Digital 및 Digital-to-Analog 컨버터 역할

2. 오디오 화일 포맷

A. Waveform (.wav)

MS와 IBM에 의해서 지원 받고 있는 포맷

압축 없이 사운드 데이터를 저장

B. CD-Audio (.cda)

필립스와 소니의 공동 연구로 등장한

CD의 사운드 정보를 담기 위해 사용하고 있는 포맷

C. Real Audio (.ra, .ram, .rm)

네트워크 상의 실시간 스트리밍 기술에 의해 만들어진 화일 포맷


2. 사운드 데이터 및 코딩 - 저장

1. 오디오 화일 포맷 - 계속

A. MP3 (MPEG-1 Audio Layer-3)

동영상 오디오 신호의 효과적 사용을 위한 압축 방식

지각 코딩 (Perceptual Coding) 기법 사용 - 인간의 청각 심리 모델

을 사용하여 감도가 낮은 정보를 생략하여 코딩량을 절감하는 방법

방법) 인간의 가청 주파수를 32개 밴드로 분해 후 각각의 신호를 18

개의 서브밴드 코딩, 변형 이산 코사인 변환, 허프만 코딩을 통해 다

시 코딩함. 각 밴드에서 가장 강한 음의 성분에 대한 정보만을 선택

하고, 나머지 음에 대한 정보를 삭제

B. WMA, WMV

MS사가 만들었으며, 스트리밍을 지원하고 데이터 용량이 MP3의 절

반 수준인 화일 포맷 (wma, wmv)

C. 기타

OGG (무료 음악 파일 형식), VQF (NTF에 의한 압축 파일 포맷) 등



1. 스펙트럼 (Spectrum)

A. 아날로그 파형을 푸리에 (Fourier) 분석을 이용해 여러 개의 다양

한 주파수와 진폭을 갖는 스펙트럼 인자로 분해하여 표현 가능



1. 스펙트럼 (Spectrum) - 계속

A. 각 스펙트럼 인자들을 중첩하면 분석 전의 원래 파형 모양에 근

사하게 됨

B. 고 차원의 사운드 처리 기법들을 다룰 수 있어서

다양한 응용 분야에 이용되고 있음


3. 사운드 데이터 처리 - 음성인식

1. 음성 인식 정의

A. 음성에 포함된 언어적인 정보를 추출하여 컴퓨터가 이해할 수 있

는 표현 방법으로 변환하는 과정

2. 음성 인식 과정

A. 화자에 의해 발성된 음성이 여러 단계를 거쳐 최종적으로 컴퓨터

에 의해 인식되는 것

전처리(특징 추출)

분할 인식 과정

표준패턴생성

훈련 과정

인식 결과

음성 입력

음성 인식기훈련 과정

전처리(특징 추출)

분할 인식 과정

표준패턴생성

훈련 과정

인식 결과

음성 입력

음성 인식기훈련 과정



1. 음성 인식 과정

A. 전처리 (preprocessing) :

음성 신호로부터 의미 있는 음성 구간을 검출하고, 음향학적인 파

라미터로 변환

B. 분할 (segmentation) :

인식을 위해 정의된 인식 단위로 입력된 음성을 잘라내는 것

C. 인식 (recognition) :

분할된 음성 단위들을 인식하는 것

2. 음성인식의 분류

기준 분류 내용

인식 대상

화자 독립 불특정 다수의 화자의 음성 만을 인식

화자 종속 특정한 화자의 음성을 인식

인식 대상 어휘

고립 단어 인식 하나의 단어 만이 발성됨

연결 단어 인식 여러 단어가 짧은 휴지 기간를 갖고 서로 연결됨

연속 음성 인식 여러 단어를 연속적으로 발음됨

핵심어 인식 일상 대화체에서 핵심 단어만 인식



1. 음성 인식 방법들

A. 패턴 정합법: 참조 패턴과 주어진 입력 패턴을 비교하여 둘 간의

유사성 정도를 측정

참조 패턴 DB

a a b c




1. 지식에 기반을 둔 방법: 사람의 음성 인식 과정을 규칙의 형태로

저장한 후 입력되는 음성에 대하여 저장된 규칙을 적용하여 인식

하는 방법




1. 벡터 양자화 이용 방법: 입력 패턴과 양자화 코드북 내에 있는 코

드워드라고 불리는 일종의 표준 패턴들 사이의 거리를 측정하여

거리가 가장 가까운 코드워드에 입력 패턴을 매칭하는 방법




A. 은닉 마르코프 모델(Hidden Markov Model)

통계학적 방법으로 음성 인식에서 가장 널리 쓰이는 방법

음성데이터의 확률적 모델 간의 유사도를 사용하여 인식을 수행




A. 신경 회로망 (Neural Network)

뇌의 정보처리 과정을 공학적으로 모델링 한 방법

고립 단어, 음소 인식에 뛰어난 성능을 보임


3. 사운드 데이터 처리 - 음성합성

1. 음성 합성

A. 기계를 이용하여 사람의 음성을 인공적으로 생성해 내는 것

B. 합성된 음성 신호를 실제로 말할 때 나타나는 발음 현상을 적용

하여 일상 대화에서 듣게 되는 음성 신호와 같게 만들어야 함

2. 고려해야 할 사항

A. 음향학적 측면

인간의 실제 음성에 더 가까운 사운드를 내기 위함

B. 언어학(음운학)적 측면

동일한 단어가 문맥에 따라 다른 발음되는 현상을 고려함

예) “신을 신고 신고하러 간다”, “양복 한 벌” v.s. “옷 한 벌”



1. 음성합성 분류

A. 제한 어휘 합성 기법

미리 정해진 수의 어휘를 저장하고, 조합하여 음성 신호 생성

구현은 쉽지만 어휘를 단순 연결하여 사운드가 부자연스럽고 어색

예) 자동 응답 시스템, 지하철 등의 안내 방송

B. 무제한 어휘 합성 기법

임의의 문장을 입력 받아 무제한으로 음성을 합성

예) TTS(Text-to-Speech)


http://www.oddcast.com/home/demos/tts/tts_example.php

1. 최신 TTS 기술 활용

2. 사운드 확인

A. Hello Everyone

B. 안녕하세요



문장 입력 전처리 언어 처리부 합성부 합성음

음성 입력

음성 분석부

Corpus

대용량 음성

데이터베이스

단위 음성

데이터베이스


음성 입력

음성 분석부

Corpus

대용량


음성 입력

음성 분석부

Corpus

대용량 음성

데이터베이스

단위 음성

데이터베이스


음성 입력

음성 분석부

Corpus

대용량



1. 정보통신 분야

A. 휴대폰 음성인식 : 음성 작동 다이얼, 통화자 확인 등

B. 대화형 음성인식 :

연속된 다량의 어휘의 처리가 가능한 음성 인식기 개발

C. 말하는 웹 브라우저 :

음성 명령 만으로 인터넷에 접속해 필요한 정보 검색

사용자와 대화하면서 인터넷을 검색한 후 내용을 낭독



1. 운송 분야

A. 자동차 네비게이션 시스템

내장형 음성 작동 시스템을 탑재

네비게이션 목적지 지정을 위한 음성 인식 모듈 개발

2. 교육 분야

A. IBM SpeechViewer™

B. 인간의 언어 습관을 교정

3. 재활 분야

A. 음성으로 작동하는 휠체어

B. 음성 인식 프로세서를 통한 문서 작성

4. 보안 분야

A. 사용자 출입을 위한 신원 확인과 조회


(Sound)elearning.kocw.net/KOCW/document/2015/kumoh/leehaeyeon/16.pdf · 1. 사운드 개념 1....

Documents

Transcript of (Sound)elearning.kocw.net/KOCW/document/2015/kumoh/leehaeyeon/16.pdf · 1. 사운드 개념 1....