國立清華大學電機工程學系

影像通訊實驗室

影像通訊實驗室 資電館 708 室 研究方向：

多媒體通訊 視訊處理 電腦視覺

指導教授：黃仲陵教授

Semantic Video indexing

動機：

由於視訊資料大量數位化，數位資料暴增，但若結合各種最新之壓縮及視訊處理標準，編碼及壓縮的目標不難達成，所以現階段最急於解決的是我們如何在最短的時間內找到最符合我們需求的 Content 。

研究方法

Image frame

Motion Estimation

Affine

Transformation

Parameter

Classifier

Semantic

representation

Low Level Feature

Detection

Knowledge

Database(Bayesian Network)

Frame-Based

Maker

步驟 步驟最初先對視訊資料分割為物件 (Object) 及背景 (B

ackground) 依其高階層的語意 (Semantic) 做視訊切割，並找出對應的低階層特徵 (Low level feature) 。

並利用貝司網路定理 (Bayesian Network) 建立視訊內容之間所隱含的關係模組，加以訓練 (Training) 後得到內容語意之間的機率分佈及參數，如此我們即能確定語意間的相關程度，並利用這些關係指數依現有的資訊去推演 (Inferring) 出我們所要搜尋的資料。

最後將視訊依其語意加以標示。

FGS-based scalable video coding with drift control and selective enhancement

MPEG-4 採用了 FGS 可調整式的壓縮架構，適用於網路上的視訊傳輸。然而，為了避免 Drift 的問題， FGS在 enhancement layer 不採用 motion prediction ，嚴重降低壓縮效能。我們將有效地掌握一段視訊影像中 Drift 的程度，在 enhancement layer 盡可能使用motion prediction 來提升壓縮效率。

更進一步，我們會在畫面中擷取出視覺重點，針對這些部分加入 temporal enhancement layer ，以增加這些區域的畫面流暢性。

FGS structure Base layer: Intra-coding Enhancement layer: Inter-coding

I B P B

Base Layer

Enhancement Layer

Temporal-Scalable Coding Based on Image Content

EnhancementLayer

Base Layer

Interpolation

Copy Copy

Motioncompensation

Clock Synchronization for Fractal Modulation Fractal Modulation 具有自我相似性與 multi-rate

的特性，對於資料的接收與可靠度有相當大的彈性。然而，在以 wavelet transform 為基底的運算中，同步是需要特別處理的問題。我們將利用 Fractal Modulation 的自我相似性，來發展出一個極為可靠的同步技巧。

更進一步，我們會額外利用 wavelet transform 的特性得到，不同層次的同步訊號，對於 multi-rate system 的彈性，可以更加確保。

Fractal Modulation Time and frequency diversity and multi-

rate system Time-frequency portrait

Synchronization Technique and System Model

Fractal Modulation

Source Data

Channal Demodulation

Wavelet Property

Fractal Property

Synchronizer

Multi-rate Clock Timing

Multiple Description Coding for Wireless Image Transmission using Multiple Antennas

主要觀念是利用 multiple description coding （ MDC ）將原本的影像分成兩個有關聯性的 descriptions （可用 transform based 的方法來得到），再經由 channel cod

ing (包含 error detection and correction code) ，以及 spac

e-time block coding ，再用兩個 transmit antennas把這兩個有 coding保護的 descriptions 傳送出去。 Channel 的部分可用 AWGN channel或用 Jake’s model 來模擬。接收端則經由與傳送端相反的步驟把這兩個 descriptions

解碼回來。 Fig 1. 是整個系統的架構圖。

如果所收到的兩個 descriptions都是正確的話， decoder

output就會得到高品質的影像。但是由於所傳送的 descr

iptions 可能會受到 channel 的影響而使得 descriptions 中某些部分會有 error產生，不過我們可利用 multiple d

escription 的特性，也就是可利用正確收到的 description

去估計另一個發生錯誤的 description ， decoder output

就會得到較低品質但可接受的影像。預期我提出的方法所得到的影像品質會比 JSCC using layered coding 的方法來的好，而且複雜度也會比較低。

System Description

Source MDEncoder

MDDecoder

}{ kF }{ kF

ChannelEncoder

ChannelEncoder

SpaceTimeBlock

Encoder

Tx1

Tx2

Rx1

Rx2

Channel

SpaceTimeBlock

Decoder&

ChannelDecoder

Fig 1. The system structure of multiple description coding for wireless image transmissionusing multiple antennas.

A Real-Time Model-Based Human Behavior Analysis

for Automatic Security Surveillance System

我們發展了一個在多重視野 (multiple views) 下以模型為基礎的即時人類行為分析系統。這個系統是一套可以即時分析真實場景中人體運動的系統，我們可以將它用在一般自動監視系統中。在這系統中我們要解決的問題是解釋一小群團體的互動關係。由於動作中的物體可能會引起遮蔽的問題，我們用多台攝影機來追縱物體，並且找到物體的位置及動作參數。

Layered FEC on multicast Network for Scalable Video Transmission

由於在多接（ multicast）的網路環境裡，不同的使用者有不同的延遲需求和不同的通道狀況，因此對提供視訊服務的伺服器來說，必須要能提供滿足不同使用者需求的視訊服務。

而傳統的流量控制方法，通常只適用於單接（ unicast）的網路，並不適用在此架構下。

因此，我們在此使用 Layered FEC multicast scheme 來傳送 scalable video ， 針對不同的使用者提供不同的 QoS（ Quality of Service）服務。

System Block Diagram

Video Layer3

Video Layer2

Video Layer1

Scalable Video Source

MDS Code Generator

FEC Layer1

FEC Layer2

Layered Multicast Group Internet

Receiver 1

Receiver n

Server

系統概說 從系統架構圖中顯示，在伺服器端我們利用先

將影像資料和殘餘通道編碼分層，然後分配到一組群組中，而使用者則可以根據他自我的需求和網路狀況，來選擇適合他的群組，以滿足不同的使用者特性和連接情況，來達到最好的接收影像表現。