會議報告會議類別:其他std-share.itri.org.tw/Content/Files/Report/Files/BSMI_JCT_VC_23... ·...

22
1 會議報告(會議類別:其他) MPEG/ITU-T JCT-VC#23 Meeting 會議報告 出席人員: 林敬傑 派赴地區:美國/聖地牙哥 會議期間:105 2 19 日至 2 26 報告日期:105 3 22

Transcript of 會議報告會議類別:其他std-share.itri.org.tw/Content/Files/Report/Files/BSMI_JCT_VC_23... ·...

1

會議報告(會議類別:其他)

MPEG/ITU-T JCT-VC#23 Meeting 會議報告

出席人員: 林敬傑

派赴地區:美國/聖地牙哥

會議期間:105 年 2 月 19 日至 2 月 26 日

報告日期:105 年 3 月 22 日

2

摘要

第 23次視訊編碼聯合工作小組(Joint Collaborative Team on Video Coding,

JCT-VC)會議,於 2 月 19 日星期五上午 9 點到 2 月 26 日星期五的中午,在美

國的聖地牙哥舉行。本團隊依規劃有一位成員出席,此行主要任務包括參與

螢幕視訊編碼(Screen Content Coding, SCC)技術跟高動態範圍廣色域成像

(High Dynamic Range/Wide Color Gamut, HDR/WCG)技術等議案討論,掌握制

定中之視訊編碼標準的時程與編碼技術的發展。同時也參加在同一地點舉辦

的動態影像專家群組(Moving Picture Experts Group, MPEG)與MPEG特別工作

團隊(Ad Hoc Group, AHG)會議,關注各項最新視訊編碼技術資訊和未來視訊

編碼的需求。

本次會議所做出的重要結論包括:(1)完成螢幕視訊編碼標準的制定,

該標準除了包含螢幕視訊編碼技術之外,還包括了以高效率視訊編碼標準

(High Efficiency Video Coding, HEVC)為基礎的三維視訊編碼(3D Video

Coding, 3D-HEVC)標準和可調整視訊編碼(Scalable Video Coding, SHVC)標準

的修正。(2)高動態範圍廣色域成像技術,經過這一次聖地牙哥會議的討論

之後,決定不新增一個以 HEVC 為基礎的新視訊編碼規範(profile),而是產出

一個高動態範圍廣色域成像影片的轉換(conversion)和編碼(coding)之實踐方

法。

3

技術貢獻

這次會議本團隊提出一篇與螢幕視訊編碼議題有關的轉換單元決策機制技

術(Treated)。此提案與簡化編碼器在硬體實作上的複雜度有關,透過所提出之

轉換單元分割機制的改變,能夠簡化編碼器的編碼流程,在不影響編碼效能的

前提下,降低編碼器的複雜度。

會議解說

第 23 次視訊編碼聯合工作小組(Joint Collaborative Team on Video Coding,

JCT-VC)會議,於 2 月 19 日星期五上午 9 點到 2 月 26 日星期五的中午,在美

國的聖地牙哥舉行,共有約 130 位來自各個公司的專家代表參加,大約有 110

篇的提案,其內容大概可以分為螢幕視訊編碼(Screen Content Coding, SCC)

技術跟高動態範圍廣色域成像 (High Dynamic Range/Wide Color Gamut,

HDR/WCG)技術兩大類。本次參加會議主要任務為發表本團隊的技術提案,

參加各項編碼工具及其他技術之討論及辯護,掌握視訊編碼標準制定時程、

技術發展趨勢和新的需求跟應用情境。

與會成員工作分配

成 員 任 務

林敬傑

進行標準制定工作,發表本團隊的技術提案,參與 SCC 和

HDR/WCG 等視訊編碼相關技術議題的討論和辯護,掌握標準制

定現況以及最新應用情境跟需求。

4

目 錄

摘要 ............................................................................................................................ 2

技術貢獻 ...................................................................................................................... 3

會議解說 ...................................................................................................................... 3

與會成員工作分配 ...................................................................................................... 3

一. 會議名稱 ............................................................................................................ 5

二. 參加會議目的及效益 ........................................................................................ 5

三. 會議時間 ............................................................................................................ 5

四. 會議地點 ............................................................................................................ 5

五. 會議摘要:會議議程及會議紀要 .................................................................... 6

(一) 會議議程 ............................................................................................................. 6

(二) 會議紀要 ............................................................................................................. 9

六. 心得及建議 ...................................................................................................... 21

七. 未來標準會議規劃 .......................................................................................... 21

八. 附件 .................................................................................................................. 22

5

一 . 會議名稱

MPEG/ITU-T JCT-VC#23 會議

二 . 參加會議目的及效益

此次參加在美國聖地牙哥所舉辦的第 23 次視訊編碼聯合工作小組(Joint

Collaborative Team on Video Coding, JCT-VC)會議,其目的在於推動本團隊之技

術提案被採納進入標準,參與螢幕視訊編碼(Screen Content Coding, SCC)技術

跟高動態範圍廣色域成像(High Dynamic Range/Wide Color Gamut, HDR/WCG)

技術等相關技術議題的討論。本次出國主要完成任務如下:

參與 SCC 跟 HDR/WCG 等相關技術議題在各個核心實驗(Core Experiment,

CE)或臨時編組(Ad Hoc Group, AHG)會議中的審查和討論,並追蹤各技術

之最新情況

完成本團隊所提出之技術提案的報告、辯護和協商。

與來自各個世界級大廠或研究單位的專家代表接觸,討論技術發展趨勢,

同時探詢未來合作機會

追蹤動態影像專家群組(Moving Picture Experts Group, MPEG)會議相關視

訊編碼技術發展方向、標準制定進度和最新應用情境和市場需求

三 . 會議時間

2016/2/19 ~ 2016/2/26

四 . 會議地點

美國/聖地牙哥

San Diego Marriott La Jolla

4240 La Jolla Village Drive, San Diego, California, USA 92037

Tel: +1-858-587-1414

6

五 . 會議摘要:會議議程及會議紀要

(一) 會議議程

在聖地牙哥除了 JCT-VC 會議之外,同時也舉行了 MPEG 會議,會議的議

程如表一。

表一:JCT-VC 與 MPEG 會議之議程表

Function Time Location

Friday, 19 February

JCT-VC & HDR&WCG Video Coding 08:00 - 20:00 Salon D

JVET & Future Coding Technology Evaluation

VCEG 08:00 - 20:00 Salon E

Saturday, 20 February

JCT-VC & HDR&WCG Video Coding 08:00 - 20:00 Salon D

JVET & Future Coding Technology Evaluation

VCEG 08:00 - 20:00 Salon E

JCT-VC B/O I 08:00 - 20:00 Salon A

Genome Compression & Storage 09:00 - 18:00 Salon B

MPEG Media Transport 09:00 - 18:00 Salon G

MPEG-21 User Description 13:00 - 18:00 Boardroom

MPEG-DASH 14:00 - 20:00 Salon C

FTV 14:00 - 18:00 Salon H

Sunday, 21 February

JCT-VC & HDR&WCG Video Coding 08:00 - 20:00 Salon D

JVET & Future Coding Technology Evaluation

VCEG 08:00 - 20:00 Salon E

JCT-VC B/O I 08:00 - 20:00 Salon A

Green MPEG 08:30 - 11:00 Rancho Las Palmas

MPEG-21 User Description 09:00 - 18:00 Boardroom

MPEG-DASH 09:00 - 20:00 Salon C

Compact Descriptors for Video Analysis (joint

w/ MPEG-7 Visual & CDVS) 09:00 - 18:00 Salon F

Genome Compression & Storage 09:00 - 18:00 Salon B

Media Orchestration 09:00 - 18:00 San Francisco

Augmented Reality & Graphics Compression 09:00 - 12:00 Santa Barbara

7

Function Time Location

FTV 12:00 - 20:00 Salon H

3D Audio & Audio Maintenance 13:00 - 18:00 La Jolla Social

Big Media 14:00 - 18:00 Mission Beach

Lightfield Formats 14:00 - 18:00 Los Angeles

Internet Video Coding 14:00 - 18:00 Rancho Las Palmas

Media-centric Internet of Things & Wearables 14:00 - 18:00 Santa Barbara

MPEG Convenor Advisors 18:00 - 22:00 Santa Clara

Monday, 22 February

MPEG Plenary 09:00 - 13:00 La Jolla Ballroom

JCT-VC 14:00 - 20:00 Salon D

JVET 14:00 - 20:00 Salon E

JCT-VC B/O I 14:00 - 20:00 Salon A

MPEG Systems I 14:00 - 18:00 Salon C

MPEG Systems II 14:00 - 18:00 Salon B

MPEG Video 14:00 - 18:00 Salon F & G

MPEG 7 14:00 - 18:00 Salon H

MPEG Audio 14:00 - 18:00 Newport & Irvine

MPEG Requirements 14:00 - 18:00 Soledad Ballroom

3DG 14:00 - 18:00 Santa Clara

HoD 18:00 - 22:00 Santa Clara

Tuesday, 23 February

JCT-VC 08:00 - 20:00 Salon D

JVET 08:00 - 20:00 Salon E

JCT-VC B/O I 08:00 - 20:00 Salon A

MPEG Systems I 09:00 - 18:00 Salon C

MPEG Systems II 09:00 - 18:00 Salon B

MPEG Video 09:00 - 18:00 Salon F & G

MPEG 7 09:00 - 18:00 Salon H

MPEG Audio 09:00 - 18:00 Newport & Irvine

MPEG Requirements 09:00 - 14:00 Soledad Ballroom

MPEG Genome Compression Seminar 14:00 - 18:00 Newport & Irvine

3DG 09:00 - 18:00 Santa Clara

MPEG Convenor Advisors 18:00 - 22:00 Santa Clara

Wednesday, 24 February

MPEG Plenary 09:00 - 13:00 La Jolla Ballroom

JCT-VC 14:00 - 18:00 Salon D

JVET 14:00 - 18:00 Salon E

8

Function Time Location

JCT-VC B/O I 14:00 - 18:00 Salon A

MPEG Systems I 14:00 - 18:00 Salon C

MPEG Systems II 14:00 - 18:00 Salon B

MPEG Video 14:00 - 18:00 Salon F & G

MPEG 7 14:00 - 18:00 Salon H

MPEG Audio 14:00 - 18:00 Newport & Irvine

MPEG Requirements Workshop on 5G/Beyond

UHD Media 13:00 - 18:00 Soledad Ballroom

3DG 14:00 - 18:00 Santa Clara

Thursday, 25 February

JCT-VC 08:00 - 20:00 Salon D

JVET 08:00 - 20:00 Salon E

JCT-VC B/O I 08:00 - 20:00 Salon A

MPEG Systems I 09:00 - 18:00 Salon C

MPEG Systems II 09:00 - 18:00 Salon B

MPEG Video 09:00 - 18:00 Salon F & G

MPEG 7 09:00 - 18:00 Salon H

MPEG Audio 09:00 - 18:00 Newport & Irvine

MPEG Requirements 09:00 - 18:00 Soledad Ballroom

3DG 09:00 - 18:00 Santa Clara

MPEG Convenor Advisors 18:00 - 22:00 Santa Clara

Friday, 26 February

MPEG Plenary 14:00 - 22:00 La Jolla Ballroom

JCT-VC 08:00 - 13:00 Salon D

JVET 08:00 - 13:00 Salon E

JCT-VC B/O I 08:00 - 13:00 Salon A

MPEG Systems I 09:00 - 13:00 Salon C

MPEG Systems II 09:00 - 13:00 Salon B

MPEG Video 09:00 - 13:00 Salon F & G

MPEG 7 09:00 - 13:00 Salon H

MPEG Audio 09:00 - 13:00 Newport & Irvine

MPEG Requirements 09:00 - 13:00 Soledad Ballroom

3DG 09:00 - 13:00 Santa Clara

9

(二) 會議紀要

本團隊此次主要是參與螢幕視訊編碼技術、高動態範圍廣色域成像技術跟

其他相關技術議題的討論,以下就摘要本次會議在這些議題的重要提案:

螢幕視訊編碼(SCC)技術

自 2014 年,JCT-VC 針對螢幕視訊發布了徵求技術規格書競賽(Joint Call for

Proposal, CfP)的文件,經過約兩年的標準制定,螢幕視訊編碼技術的發展,已經

非常的穩定成熟,而且依照螢幕視訊編碼標準制定時程的規劃,聖地牙哥會議

將會產出最終版的螢幕視訊編碼標準規格書。因此,這次會議中,螢幕視訊編

碼的提案量顯著減少,共約 8 個提案,內容大多是規格書的清除(clean up)或錯

誤修正的修訂等,但仍有幾篇調色盤編碼(Palette Coding)編碼器優化相關的技術

提案,最高可以提升 1%左右的編碼效能。本次會議重點摘要說明如下:

JCTVC-W0075 : “Palette lossless encoder improvements for the 4:2:0

chroma format” , Canon

在 4:2:0 彩度格式中,編碼器編碼的時候,亮度值 Y1,Y2,Y3所對應

的彩度值是由 Y0所對應的彩度值複製過來的;相對的,解碼器解碼的

時候,亮度值 Y1,Y2,Y3所對應的彩度值則是會被解碼器丟棄,如圖一所

示。這篇提案內容是針對了 4:2:0 彩度格式的無失真調色盤模式的特性

進行改善:

1. 原本的編碼器進行 4:2:0 彩度格式的無失真編碼的時候,會使

用四種演算法,決定出最好的編碼模式,這篇提案提出減少三

種演算法,在不影響編碼效能的情況下,平均可以減少 10%的

編碼時間。

2. 透過加強調色盤顏色對應和追蹤的技術,減少調色盤的索引編

碼長度,最高增加了約 1%的編碼效能。

10

整合以上兩個演算法的更動後,最高增加了約 1%的編碼效能,同時平

均減少 10%的編碼時間。由於程式碼更動幅度很小,大約 50 多行,而

且有顯著減少了編碼時間,因此被採納。

圖一:編碼器與解碼器針對 4:2:0 顏色成像方式進行調色盤編碼

之示意圖。

JCTVC-W0078 : “Bottom-up hash value calculation and validity check” ,

Xidian Univ., Microsoft

在 SCC 的參考軟體中,動態向量評估(Motion Estimation, ME)藉由

每一個可能的區塊,包含 8x8、16x16、32x32 和 64x64 等區塊建立拼湊

值,加速畫面間預測的計算。這個提案提出了一種由下而上的拼湊值計

算方式以及有效測試方法,能夠降低複雜度,加快搜尋速度,在 4:4:4

彩度格式的測試環境下,可以減少 7%~17%的編碼時間。

Y0 Y1

Y2 Y3

Cr0 Cr0

Cr0 Cr0

Cb0 Cb0

Cb0 Cb0

Cr0 Cr1

Cr2 Cr3

Cb0 Cb1

Cb2 Cb3

Y0 Y1

Y2 Y3

Y0 Y1

Y2 Y3

Cr0 Cr0

Cr0 Cr0

Y0 Y1

Y2 Y3

11

圖二:由下而上的拼湊值計算方式的示意圖

高動態範圍廣色域成像(HDR/WCG)技術

本次聖地牙哥會議,是 HDR/WCG 技術從 MPEG 轉移到 JCT-VC 後的第一

次會議,大約有 60 篇的提案。上次日內瓦會議,HDR/WCG AHG 建立了下列 8

個 CE:

CE1: Optimization without HEVC specification change

CE2: 4:2:0 YCbCr NCL fixed point for HDR video coding

CE3: Objective/subjective metrics

CE4: Consumer monitor testing

CE5: Colour transforms and sampling filters

CE6: Non-normative post processing

CE7: Hybrid Log Gamma investigation

CE8: Viewable SDR testing

本次會議討論的重點主要集中在 CE1 和 CE2。CE1 是在不修改目前 HEVC

標準之規格書的情況下,將現有的參考規格的技術(Anchor),針對高動態範圍廣

色域成像技術進行優化,產出超級參考規格的技術(Super Anchor)。CE2 則是以

目前 HEVC 標準規格書中的 10 位元標準規範(Main 10 profile),針對高動態範圍

廣色域成像相關技術,新增後處理相關演算法。依照先前標準制定時程的規劃,

將在本次會議中,根據 Super Anchor 和修改規格書後的技術,透過主觀或客觀

測試,來決定未來高動態範圍廣色域成像標準制定的時程。

12

因此,本次會議中先針對主觀測試的影片進行了挑選和討論,最後選擇 8

個測試影片,並同時邀請 10 位與會專家進行了主觀測試。測試結果顯示,兩種

方法的編碼效能非常的接近,因此,本次會議根據這次主觀測試的結果,決定

不會新增一個以 HEVC 為基礎的新視訊編碼規範(profile),也不會針對 HEVC 標

準的規格書進行修改,未來的技術工作,將著重於測試驗證以及產出一個高動

態範圍廣色域成像影片的轉換(conversion)和編碼(coding)之實踐方法。2 月 24 日

星期三中午的聯合會議中,與會專家討論之重點摘要說明如下:

Review of previous status and update on review of technical

contributions

The benefit for HDR/WCG quality demonstrated by post-processing was

not so clear or large

It was noted that the CRI SEI message can already do similar processing

to some of what was tested

o CE2 mode 0 was a per-component LUT

o CRI SEI supports a per-component LUT, and a matrix multiply,

followed by another per-component LUT (each LUT piecewise

linear with up to 33 segments)

o There are also other things that can be done (existing tone

mapping SEI message, alternative transfer characteristics SEI

message)

It was agreed not to plan to create a new profile (or any other

"normative" or implicitly required specification that would imply that

something new is needed to properly enable HDR service)

Further SEI/VUI work may be desirable, but not a new profile, and we

have a clear indication that nothing (not even some SEI message) is

necessary to properly deliver HDR (for an HDR-specific service)

We will focus more further work on guidelines and verification testing

Study of potential enhancement techniques (e.g. for possible additional

SEI messages) is still planned

Guidelines could include how to use some SEI message(s)

Longer-term coding exploration is under way (e.g., in JVET).

由於未來高動態範圍廣色域成像技術將不會有以 HEVC 為基礎的標準制定

13

計畫,因此,本次會議沒有建立任何新的 CE。不過為了能夠更進一步探討有關

於向後支援(Backward Compatibility, BC)的技術議題,本次會議建立了一個新的

AHG 進行相關研究。本次會議所建立的 AGH 如下:

JCT-VC project management (AHG1)

HEVC test model editing and errata reporting (AHG2)

HEVC HM software development and software technical evaluation

(AHG3)

HEVC conformance test development (AHG4)

Verification test reporting (AHG5)

Screen content coding extensions verification testing (AHG6)

Screen content coding extensions text editing (AHG7)

Screen content coding extensions software development (AHG8)

SHVC software development (AHG9)

Test sequence material (AHG10)

HDR/WCG visual testing (AHG11)

HDR/WCG verification test planning (AHG12)

HDR/WCG coding practices guideline development (AHG13)

HDR/WCG technology for backward compatibility and display

adaptivity (AHG14)

下世代視訊編碼(Future Video Coding)技術

有鑒於 HEVC 的相關重要標準制定已經告一段落了,各國際大廠開始針對

新的技術發展和市場需求,尋求下世代視訊標準制定的可能性,並且在 MPEG

成立了 Future Video Coding 的 AHG。在歷經數次會期之後,MPEG 在第 113 次

會期成立一個新的聯合視訊探索小組(Joint Video Exploration Team, JVET),而這

14

次在聖地牙哥的所舉行的第 2 次 JVET 會議,總計約有 60 多篇提案,分別來自

KDDI、Nokia、Samsung、Qualcomm、Sony、Huawei、Panasonic、RWTH Aachen

University、Hanyang University、bcom、Shanghai Jiao Tong University、MediaTek、

ETRI、ITRI、Sejong University 等公司或研究單位。除了一篇提案談到了希望下

世代的視訊編碼標準能支援虛擬實境(Virtual Reality, VR)的需求,其餘的提案則

多屬於編碼工具測試、新編碼工具的發表和討論以及測試影片的評估報告。

由於前幾次會期,在沒有交互測試和嚴格的審查之下,就把許多編碼工具

整合到聯合探索測試平台(Joint Exploration Test Model , JEM)裡,造成整個軟體

過於腫大,編碼速度非常慢,大幅增加每次執行一輪測試的時間。於是在上次

會期裡,有些專家提議應該回過頭來檢視一下這些已經整合到 JEM 裡面的編碼

工具,包括檢查這些編碼工具在 JEM 的實作是否和原技術提案內所描述之內容

相符,並且詳細分析這些編碼工具的複雜度、編碼效能、相依性和所需要的記

憶體空間等問題。在本次會議中,一些專家針對這些編碼工具,提出複雜度和

效能分析以及建議,我們將這些意見摘要如下:

大編碼樹區塊和大轉化單元(Larger Coding Tree Block and Larger

Transform Unit)

在 HEVC 標準開始制定的時候,有一些分析結果顯示,編碼單元

(Coding Unit, CU)的尺寸不太會有大於 64x64 的可能性。然而最新的實

驗結果顯示約可增加 1%的編碼效能,與會專家推測應該是因為加大CU

尺寸後,使得適應性取樣偏移(Sample-adaptive offset, SAO)的編碼負擔

(overhead)下降的關係;同時觀察到轉換單元(Transfer Unit, TU)尺寸是

64x64 的時候,多增加兩個位元來提升轉換係數的精準度幾乎沒有提升

任何編碼效率,反而提高了硬體設計的複雜度。

四叉樹加二元樹區塊結構(Quadtree plus binary tree block structure,

QTBT)

15

由於 QTBT 只整合了 22 項 JEM 編碼工具中的 14 項到其軟體內,

因此只有附上 QTBT 相較於 HEVC 的編碼效能比較,在畫面內測試環

境(All Intra test condition, AI)下約增加 4%的編碼效能,在其它測試環境

下則約有 7%。

67 個畫面內預測模式(67 intra prediction modes)

經過分析討論,與會專家觀察到此項編碼工具所增加的編碼效率,

是來自於富有強烈線條和尺寸較大的測試影片,在 AI 下約增加 0.7%的

編碼效能。

四抽頭畫面內之內差器(Four-tap intra interpolation filter)

分析這項編碼工具的結果顯示,這項編碼工具對於 TU 尺寸在 8x8

以下比較有效益,而整體增加的編碼效率,則是來自於尺寸較小的測試

影片。

跨成像方式預估(Cross component prediction)

這項畫面內編碼工具可以增加近 3%的編碼效能,除此之外也觀察

到單純調整λ(lambda modification)對整體的編碼效能幾乎沒有影響。

獨立位置畫面內預估(Position dependent intra prediction combination,

PDPC)

這項編碼工具被認為是基於多重係數畫面內編碼(Multi-parameter

intra, MPI)技術所衍生出來的技術,大約可以增加約 1.5%的編碼效能。

會議中有專家指出這項編碼工具的複雜度問題,相較於 MPI 需要多使

用 1050 位元組的記憶體,在未來的技術發展上應要多留意這一點。

適應性平滑參考點方法(Adaptive reference sample smoothing)

與會專家分析了這項編碼工具後,認為這項編碼工具多做了許多當

初沒有在原技術提案裡所提到的修改,因此,專家們建議應該把這些多

16

增加的修改處,拆開來各別進行測試與分析。

適應性動態向量解析度(Adaptive motion vector resolution)

從實驗結果分析,這項編碼工具對大尺寸的測試影片有較佳的編碼

效能。

區塊重複動態向量補償(Overlapped block motion compensation, OBMC)

這項編碼工具在子劃分單元時間軸動態向量預估(Sub Partition

Unit Temporal Motion Vector Predictor, sub-PU TMVP)被使用的時候,將

會運作在子劃分單元(Sub Partition Unit, sub-PU)的邊界上;而且目前

JEM 的版本在亮度跟彩度都會使用 OBMC。從實驗結果來看,這項編

碼工具對小尺寸的測試影片有較佳的編碼效能,但是同時也增加了約

20%的編碼時間。

區域照度補償(Local illumination compensation)

對編解碼器而言,這項編碼工具需要用到 64 位元精確度的數學運

算,可能會增加硬體實作的複雜度,但是編碼時間並沒有顯著的增加。

仿射動態向量補償預估(Affine motion compensation prediction)

相較於傳統的運算模型需要六個參數,整合在 JEM 內的編碼工具

是一個只需要四個參數的簡化版模型,然而,目前這個模型在實作上有

幾點受到與會專家的質疑,包括把動態向量的精確度拉高到 1/64,並且

進行內差濾波(interpolation filter)的時候也增加了 2 個位元的精確度,有

與會專家認為需要研究並瞭解這些變動是否有其必要性。

圖案匹配動態向量運算(Pattern matched motion vector derivation)

這項編碼工具使得解碼器在計算動態向量的時候需要進行大量運

算,因此解碼時間最高會上升到 300%。

17

雙向光流方法(Bi-directional optical flow)

這項編碼工具在解碼器算出動態向量的時候需要做大量運算,因此

解碼時間最高會上升到 200%。而在目前的 JEM 裡面允許當預測元

(predictor)都來自同一方向時,也使用這項工具,不過根據實驗分析,

這項變動所提高的編碼效能似乎很小。

適應性多重核心轉換(Adaptive multiple core transform, AMCT)

這項編碼工具對大尺寸的測試影片有較佳的編碼效能,同時,從實

驗結果可以發現在彩度也有一些編碼效能的增加。

信號獨立轉換(Signal dependent transform, SDT)

這項編碼工具和 AMCT 一起進行比較分析,結果顯示這項編碼工

具的編碼效能和 AMCT 沒有太多的重合,而且編碼效能相當地可觀,

只不過這項複雜的編碼工具同時也大幅增加了編解碼的複雜度。

適應性循環率波器(Adaptive loop filter, ALF)

這項編碼工具在去區塊率波器(de-blocking filter)所進行的變動,經

過分析證明當ALF被使用的時候,降低去區塊強度(de-blocking strength)

是有效的。

轉換係數階層之內容模型挑選方法(Context model selection for

transform coefficient levels)

經過分析之後,其結果顯示這項編碼工具能夠帶來穩定的編碼效能,

同時在複雜度方面也沒有太大的問題。

內容模型初始方法(Initialization for context models)

與會專家在經過分析後指出,對於編碼器和解碼器來說,這項編碼

工具會降低平行化處理的程度。

18

為了提高 JEM 的品質,本次會議決定將要求未來新的編碼工具要被整合進

JEM 之前,必須至少要讓所有的專家,能夠研究一個會議週期,而且要提供詳

盡的分析文獻,讓其他公司或研究單位的專家方便檢視這項編碼工具。基於上

述決議和多次討論之後,本次會議同意建立探索實驗(Exploration Experiment,

EE),並從下個會期開始,所有的新技術提案(尚未在 JEM 裡面)都將先在這個探

索實驗進行測試,經過一次會期的充分研究後,再決定是否要把該項新技術納

入 JEM 裡面。

從華沙會議以來,共有 Bcom, Huawei, Netflix, University of Bristol, Shanghai

Jiao Tong University(SJTU)等五個單位,提供了許多新的測試影片,為了瞭解這

些測試影片的特性,同時評估是否有適合的測試影片可以用在下世代視訊編碼

標準制定測試中,因此在上個會議決定徵求志願公司,針對這些測試影片進行

主客觀評比,提出相關的建議,並且推薦有哪些測試影片應該要成為未來開發

下世代訊標準的測試影片。主觀測試的方法大概可以分為兩種,一種是在正常

速度下觀看這些測試影片,而另一種則是以一個畫面接一個畫面播放的方式來

觀看測試這些影片,客觀測試則是使用 HEVC 版本 16.6 進行編碼。

當主席完成所有測試影片的提案審查後,依據各個提案所推薦的測試影片

以及部分與會專家的建議,從全部六十幾個測試影片中,挑出二十幾個測試影

片作為候選名單,並開始進行第二階段的挑選。第二階段的測試影片挑選工作

則是以現場與會專家的觀看評分為主,由數十名志願的與會專家逐一觀看測試

影片後打上分數,並且由主席進行評分統計。經過最後一輪的討論後,留下平

均分數最高的數個測試影片,以及與會專家建議要特別留下的測試影片,總計

是 8 個測試影片,而這 8 個測試影片將會取代目前分類 A(class A)的測試影片。

自由視點電視(Free-viewpoint TV, FTV)技術

FTV AHG 在 2 月 20 日和 2 月 21 日 2 天先舉行了 AHG 會議,並且在接下

19

來的五天,繼續討論在這一次會議中,各家公司和研究單位回應 FTV CfE 的軟

體平台跟技術提案,以及其他共 22 篇的技術提案。在聖地牙哥會議前,共有浙

江大學、波茲南工業大學(Poznan University of Technology)和情報通信研究機構

(National Institute of Information and Communications Technology, NICT)三個單位

回應了 FTV 的徵求壓縮技術效能競賽(Call for Evidence, CfE)。這次 FTV 的 CfE

主要針對兩項技術進行討論,分別是超級多視角(Super Multi-view, SMV)技術和

自由瀏覽(Free Navigation, FN)技術。超級多視角技術的需求是在沒有景深圖的輔

助下,能夠針對密集、線性或非線性的攝影機陣列,共 80 個以上的視角進行壓

縮。而自由瀏覽技術則是將較為鬆散又線性或非線性的攝影機陣列,透過編碼

後的 7 個紋理影片和 7 個景深影片,合成出從 12 到 22 個視角的影片。

FTV AHG 針對 CfE 舉行了主觀測試,並且邀請與會的專家參加,並且在星

期三的 MPEG 全體大會上報告主觀測試的結果。結果顯示,這三個回應 CfE 的

技術提案,相較於 Anchor 的技術,並沒有突出的效能。不過在 2 月 25 日星期

四的時候,有一提案單位發現客觀測試的計算方式有誤,經過錯誤修正後,客

觀測試的結果,相較於參考規格的技術,約可以增加 20%的壓縮效能。另外,

在這次會議中,主觀測試並沒有完成 CfE 所有的測試影片審查,因此,FTV AHG

依然會持續進行相關的審查活動。

除了審查 CfE 和與 CfE 相關的技術提案之外,還有兩項重要的活動,就是

FTV AHG 審查了 360 度的測試影片,跟一個新的重要需求:磚式全視差光場顯

示器。延續先前會期關於 360 度三維影片和其應用情境的討論,這次電子通訊

研究院(Electronics and Telecommunications Research Institute, ETRI)貢獻了三個

360 度的測試影片,分別是關於開車和跳舞的應用情境,測試影片的規格說明詳

見表二。歐絲坦度科技(Ostendo Technologies Inc.)則是提出磚式全視差光場顯示

器,將六片小尺寸的全視差光場顯示器整合在一張基版上,並且透過一台電腦

主機進行控制顯示器的觀看視角,觀察者能夠從光場顯示器上,從車子的左邊、

20

右邊、下方和上方四個視角看到車子模型的外貌。

表二:360 度的測試影片規格說明

規格

名稱 Driving360, Dancing360 Soccer360

解析度 2032x2704 1440x1920

畫面更新率 30 60

畫面數 300 畫面(10 秒) 600畫面(10 秒)

視角數 10 個視角數

攝影機排列 360 度

21

六 . 心得及建議

(1) 以 HEVC 為基礎的螢幕視訊編碼標準之制定自 2014 年開始,經過近兩

年的時間,規格書的制定已經在這次會期正式結束,未來將著重於測試

驗證計畫、參考軟體優化和產出一致性位元流。

(2) 經過這次聖地牙哥會議的討論後,JCT-VC 決定不制定以 HEVC 為基礎

的高動態範圍廣色域成像標準,但是會在之後的幾個會期,產出一份關

於成像影片轉換和編碼實踐方法的技術報告,仍然值得產業界繼續關注

相關發展。

(3) MPEG 已經正式開始啟動下世代視訊編碼的研究工作,將會成為未來視

訊編碼技術標準制定的主要戰場,須密切注意相關技術發展和可能制定

時程,並且提早投入布局。

(4) 在聖地牙哥會議期間,FTV AHG 審查了 CfE 部分的主觀測試影片和相關

的技術提案,同時也有公司提出了 360 度三維視訊測試影片和光場顯示

器的需求,未來 FTV 的技術發展,仍然值得持續進行觀察。

七 . 未來標準會議規劃

未來幾次會期會議時間與地點暫定如下:

會議 時間 地點

JCT-VC #24 26 May - 1 June 2016 Geneva, Switzerland

JCT-VC #25 14 - 21 Oct. 2016 Chengdu, China

JCT-VC #26 12 – 18 Jan. 2017 Geneva, Switzerland

JCT-VC #27 31 March – 7 April 2017 Hobart, Australia

22

八 . 附件

這次會議本團隊提出 1 篇提案被討論(Treated)。

MPEG/ITU-T JCT-VC #23 Meeting, (Feb.19-Feb.26, 2016)San Diego,

California, USA (1,1,0)

1. JCTVC-W0042, “SCC encoder improvement”, ITRI <Treated>