授業予定（2013年度）ksasaki/lectures13/media_resume/...2013/5/12 5...

2013/5/12

1

メディア学入門（6）

第4章メディアコンテンツ制作のための基礎技術(4.1,4.2)

東京工科大学メディア学部近藤邦雄

講義資料：http://www2.teu.ac.jp/media/~ksasaki/lectures13/media_intro/

1

授業予定（2013年度）

• 第１回序論：メディア入門

• 第２回メディア社会を築くコンテンツとサービス

• 第３回メディアを支えるICT

• 第４回視覚に関わるメディアコンテンツ

• 第５回視覚、聴覚、触覚に関わるメディアコンテンツ

• 第６回コンテンツ制作のためのデジタル技術

• 第７回コンテンツ利用のためのデジタル技術

• 第８回中間テスト

2

2013/5/12

2

本講義の内容

4.1 デジタル化とデジタルデータ1. アナログとデジタル

2. 標本化と量子化

3. デジタルデータと保存、管理

4. 情報の検索

4.2 映像コンテンツのための制作技術1. 映像コンテンツ制作工程と主要な制作手法

2. イメージメディア処理

3. 3次元コンピュータグラフィックス

4. 特殊効果とプロジェクションマッピング

5. 音楽制作工程

3

メディアのモデル（基本概念）

コンテンツ制作のためのディジタル技術

送り手作り手発信者

受け手甘受者受信者

映像CG

テキスト音声

情報ニュース

案内作品

本、書籍ラジオテレビ

PC、スマホ

コンテンツコンテナコンベア

4

2013/5/12

3

メディアコンテンツ制作のための基礎技術

1．ディジタル化とディジタルデータ

2．映像コンテンツのための制作技術3．ユーザインタフェース技術（次週）

4.

5

ディジタル化とディジタルデータ

4.1

6

1. アナログとデジタル2. 標本化と量子化3. デジタルデータと保存、管理4. 情報の検索

2013/5/12

4

4.1.1 アナログとディジタル

• アナログとは？

• ディジタルとは？

連続量(アナログ量) 離散量(ディジタル量)

7

4.1.2 標本化と量子化

• アナログ/ディジタル変換 A/D 変換

• 連続的な値を離散的な値に変換すること– 数値を丸め込んで段階的にする

量子化誤差＝ディジタルデーターアナログ信号音声は時間的経過を分割 8

標本点量子化レベル

標本化した点の波形値量子化後の値

時間

信号

2013/5/12

5

音・サウンド制作技術

アンプ

標本化

量子化

A/D変換

サンプリング

サンプリング周波数CDの場合：44100分の1秒ごと

ディジタルデータ

CDの場合は16ビット

10

ノイズキャンセリングのヘッドフォン

ノイズキャンセリングヘッドホン『MDR‐NC500D』

世界初、ノイズキャンセリング機能をデジタル化周囲の騒音を約99％※2低減するノイズキャンセリングヘッドホン発売

周囲の音を内蔵のマイクロフォンで収音し、この音と逆位相の信号を混合して出力

http://00008.dousetsu.com/01.html

参考資料

11

2013/5/12

6

ディジタル画像

http://www.sugilab.net/jk/joho‐kiki/index.html 12

画像のディジタル化画像は平面上の連続情報を格子状に分割

標本化された格子状の離散的データ

画素：ピクセル(pixel)：デジタル画像の小単位

200×200の画像 8ピクセル（25分割）

8 レベル

13

2013/5/12

7

4.1.3 ディジタルデータと保存・管理

• アナログデータ：保存が大変、デジタルデータ：保存が容易• ディジタル化により管理が容易、コピーが簡単

• 文字,数字:– 英数字のＡＳＣＩＩコード、日本語ＪＩＳコード：– 文字は文字コード（10進数）に変換後、2進数の文字列データに変換

• 図形:x,y座標• 画像:画素、解像度、色• 動画：圧縮方式、MPEG‐4

• 0,1の配列により情報を信号化

bitは binary digit （2進数字）

8個の0,1(bit)をセットでbyteとして扱う

通常、データサイズはbyteで表す

kbyte,Mbyte,Gbyte,Tbyte

1bit

8bit = 1 byte

文字コードの表を調べよ。

14

[2] ディジタルデータの単位

[1]ディジタルデータの有用性

[3] 記録メディアとデータの記憶容量

– 記録メディアの単価減少、記録容量の拡大• フロップ―ディスク：DVDの1/5000～10000程度のデータ

• CD‐R、DVD

• USBメモリ

• ハードディスク

図4.2

2013/5/12

8

文字データと画像データ

16図4.3 学生が制作した「新聞」の一部（提供:山際和久）

新聞一ページのpdfのデータサイズ：約8MB文字数：およそ5500文字であり，データサイズは10.8KB(11,145byte)画像：5枚，一番大きな白黒画像はファイル形式がjpeg

画像サイズは縦1680，横1078画素，データサイズは1.64MB(1,700,000byte)

4.1.4 情報の検索

[1] ファイル検索情報検索メタデータ：

データ本体に関係する情報であり，データ作成日時，作成者，データ形式

[2]文書内の単語検索とソーティング単語検索

○文字列照合処理照合する文字列の先頭から順に照合したい文字列と比較して異なっていたら一文字ずつ後ろへ移動して照合が一致するまで繰り返す○ソーティングアルゴリズム大量のデータを処理して分析に用いるために，数値を比較・照合して並べ替えを高速に行う

2013/5/12

9

[3] Web検索• 検索エンジン

– 情報のディジタル化により検索が容易に

• 検索対象– 文書、音楽、画像、映像

索引全体検索結果ランキング

10件程度の表示

キーワード検索

ランキング処理

インターネット

収集

検索エンジンの利用

19

図4.5 検索エンジンの利用：「東京工科大学」を検索

2013/5/12

10

映像コンテンツのための制作技術

4.2

20

コンテンツ創作コースの卒業研究、大学院の研究へ発展

1. 映像コンテンツ制作工程と主要な制作手法2. イメージメディア処理3. 3次元コンピュータグラフィックス4. 特殊効果とプロジェクションマッピング5. 音楽制作工程

企画

デザイン

絵コンテ

レイアウト

原画

動画

スキャニング

デジタル彩色

撮影・エフェクト

背景原図

背景・BOOK

音楽・効果・せりふ

ダビング（ミックス）

ノンリニア編集

撮出し

脚本設定

特効

ビデオ編集※1

検査

完成

スキャニング

3Dモデリングテクスチャ素材作成

3Dシーン構築モーション付けシェーディング

3Dレンダリング

デジタル作業

場合によってはデジタル作業

アナログ作業

プレプロダクション

プロダクション

ポストプロダクション

彩色（仕上げ）

撮出しせずに直接撮影工程に流す場合もある

3D

※1 劇場作品ではフローが異なる

作画3Dを利用してレイアウト作成する場合もある

プレプロダクション

プロダクション

ポストプロダクション

企画、脚本、デザイン設定、絵コンテ

原画、動画

ディジタル彩色3Dモデリングモーションレンダリング

撮影

編集

21

4.2.1 映像コンテンツ制作工程

アニメマニュアルより引用

2013/5/12

11

4.2.1 映像コンテンツ制作工程と主要な制作手法

• シナリオ

• キャラクター

• ミザンセーヌ

– ライティング

– カメラワーク

22

ディジタルコンテンツ創作入門（1年生後期で詳しく紹介）

コンテンツ創作コース

ディジタル映像の撮影

カメラワーク

23

2013/5/12

12

24

25

2013/5/12

13

26

27

2013/5/12

14

28

ライティング

• 光と影によってシナリオを語る

Image from “The Third Man” (Carol Reed London Film 1949 )

2013/5/12

15

Key light : 0.7Fill light : 0.1Back light : 0.5Ratio : 7:1

Emotion : SadElement : Emotional

Lot No. : 2

Role : Hero

分析対象の選定３DCGでの再現

ライティング情報の

保存・分類

ライティング情報のディジタル化

Image from “The Third Man” (Carol Reed London Film 1949

ライティングスクラップブック

“Research on Digitizing Lighting information from the Movies”

Yoshihisa Kanematsu Mitsuru Kaneko,Nicograph international 2008 発表論文

“CG映像制作における簡易ライトエディタの研究”兼松祥央

Nicograph Spring Festival in TAF （2007春季大会）

ポスターセッション優秀論文賞受賞

2013/5/12

16


4.2

32



4.2.2 イメージメディア処理

33

ビジュアルコンピューティングの数理入門

（1年生後期で詳しく紹介）コンテンツ創作コース

元画像

標本化量子化

[1] 画像のデジタル化 1) 標本化と量子化

2013/5/12

17

2) ヒストグラムと濃淡変換

34

ヒストグラムと濃淡変換

元画像

濃淡変換例

ヒストグラム

ヒストグラム

横軸に画素値、縦軸に画素値の頻度

35

2013/5/12

18

[2] 画像処理

36

画像処理の目的画像からさまざまな情報を取り出す画像を加工して新しい画像を得る

画像処理技術画素ごとの濃淡変換空間フィルタリングである領域に基づく濃淡変換周波数領域におけるフィルタリング

画像処理技術の典型的な応用例顔認識

ディジタルカメラの顔認識，笑顔認識

特定の傷抽出防犯や工業生産へ展開

(1)画像処理とその応用

画像の切り取りと合成

37

図4.8 画像の切り取りと合成 (Chara Collage：渡邉による開発)

大学院メディアサイエンス専攻渡辺賢悟博士論文ビジュアル表現支援のための画像メディアツールの構築

2013/5/12

19

(2)領域に基づくフィルタ処理

フィルタ処理鮮鋭化，平滑化コントラスト強調モザイク処理ポスタリゼーション

・画像フィルタ

38

0 1 2 3 4

領域分割によるフィルタ処理

入力画像

領域分割

領域の統合

境界線描画

領域の合成

大きい領域小さい領域

大きさの評価

出力画像

Yusuke HAMASAKI, Kunio KONDO Image Generation Method using Synthesis and Control of Rendering Region, ADADA2003 Proceedings of the 1st annual conference of Asia Digital Art and Design Association, pp.70‐71, 2003.9

39

参考資料

2013/5/12

20

輪郭線の抽出例

40

元画像輪郭線抽出結果図4.9

ストロークを用いた絵画風描画• Haeberli の手法 [Haeberli 90]

41

2013/5/12

21

Jimmy:NPR画像変換システム

NPRの画像変換教育システム：ソースもあります。http://www.teu.ac.jp/clab/kondo/research/jimmy/

42

参考資料

Seam Carvingを用いた画像合成ツールの開発高橋淳和

DTPを行う際の作業の効率化

文字の配置時に構成物が適切な位置に移動

自然な移動のためSeam Carvingを利用

情報処理学会第73回全国大会学生奨励賞

相磯賞

2011年3月卒業

43

参考資料

イメージメディア論3年前期：コンテンツ創作コース

2013/5/12

22

（3）2次元コンピュータグラフィックスによる画像描画

44

画像描画機能：領域の塗りつぶし，グラデーション処理，ブラシ処理，画像変形，画像変換フィルタ処理

図4.10 ペイントによるイラスト生成

図a:濃淡付け機能の利用(1985, 近藤邦雄）

情報処理学会論文賞図b:「彩えんぴつ」による作画例(渡邉賢悟）

画像編集ツールPhotoshopが1990年にAdobe社から発売


4.2

45



2013/5/12

23

4.2.4 3次元コンピュータグラフィックス

[1] 3次元モデリング[2] レンダリング[3] アニメーション

46

コンテンツ創作コースの推奨科目ビジュアルコンピューティングの数理入門CG制作の基礎3次元コンピュータグラフィックス論ディジタル映像表現論

[1] 3次元モデリング

47

2013/5/12

24

形：イメージ手続き：アイデア

実物形状記述イメージの形

手続き記述生成法のアイデア

デジタイジングモデリングソフトプログラミング

数値形状モデル数理造形

48

デジタルモデリングの概要

図4.11 デジタルモデリングの概要

(a) 3次元CGソフトウェアの利用によるモデリング

49

細分割曲面

細分割曲面

多面体

ポリゴン

2013/5/12

25

ポリゴン

Kobbelt, SIGGRAPH 200050

細分割曲面

51

2013/5/12

26

基本的な3次元形状

52

• 和集合

• 積集合

• 差集合

立体の集合演算

53

2013/5/12

27

3次ベジエ曲線(Bezier)

• 4個の制御点を用いて定義する

33

22

12

03)3( )1(3)1(3)1()( PtPttPttPttB

CG-ARTS54

ベジエ曲線によるアウトラインフォント

TrueTypeフォントで２次ベジエ曲線

Postscriptでは３次ベジエ曲線

© 1999 CG-ARTS

2013/5/12

28

自由曲面の表現

(C) Nishita 199856

写実性の追求（服）

57

2013/5/12

29

テクスチャマッピング

CG-ARTS58

テクスチャマッピングの効果

CG-ARTS59

2013/5/12

30

TECHNOA INC.

（株）テクノア

アパレルデザインにおけるテクスチャマッピングの応用

2006

60

(b) 3次元スキャナを利用したモデリング

61

2013/5/12

31

埼玉県立博物館における計測実験

埴輪の3次元計測風景VIVID(ミノルタ)システムを用いた場合は

測定物の向きを変えて複数測定する

近藤邦雄

埼玉県立博物館における測定結果

©1999 デジタルメディア研究会

2013/5/12

32

(c) 数理造形によるモデリング

64

a.樹木 (渕上季代絵提供) b.Scissors Ficco（鋏宙魚）(河口洋一郎提供)

図4.13数理造形による作品例

[2] レンダリングフォトリアリスティックレンダリング

ノンフォトリアリステックレンダリング

65

2013/5/12

33

(a) フォトリアリスティックレンダリング

66

ラジオシティ法 (西田友是提供) 光線追跡法(柿本正憲提供)

図4.14

(5) デジタルカメラモデル

67

2013/5/12

34

68

69

2013/5/12

35

平行光線

• 太陽光（無限遠点の光源）：平行線とみなす

反射光の強さ：入射角の余弦に比例

入射光の強さ

ランバートの余弦則

:

cos

Ii

IkI id

参考資料

70

[1] CGによる陰影づけの手順

構図の決定形状の表現質感の表現目的 71

2013/5/12

36

線光源による画像生成

© T.Nishita

CATIA

72

写実性の追求

73

Visual simulation of natural phenomena

石川知一助手

太陽のプロミネンスオーロラ

東京工科大学

2013/5/12

37

コンピュータグラフィックスの研究開発柿本正憲教授

1987 1989 1990

1997

19921992

2005

2007

20042000 2012

• Computer graphics research and development since 1982

東京工科大学

(b)ノンフォトリアリスティックレンダリング

75

テクニカルイラスト，図面，スケッチ，絵画，水墨画，凹版画，漫画，アニメ，レリーフ

図4.15 3次元モデルのさまざまな絵画への変換(18)

米山孝史，源田悦夫，近藤邦雄: 視覚パラメータに基づく絵画風画像生成手法, 図学研究,日本図学会,Voi.43,No.4,pp.13‐21,2009 (大学院博士後期課程の研究)

2013/5/12

38

[3] アニメーション

1．キーフレームアニメーション2.プロシージャルアニメーション3.デバイス入力を用いたアニメーション

76

3枚の画像の連続表示仮現運動

77

2013/5/12

39

3枚の画像の連続表示

78

1.キーフレームアニメーション

http://yellowsoft.com/development/development_g3.html79

2013/5/12

40

補間（内挿）方法

• 線形補間

• スプライン補間

10

10

10

)1(

)1(

)1(

tyyty

txxtx

tpptpt

の滑らかな関数1)1(,0)0(

)())(1( 10

ff

ptfptfpt

p0p1

キーフレーム0 キーフレーム1中割り（中間図形）

t=0

t=1

t=0.5

2次元キーフレーム法：中割り手法

80

キーフレームアニメーション

81

キーフレーム手法とアニメの生成例

2013/5/12

41

2. 2次元キーフレーム法：中割り手法

82

2.プロシージャルアニメーション

83

2013/5/12

42

3.デバイス入力を用いたアニメーション

光学式、磁気式、機械式

84

iClone:キネクトを利用した動作入力

アニメーションの誇張表現

85

図4.17 アニメーションのための誇張表現(17)

東京工科大学

のこしの表現パースの誇張

2013/5/12

43


4.2

86



4.2.4 特殊効果とプロジェクションンマッピング

• VFX– CGなどのディジタル技術を利用して特殊

映像効果を制作

• プロジェクションマッピング– ビデオやCGなどの映像をプロジェクター

で、建造物などの立体物に投影する手法

87東京駅のプロジェクションマッピング 2012 （写真：高桑昌男）

2013/5/12

44

[2] プロジェクションマッピング

88

ステージセットへのプロジェクションマッピング

ステージセットとプロジェクタの配置

提供：(有)雲母社松任谷由美「Road Show Tour 2011」コンサートツアー

現実空間と仮想空間の整合性a．現実と仮想空間の正確な位置合わせをする幾何学的整合性b．現実と仮想空間内の光源に関する光学的整合性c．現実の物体と仮想的な物体の運動や反応などの時間的同期に関する時間的整合性


4.2

89



2013/5/12

45

4.2.5 音楽制作工程と技術

作曲・編曲

録音

編集・ミキシング

書き出し

マスタリング

CD製作

メロディとコード進行

楽器マイク

パソコン

MIDI

音質・音量調整、エフェクト、音量バランス

音質の終調整、曲順や曲間の時間

CD複製、盤面・ジャケットの印刷歌詞カードの印刷

個人製作のケース

Cubase（キューベース）音楽制作ソフトウェア

楽曲データ

90

本講義のまとめ

4.1 デジタル化とデジタルデータ1. アナログとデジタル

2. 標本化と量子化

3. デジタルデータと保存、管理

4. 情報の検索

4.2 映像コンテンツのための制作技術1. 映像コンテンツ制作工程と主要な制作手法

2. イメージメディア処理

3. 3次元コンピュータグラフィックス

4. 特殊効果とプロジェクションマッピング

5. 音楽制作工程

91

2013/5/12

46

次週講義前までの予習課題

復習（メディア学入門の学習）「メディア学」辞典：キーワードとその説明を整理すること

4年間で自分なりの用語辞典を作るといい。

（復習であり、宿題ではない）

92

予習課題第4章3節「ユーザインタフェース技術」を読んで来ること

講義内レポート課題（10分）

学籍番号：授業科目：メディア学入門

氏名：

1

2

93

授業予定（2013年度）ksasaki/lectures13/media_resume/...2013/5/12 5...

Documents

Transcript of 授業予定（2013年度）ksasaki/lectures13/media_resume/...2013/5/12 5...