演奏における表情付け1996年に，Narmour理論も導入 Widmerらの研究 23 片寄晴弘...

演奏における表情付け

片寄晴弘

関西学院大学理工学部情報科学科

音楽情報処理（第13回）

片寄晴弘関西学院大学理工学部音楽情報処理講義資料 2020

7/3(金) 実験の概要と案内関西学院大学 M2 片寄研究室藤坂亜南

Email: [email protected]

片寄晴弘関西学院大学理工学部音楽情報処理講義資料 2020 2

実験のご協力をお願いいたします！7/3(金)音楽情報処理の講義内で、実験をさせて頂きたいと考えています。楽器経験の有無等にかかわらずご参加ください。

準備物：イヤホン or ヘッドホン、PC

時間：約60分

以下のどちらかのブラウザを使って頂きます。

Safari Google Chrome


研究・実験の内容

研究内容：ピアノ演奏者が意図した演奏表現(フレーズ表現)が聴取者にどのように伝わるのかを、視聴覚の相互作用の観点から分析

->演奏者の姿の有無で、聴き取った表現の違いはあるのか？

実験概要：実験用のWebインタフェースを使用して、演奏を視聴しながら、聴き取ったフレーズ表現を入力

このように演奏をしたい！

だんだん強く

「フレーズ表現」って？・・・次ページへ

使い方は当日ご説明いたします。


フレーズ表現とは？(1)

• フレーズ(phrase)：まとまった意味を表す一続きの言葉、言い回し※音楽用語では、旋律の一区切りを表す。

Ø頂点：フレーズ毎の核となる音

「ふるさと」の歌詞を例に

頂点：フレーズ内で最も重要な音• 音量が強い/弱い• 音符が長い• タメていた

• 動きが大きい etc..


フレーズ表現とは？(2)

• フレーズ(phrase)：まとまった意味を表す一続きの言葉、言い回し※音楽用語では、旋律の一区切りを表す。

n階層：親子関係とも言い、１つの親に対して複数の子を持つ構造.子フレーズを親のサブフレーズとも呼ぶ

「ふるさと」の歌詞を例に

子親階層構造


演奏ロボット

2008 ASIMO（ホンダ）

2007 トヨタロボット

2005 トヨタロボット


演奏ロボット

1984 筑波科学博

2004 Lemour


演奏ロボット（温故知新）

オルゴール１７９６年スイスで誕生．時計職人のアントワーヌ・ファーブルが小さな懐中時計に演奏装置を組み込むために考案

18世紀末，演奏ロボット(オートマタ）「オルガンを弾く少女 Musician」(1773)少女は，演奏の前に聴衆を見渡し，静かに譜面に目を落す．指がオルガンの鍵盤を押して見事に演奏する．演奏後に聴衆に鄭重なおじぎをする．２本のゼンマイを動力として動く

『カリヨン』人々に時を知らせる時計塔。いくつかの鐘が取り付けられ機械仕掛けで音楽を奏でました。1381年ベルギーブリュッセルのニコラス・カーク塔が最初と言われている．


演奏ロボット（番外編）

2007 初音ミク

音楽ロボット・シーケンサ

Musicオトマタ（1773）

トヨタボット（2004）

凄い！（演奏するものから見れば）動きが変？

この曲しか演奏できない！

アクチュエータ（筋肉）・小脳の実現 ◯実は，音楽が判っていない＜人間のお仕事＞知能・感性（大脳新皮質の機能）の実現は？


自動作・編曲演奏の表情付け音楽聴取のモデル化

1950年半ばからの夢n Cf. イリアック組曲（1957）n 計算機の歴史とほぼ同じ

人工知能・人工感性３大目標


楽曲の繰り返し時にみられる表現の類似性に実測（Seashore 1938）音符の組み合わせによる表現法の実測（Gabrielsson 1983）音符の階層的組み合わせによる演奏データ生成（Clynes 1984）アナリシスバイシンセシスによる演奏ルールの抽出（Frydon, Sundburg 1984）

自動演奏言語の開発（1980年後半田口，片寄・・）

歴史１（表情付けと解釈）


歴史２（表情付けと解釈）

小節表現のデータベース作成と検索(筑波大富塚, 五十嵐ら 1988)類型・演奏記号の共通表現に着目した演奏ルールの抽出(阪大片寄ら 1989)ニューラルネットによる演奏表現学習(パデュア大 Bresin 1992）EBLを用いた演奏ルールの抽出と再現(ウイーン大 Widmer 1993)


CrestMuse 音楽デザイン支援技術

VocaListener

v.morish

Wii

iPhone

CrestMuse成果システム外部技術凡例

yeariPhone4

ニコニコ動画サービス

VOCALOID2（初音ミク）発売

AiiM指揮システム

歌唱モーフィング（静的）

Arduino

ZigBeeiPad

Netぼかりす

Youtubeサービス

VOCALOID 12004/01

感情音声モーフィング（静的

）

SingBySpeakingCrestMuse Vocal Designer

構造データ配付（予定）PEDB公開PEDB構築開始

演奏表情データベース

CM:iOrchestra

Orpheus 1.1自動作曲システ

ムOrpheusBB

Mixtract表情付け支援システム Polyhymni

aVirtualPhilharmony

指揮システムiFPMovtouch/phoni

eメディアコントローラ

CMX配布音楽情報処理用

API

Eurydice多声自動伴奏システム

MIDI信号からの多声対応自動採譜

保科理論

GTTM

1998

1983exGTTM

CrestMuse成果データベース・API

UGC, CGM

メディアデバイス F_M_B/ MoPHメディアコントローラ

CrestMuse の取り組み

歌唱レゾネータ


MIS (1990～) 片寄，高見，福岡，青野，上符，石川

演奏

楽譜

表現記号音符

楽曲構造

音楽構造＆アトリビュート

人間の演奏例音楽表現ルール

演奏表現ルールの抽出

演奏生成

楽譜認識

構造解析ルール抽出

人間の演奏例

グループ（Ｌ＆Ｊ）重心，頂点ナーモア分析

テンポ，音量アーティキュレーション

フォームルールゲシュタルトルール

構造理解スキーマ

演奏プラン

音楽構造解析

1989～DPによる演奏 Deviation 抽出

1990 音楽解釈モデルMIS類型に基づく演奏ルール抽出演奏コンパイラ1996～重回帰分析によるルール抽出1997延長リダクション学習2001 音楽デザイン再利用

（さきがけ研究21）


MIS 青野，片寄 1996

重回帰分析 iteration（一種の山登り法）


ショパン Walzer.op.64.No.2（青野，片寄 1995）

0

20

40

60

80

100

120

1 11 21 31 41 51 61 71Note number

Velocity

Player

System

演奏の再構成

機械的演奏

学習用前半全部（合成）


シューマン思い出


MIS 石川，片寄 1997~

Multiple Regression

Analysis

Multiple Regression

Analysis

Backward Elimination

Fitting MAX?

AND processing

NO

START

YES

Fitting MAX?NO

YES

END

ルールの追加＋変数減少法の導入


Walzer.op.64.No.2 ショパン（石川，片寄 1999）

slur,crescendo, decrescendo,adjacency, direction-upwards, direction-downwards, note jumpGroup Start, Group End,Gravity Point of (Phrase ON/OFF), parts towards the gravity (Tense)

parts after the gravity (Release), Process (pitch) Duplicate(pitch) Reverse (pitch)Process (duration) Duplicate(duration) Reverse (duration)

1st. Beat, 2nd. Beat, 3rd. Beat


MIS 石川，片寄 1999ルールの追加＋変数減少法の導入

�

��

��

�

��

��

��

� �� "��#��

��

��

"%

�#��

�%!"�� "��$�

�%!"�� "��


1993～帰納学習法（IBL-SMART)と数値内挿法を組み合わせた手法

n 条件節に相当する部分の音量やテンポが平均値より大きいか小さいかなどの基準で正事例，負事例を集積

n 後で制御量（どれだけ平均値より大きくするか小さくするか）の数値的なフィッティング

G.T.T.M. のグループ構造をベースにしていた．1996年に，Narmour理論も導入

Widmerらの研究


Widmer（ウィーン大 2002）n楽曲構造の大局的なレベルからフレージングに相当する表情変化（音量，テンポ）を抽出

n最小レベルの「余り」を演奏者（当該楽曲）の個性として学習

余り

演奏

階層ごとのフレージング

Widmerらの研究


The Director Musices (DM) system(~30 rules) 1980年代→現在進行中

Differentiation RulesEx.: Duration Contrast Rule

Grouping RulesEx.: Phrase Articulation Rule

Synchronization/Ensemble RulesEx.: Ensemble timing

Other RulesEx.: Repetition Articulation Rule

Roberto Bresin, Anders Friberg, Johan Sundberg

Dep. of Speech Music and Hearing, KTH

DM 意味レベル- （ツールボックス）感情 (happy, sad, appassionata)

運動関連 (strong, light, running)

高次表現

高次意味マッピング

ルールパラメータ

Activity

-Valence +

Activity-Valence space

ExpressivenessWeight

”Musical” space

Sad, gestural, noise, structure

Nominal


1990年代からのトレンド＜認知に対する興味＞

学習型のシステムへ音楽の構造理解モデル演奏プラン，オントロジーへの興味

•音楽解釈モデル：重回帰分析のイタレーションと種々の音楽構造解析理論を用いた演奏ルールの抽出（1995～青野，片寄）•演奏者情報や曲の印象分類に基づいた自動演奏生成システム（1995～白川ら）•ヒューリスティックな音楽ルール，類似モチーフの利用，演奏分析のための視覚化システム，音楽オントロジーへ（1999 平賀瑠美）•演奏状況をキーとして対象曲の分析に基づいた表情付け（1997 鈴木，田中)

歴史３（解釈と表情付け）


演奏の表情付け研究（2000年代）


演奏の表情付け研究（2010年代）

そして、深層学習の時代へ・・・・


Rencon計算機による演奏を評価したい！システムの評価をしたい！それ自体に「エンテインメント性」を持たす．

RENCON :Performance Rendering Contests「演奏の表情付け」に関するコンクール

情緒領域のロボカップを目指す？！

http://www.renconmusic.org/


Now Here!Robocup

Chess match

Rencon

http://www.renconmusic.org/


CrestMuse 音楽デザイン支援技術

VocaListener

v.morish

Wii

iPhone

CrestMuse成果システム外部技術凡例

yeariPhone4

ニコニコ動画サービス

VOCALOID2（初音ミク）発売

AiiM指揮システム

歌唱モーフィング（静的）

Arduino

ZigBeeiPad

Netぼかりす

Youtubeサービス

VOCALOID 12004/01

感情音声モーフィング（静的

）

SingBySpeakingCrestMuse Vocal Designer

構造データ配付（予定）PEDB公開PEDB構築開始

演奏表情データベース

CM:iOrchestra

Orpheus 1.1自動作曲システ

ムOrpheusBB

Mixtract表情付け支援システム Polyhymni

aVirtualPhilharmony

指揮システムiFPMovtouch/phoni

eメディアコントローラ

CMX配布音楽情報処理用

API

Eurydice多声自動伴奏システム

MIDI信号からの多声対応自動採譜

保科理論

GTTM

1998

1983exGTTM

CrestMuse成果データベース・API

UGC, CGM

メディアデバイス F_M_B/ MoPHメディアコントローラ

CrestMuse の取り組み

歌唱レゾネータ


2008年ビデオより

• 演奏表情テンプレート利用• 生演奏（音響ファイル）の利用

• 各音の制御レベルの分離


Virtual Philharmony（馬場 2010）

歌唱系デザイン支援

歌唱スタイルレゾネータCrestMuse Vocal Designer美空ひばりが宇多田ヒカルの曲を歌うとどうなるの？グループ力結集


Dear Glenn (Maezawa 2019)

ニュースリリース（YAMAHA URL）


Pick up（2020年7月現在最注目！）

サーベイ：Computational Models of Expressive Music Performance: A Comprehensive and Critical Review (2018)Carlos E. Cancino-Chacón, Maarten Grachten, Werner Goebl and Gerhard Widmerhttps://www.frontiersin.org/articles/10.3389/fdigh.2018.00025/full

技術：VirtuosoNet: A HIERARCHICAL RNN-BASED SYSTEM FOR MODELING EXPRESSIVE PIANO PERFORMANCE (2019)Dasaem Jeong Taegyun Kwon Yoojin Kimhttp://archives.ismir.net/ismir2019/paper/000112.pdf

https://www.frontiersin.org/articles/10.3389/fdigh.2018.00025/full

http://archives.ismir.net/ismir2019/paper/000112.pdf

演奏における表情付け1996年に，Narmour理論も導入 Widmerらの研究 23 片寄晴弘...

Documents

Transcript of 演奏における表情付け1996年に，Narmour理論も導入 Widmerらの研究 23 片寄晴弘...