AI技術を活用した放送サービスへの ... - NHK · NHK放送技術研究所 157-8510...

4
4 月号 2019 No.169 ■地域放送局向け自動音声認識字幕 NHKでは聴覚に障害のある方や音声が聞こえにくい高齢の方に向けて、ニュースをより分かりやすくご覧いた だくための字幕制作を行っています。東京の放送センターや地域拠点局では、アナウンサーの音声を認識し、認 識誤りを人手で修正するシステムによるニュース字幕の制作が増えてきました。今後、地域放送局でのニュース字 幕制作の拡充を目指して、2月4日から福島・静岡・熊本の3県の夕方のニュース番組で、AI技術を活用した音声 認識技術により、生放送の音声認識結果を字幕とし、スマートフォンなどにインターネット配信する実験を始めま した*。カメラ付きスマートフォンなどでテレビ画面を映すと、放送画面に重ねて字幕を見ることができます。 アナウンサーによる明瞭な発話では、9割以上の高い音声認識率が得られます。また、不明瞭な発話や外国語、 方言などが原因で正しい音声認識結果が期待できない部分を自動的 に推定して、一時的に字幕を停止するなど、認識誤りが視聴を大き く妨げない工夫もしています。今回の取り組みで、どの程度正しい字 幕を出せるかを検証するとともに、誤った字幕が出た場合に視聴者に どの程度受け入れていただけるかをアンケート調査し、今後の実用化 を検討していきます。詳細はホームページをご覧ください。 (http://www.nhk.or.jp/jimaku-trial/) * 期間は8月30日までを予定(設備保守などによる休止期間あり) ■AIアナウンサー 3月4日~ 8日、25日~ 29日に甲府放送局のラジオ第一放送で、気象庁から配信される気象データを基に自動 で原稿を作成し、AI技術を活用した合成音声で気象情報を読み上げるトライアル放送を実施しました。NHKのア ナウンサーが実際に読んだ大量の気象情報から、文脈に応じたイントネーションや間の取り方などを学習し、AI アナウンサーの自動音声で自然な発話を再現しました。NHKのアナウンサーは、最新の気象データ(注意報、予報、 雨量、気温、週間天気など)から、伝える内容の優先順位を考え、放送時間に収まるように原稿を組み立ててい ます。今回、このような実際のアナウンサーが行う作業も自動化しました。今後、AIアナウンサーによる放送サー ビスの充実・強化に向けて、発話の高度化に取り組むとともに、全国の気象情報への対応を検討し、早期の実用 化を目指します。 AI技術を活用した放送サービスへの取り組み NHK NEWS こんばんは 自動音声認識字幕の利用イメージ 原稿の 自動生成部 AI アナウンサー 放送 AI 音声合成 装置 ①放送時間に合わせて原稿を 自動的に作成 ②アナウンサーのような自然な イントネーションや間を再現 AI 音声合成 装置 気象データ ・警報、注意報 ・天気予報 ・雨量、気温、風速など AIアナウンサーによる気象情報の放送の流れ

Transcript of AI技術を活用した放送サービスへの ... - NHK · NHK放送技術研究所 157-8510...

Page 1: AI技術を活用した放送サービスへの ... - NHK · NHK放送技術研究所 157-8510 東京都 1-10-11 Tel: 03-345-1111(NHK) 技研だより 第19号 2019/4 4 号

技研だより 第169号 2019/4NHK放送技術研究所 〒157-8510 東京都世田谷区砧 1-10-11 Tel: 03-3465-1111(NHK代表)

4月号2019No.169

■地域放送局向け自動音声認識字幕 NHKでは聴覚に障害のある方や音声が聞こえにくい高齢の方に向けて、ニュースをより分かりやすくご覧いた

だくための字幕制作を行っています。東京の放送センターや地域拠点局では、アナウンサーの音声を認識し、認識誤りを人手で修正するシステムによるニュース字幕の制作が増えてきました。今後、地域放送局でのニュース字幕制作の拡充を目指して、2月4日から福島・静岡・熊本の3県の夕方のニュース番組で、AI技術を活用した音声認識技術により、生放送の音声認識結果を字幕とし、スマートフォンなどにインターネット配信する実験を始めました*。カメラ付きスマートフォンなどでテレビ画面を映すと、放送画面に重ねて字幕を見ることができます。

アナウンサーによる明瞭な発話では、9割以上の高い音声認識率が得られます。また、不明瞭な発話や外国語、方言などが原因で正しい音声認識結果が期待できない部分を自動的に推定して、一時的に字幕を停止するなど、認識誤りが視聴を大きく妨げない工夫もしています。今回の取り組みで、どの程度正しい字幕を出せるかを検証するとともに、誤った字幕が出た場合に視聴者にどの程度受け入れていただけるかをアンケート調査し、今後の実用化を検討していきます。詳細はホームページをご覧ください。

(http://www.nhk.or.jp/jimaku-trial/)* 期間は8月30日までを予定(設備保守などによる休止期間あり)

■AIアナウンサー 3月4日~ 8日、25日~ 29日に甲府放送局のラジオ第一放送で、気象庁から配信される気象データを基に自動で原稿を作成し、AI技術を活用した合成音声で気象情報を読み上げるトライアル放送を実施しました。NHKのアナウンサーが実際に読んだ大量の気象情報から、文脈に応じたイントネーションや間の取り方などを学習し、AIアナウンサーの自動音声で自然な発話を再現しました。NHKのアナウンサーは、最新の気象データ(注意報、予報、雨量、気温、週間天気など)から、伝える内容の優先順位を考え、放送時間に収まるように原稿を組み立てています。今回、このような実際のアナウンサーが行う作業も自動化しました。今後、AIアナウンサーによる放送サービスの充実・強化に向けて、発話の高度化に取り組むとともに、全国の気象情報への対応を検討し、早期の実用化を目指します。

AI技術を活用した放送サービスへの取り組み

NHK NEWSNHK NEWS

こんばんは

自動音声認識字幕の利用イメージ

原稿の自動生成部

AI アナウンサー

放送AI

音声合成装置

①放送時間に合わせて原稿を自動的に作成

②アナウンサーのような自然なイントネーションや間を再現

AI音声合成装置

気象データ

・警報、注意報・天気予報・雨量、気温、風速など

AIアナウンサーによる気象情報の放送の流れ

Page 2: AI技術を活用した放送サービスへの ... - NHK · NHK放送技術研究所 157-8510 東京都 1-10-11 Tel: 03-345-1111(NHK) 技研だより 第19号 2019/4 4 号

 3月17日に小学生を対象として、放送技術の基礎を体験してもらうイベント「技研ジュニア放送体験教室~テレビの最新技術を学ぼう!~」を開催しました。参加者は、はじめに副所長から技研の概要やスーパーハイビジョンについて説明を受け、臨場感ある8K映像と22.2chの立体音響を体感しました。その後、技研の研究員より放送用の撮影機材や音声機材を使った番組制作方法の説明を受け、実際に体験してもらいました。このほか、音がほとんど反響しない「音響無響室」を見学するとともに、研究成果を分かりやすく体験できる機材にも触れながら放送技術を学んでいただきました。参加者からは「アナウンサー体験や、カメラ撮影体験が楽しかった」「音の響かない部屋に入ったことが楽しかった」などの感想をいただきました。今後も子ども向けに放送技術を知っていただくイベントを企画していきます。

技 研 ジュニア 放 送 体 験 教 室を開 催

海 外派 遣 報 告 M I Tメディアラボ ( アメリカ)

校長先生(副所長)のおはなし カメラ撮影体験の様子

 2018年9月から1年間の予定でアメリカ・マサチューセッツ州にあるマサチューセッツ工科大学(MIT)メディアラボに滞在し、8Kの超高精細映像と22.2chの立体音響の新しい活用に関する研究に取り組んでいます。メディアラボは、映像やメディア分析、さらに農業や都市計画まで幅広い分野でユニークな研究を数多く行っており、さまざまな技術革新の発信地として注目されています。 私はさまざまなセンサーから得た情報を自然な形で人間に提示する方法を研究しているジョセフ・パラディーソ教授のもと、立体音響をより身近に感じてもらうためのインタラクティブな音響システムの研究開発に取り組んでいます。 今回の滞在を通して、さまざまな技術を習得するとともに、新しいアイデアを生みだす過程も学び、、将来の音響サービスの創出に生かしたいと考えています。

テレビ方式研究部 佐々木 陽

MITのシンボルである図書館「グレートドーム」前にて

Page 3: AI技術を活用した放送サービスへの ... - NHK · NHK放送技術研究所 157-8510 東京都 1-10-11 Tel: 03-345-1111(NHK) 技研だより 第19号 2019/4 4 号

次世代の衛星放送を目指して21GHz帯衛星伝送技術

伝送システム研究部 小泉 雄貴

(上)12GHz帯および(下)21GHz帯による衛星中継器のチャンネル構成

21GHz帯伝送実験の様子(左)送信設備 (右)受信設備

 2018年12月1日から新4K8K衛星放送が始まりました。技研では、将来の衛星放送に向けて、新たな周波数帯(21GHz帯)を利用した衛星放送の研究開発に取り組んでいます。21GHz帯は、新4K8K衛星放送で使用されている12GHz帯と比較して、衛星中継器1チャンネルあたりに使用する周波数帯域幅を広くできるため、伝送容量を大幅に増やすことが可能であり、将来の新しい放送サービスの伝送路として期待されています。しかし、より高い周波数を使用するため、降雨による電波の減衰が大きいといった課題もあり、改善を進めています。ここでは、21GHz帯衛星伝送に用いる伝送技術と、衛星を利用した広帯域伝送実験について紹介します。■21GHz帯衛星伝送技術 21GHz帯の広帯域特性を生かした衛星伝送方式を検討し、送信装置と受信装置を試作しました。本装置は、キャリア変調方式に雑音耐性の高いQPSK*1や8PSK*2を採用し、誤り訂正符号に訂正能力の高いLDPC*3符号を用いることで、降雨による電波の減衰への耐性を高めています。これにより21GHz帯衛星中継器1チャンネル

(300MHz)あたり、最大725Mbpsの衛星伝送が可能です(図)。また、多重化方式は従来のMPEG-2 TSに加え、IPベースのMMT(MPEG Media Transport)を用いることで通信との親和性を高くしています。■BSAT-4a衛星を利用した21GHz帯伝送実験 新4K8K衛星放送用として(株)放送衛星システム(B-SAT)が2017年9月に打ち上げたBSAT-4a衛星には、21GHz帯衛星中継器が2式搭載されており、この電波を利用した衛星伝送実験が可能です。21GHz帯衛星放送システムを実現するため、BSAT-4a衛星を利用した伝送実験を行い、変調方式ごとに特性を評価しました(写真)。これにより21GHz帯の送受信システムを検討するために必要なデータを取得することができました。今後もB-SATと協力してBSAT-4a衛星による伝送実験を行い、伝送特性の改善手法や降雨時に通信で補償する技術などの検討を進めていきます。

* 1 QPSK: Quadrature Phase Shift Keying* 2 8PSK: 8-Phase Shift Keying* 3 LDPC: Low Density Parity Check

・ 1チャンネル当たりの周波数帯域幅34.5MHz・ 右旋12チャンネル、左旋12チャンネル

・ 1チャンネル当たりの周波数帯域幅300MHz・ 右旋2チャンネル、左旋チャンネル割当てなし

<現在のBS放送(12GHz帯)衛星中継器のチャンネル構成>

<BSAT-4a衛星に搭載された21GHz帯衛星中継器のチャンネル構成>

右旋円偏波

34.5MHz

300MHz 300MHz

11.7GHz

21.4GHz 21.7GHz 22.0GHz

12.2GHz

周波数

周波数

右旋円偏波

左旋円偏波

Page 4: AI技術を活用した放送サービスへの ... - NHK · NHK放送技術研究所 157-8510 東京都 1-10-11 Tel: 03-345-1111(NHK) 技研だより 第19号 2019/4 4 号

技研だより 第169号 2019/4NHK放送技術研究所 〒157-8510 東京都世田谷区砧 1-10-11 Tel: 03-3465-1111(NHK代表)

4月号2019No.169

テレビがもっと身近になるわ!

Labo ちゃんリサーチ

Vol. 11

ハイブリッドキャストコネクトテレビとネットの連携をより手軽に

最近よく聞く、でも、いまひとつ分からない。これからの放送を支える「技術のキーワード」について、技研イメージキャラクターの「ラボちゃん」が、研究員に聞きました。

★今回の先生★ネットサービス基盤研究部

平松 和茂研究員

最近、「ハイブリッドキャストコネクト」という言葉を耳にしたよ。これまでのハイブリッドキャストと何がちがうの?

 ハイブリッドキャストはテレビ画面で放送番組のほかにスマートフォン(スマホ)などのアプリを使ってネットを楽しむことができるサービスです。また、テレビのセカンドスクリーンとして、スマホなどを連携させることもできます。例えば、テレビでスポーツ中継を視聴している時に、スマホで試合展開などの詳しい情報を表示することができます。 しかし、従来のハイブリッドキャストでは、スマホ側にテレビのメーカーごとに専用のアプリが必要だったり、見たい放送局にチャンネルを合わせてからアプリでスマホと連携させる必要がありました。 新しい端末連携機能である「ハイブリッドキャストコネクト」では、共通のアプリでさまざまなメーカーのテレビと連携できるようになります。

ラボちゃんのママ

ハイブリッドキャストコネクト従来のハイブリッドキャスト

テレビで専用のアプリが動作していないと連携不可

スマホからのテレビ連携が可能に

TVを見る TVを見る 2 10 11 01 0

(左)従来の連携イメージと(右)ハイブリッドキャストコネクトのイメージ

なるほど!スマホとテレビが簡単に連携できるようになるんだね。スマホとテレビが連携すると、どんないいことがあるの?

 例えば、スマホに「台風ニュース放送中」という通知が来た場合、その通知をタップすることでテレビの電源がONになり、放送中の台風ニュースがテレビで視聴できるようになります。また、スマホだけでなくネットにつながった機器(IoT機器)と連携することも可能です。テレビで視聴している番組のシーンについてスマートスピーカーに尋ねると、関連する事項を答えてくれます。 このようにハイブリッドキャストコネクトを使うことで放送とネットが結びつき、多様なサービスの実現が期待できます。今後も放送とネットの連携に向けた技術の研究開発を進めていきます。

通知

避難情報なし

現在位置;世田谷区

なし

気象警報・注意報

災害関連

スマホへの通知からテレビ連携が可能に 大雨警報

強風注意報雷注意報洪水注意報

台風ニュース5:55

5331

台風ニュース放送中

スマートスピーカーからのテレビ連携も可能に今放送して

いる番組を教えて このバッターの

今日の成績教えて

野球が見たい

NHK総合はサッカーEテレは野球です

2打数2安打です

野球中継

サービスの一例(左:通知によるスマホアプリからのテレビの起動、右:IoT機器(スマートスピーカー)との連携)