Conversation as a platform

#azurejp#azurejp

https://www.facebook.com/dahatake/https://twitter.com/dahatake/https://github.com/dahatake/https://daiyuhatakeyama.wordpress.com/

#azurejp

技術先行でのビジネスのアイディア醸成

という世界

#azurejpPepper アーキテクチャー

Pepper Azure 対応　 Printer

・・・（様々な対応デバイス）

Pepper × Azure デバイスエコシステム

Power BI を始めとした

データ活用エコシステム

・・・（様々なアプリ）

Azure IoT Hub ( デバイス登録・認証・管理・送受信 )

Cloud Robotics FX (Cloud Service)

DeviceController

DeviceRouter

Application

Router

Azure Machine Learning ( レコメンド / 予測 / 予防 / 最適化 )

32 インスタンスまでスケール可

能

Microsoft Azure

Stream Analytics( 生データ記録 / 異常値

検出 / データ集約 )

Azure Data Lake

( 無制限ストレージ/

解析エンジン )

繰り返し学習

SQL Database(Elastic Database Pool)

Power BIService

StreamAnalytic

sSQL

Database

AzureData Lake

Cloud AIの利用

： Azure PaaS

： Robotics SDK

Smart phone

Microsoft Translator( 多言語翻訳エンジン )

Cognitive Services / Bot Framework

( 人工知能サービス API / ボット )

#azurejp#azurejp

James Whittaker

Fri 2/23/2013 4:35 PM

Jennifer WhittakerOF Monsters And Men Coming!

Hey Dad,

One of my favorite bands, Of Monsters And Men, is coming to the Paramount Theater in May. OMG!!! I WANT to seem them and would LOVE to see them with my concert buddy!

Father and daughter night out (your treat…lucky!)

Let me know…, NOW!!!!!!!! ;)

TTYL,Jen

Action BrokerMessage + Get More Apps

James Whittaker

Fri 2/23/2013 4:35 PM


Hey Dad,




TTYL,Jen

Message Action Broker + Get More Apps

James Whittaker

Fri 2/23/2013 4:35 PM


Hey Dad,




TTYL,Jen


Band Overview

Buy Music

Top Videos

Similar Artists

Of Monsters And Men

biography After winning the nationwide 2010 battle-of-the-bands competition Musiktilraunir in their native Iceland, six-piece chamber pop group Of Monsters and Men were hailed as "the new Arcade Fire" in Rolling Stone magazine. A bidding war ensued, and the group signed with Universal Music Group. In the beginning of 2012, a four-song EP titled Into the Woodswas issued as a preview to their full-length debut, My Head Is an Animal, which was released in the States that spring.

http://www.allmusic.com/album/into-the-woods-mw0002291608

James Whittaker

Fri 2/23/2013 4:35 PM


Hey Dad,




TTYL,Jen


Overview

Buy Tickets

Seating Chart

Maps & Direction

sNearby

Paramount Theater

Seattle, WA901 Pine Street98101An iconic venue in the heart of Seattle, the Paramount Theater presents the best in Broadway shows and live entertainment. Originally opened in 1928 the theater has been restored and maintained as one of Seattle's premier entertainment venues.

James Whittaker

Fri 2/23/2013 4:35 PM


Hey Dad,




TTYL,Jen


Overview

Buy Tickets

Seating Chart

Maps & Direction

sNearby

Paramount Theater

Sunday, April 2nd Nick CaveSunday, April 10th Jillian MichaelsWednesday, April 13th Chris TuckerApril 16th – April 23rd Black WatchMay 1st – May 5th Black WatchFriday, May 11th Russell PetersTuesday, May 14th Of Monster And Men

+ Check Traffic

+ Confirm Reservation+ Map

+ Seating Chart+ Map+ Parking

コミュニケーションを解析し、そのコンテキストを類推する。 =

Knowすぐに次の行動に移る事ができる。

= Do

『夏休みの予定を立てませんか ? 』

“ ハワイに行きたいな。”

『 5 月 12 の週がベストシーズンですよ。』

“Let me clear your schedule & find the

best flights for you.”

Alaska Airlines Flight 0864Depart SeattleArrive Kahului 11:10 local

Depart 7:10 Seattle to San Jose

Arrive Kahului 1:30 local.

$448.20Coach

$650.30First

Layover

Depart 8:05 Seattle Arrive Kahului 11:10 local.

$580.40 Coach$940.30First

Depart 9:30 Seattle to SLC

Layover

Depart 2:00 local to Honolulu


Layover


Depart 4:30 Seattle to SLC

Layover

Depart 8:00 pm local to Honolulu

『既存の予定を無くしてみましょう。フライトの空き状況はこのようになっています。』


Layover


FlightContinued


LodgingB&Bs on thebeach that are pet friendly

Hotels your friends have recommended

Highest rated hotels

All hotels available

Matilda’s B&B $125-$255 per night15174 East Maliki Road, Kahuli, HI 808-437-9422 | Pool, Kids Stay Free…

Little Cottage B&B $135-$205 per night3218 Happy Trails, Kahuli, HI 808-435-8888 | Unique, Private Resort…Maalaea Bay B&B $575-$650 per night21764 North Bend Lane, Kahuli, HI808-437-9564 | Private Beach…

Seashore B&B $95-$155 per night2475 Seashore Blvd, Kahuli, HI808-421-7763 | Pet Friendly, Group Rates…

Hilltop B&B $195-$225 per night1600 Pennsylvania Ave, Kahuli, HI 808-456-1212 | Regal and Elegant…

Terrace Views B&B $225-$275 per night742 Evergreen Terrace, Kahuli, HI808-437-3221 | Stunning Views of Terraces…

Maalea Bay B&B: Sunday May 12 – Saturday May 18

『こちらがおすすめのホテルです』

Alaska Airlines Flight 0864 Depart 8:00a SeattleArrive Kahului 1:15p

5Dinning Water Sports Sight

SeeingOff the Beaten Path

Dinning Off The Beaten Path

Sashimi Palace $35-$200 per plate86458 Grand Avenue, West Kahuli, HI

808-436-5444 | Finest fusion in…Lani’s Steakhouse $65-$105 per plate76587 Sunset Place, Suite F, Kahuli, HI808-432-1775 | Laid back atmo…

Hurricane Ridge $25-$75 per plateMon – Sun 11 am to midnightSpecial rates for children

Activities For The Week

Zip Line Through The Canopy Mon 2 pm, Tues 2 pm, Fri 10 am, Sat…$55 kids & seniors, $75 adults & studentsNighttime Roast On The BeachTues @ 4, Fri @ 4, Fri @ 6, Sat @ 4, Sat…$99 Family Special, $62 adult, $22 kids

Kahului Open Air Market seasonal hours

Beginner Scuba Lessons & RentalMon 1 pm, Tues 1 pm, Fri 11 am, Sat…$55 for your 1st hr/lesson, $25 ea hr after

Zip Line 2pm start time

Nighttime Roast Family Special

『こちらがおすすめのアクティビティです。』



『楽しいご旅行を ! 』Luau At The

HotelEarly Registration

Face PaintingCoupon code THX1138

Snorkeling LessonsRental Equipment Included

Alaska Airlines Flight 8467Depart KahuluiArrive Seattle 4:10 local

Movie NightKids only

Alaska Airlines Flight 0864 Depart 8:00a SeattleArrive Kahului 1:15p

Zip Line 2pm start time

Nighttime Roast Family Special


Lani’s With Bob and Nancy

ワークフローの中心たるコンテキストが Canvas に

なる。次のステップに適切な

サービスを探し、 = Know呼び出す = Do

#azurejp#azurejp

#azurejpCortana

タスク遂行のための

あなたのパーソナルアシス

タント

#azurejpデバイス横断

#azurejp女子高生人工知能りんな（ LINE アプリ）Bing 検索エンジンで培ったディープラーニング技術＋機械学習のクラウドサービス「 Azure Machine Learning 」を組み合わせた人工知能

• Bing チームによる開発（技術開発には Microsoft Research も参画）

• 発表以前のテストリリース後、口コミだけで１週間で 35 万ユーザーを獲得

ZIP! 8/18

LINE ID ：@ms_rinna

#azurejpSHARP× りんな in Twitter

シャープさん 5 年のツイートをわずか 7時間で！

#azurejp感情的な会話と「能力」

長く続く会話と能力で、ユーザの心をつかむ

#azurejp

EmotionalProductivity

明日の天気は晴れです。

どこか出かける予定でもある

の？

明日晴れるかなぁ？

「りんな」のコンセプト – Emotional AI

#azurejp

Skype SDK

対人間

Office 365Group

Connector

対人間

ルールベース

自動化

AI

BotFramework Cortana りんな

Connector

Directory SDK

AI 、プログラミングと人

#azurejp#azurejp

#azurejp

Bot がビジネスのための新しいチャネルとなる

様々なサービスやデバイスを横断して顧客へリーチ

より自然な会話型での、エンゲージメント

製品やサービスを、モバイルと相性の良い各種メッセージングサービスへ組み込む

顧客体験を向上させ、人間によるアシスタントを効率化

#azurejp

Cortana Intelligence

Conversations as a Platform

Bot Framework

Cortana Your personal

assistant

Cognitive Services

#azurejp会話を補助するダイアログの例• 受付の例

音声⇒テキストデータ

テキストデータ⇒音声

顔認証

担当社員への連絡

こんにちは。○○株式会社の□□と申します。

本日△△さんと 11:00 からお約束しております。

返答テキストの作成

会議室予約との照合

自然言語分析

Intent: MTGEntities　 CompanyName:○○株式会社　 VisitorName: □□　 RequesterName: △△　 MeetingDateTime: Today, 11:00

□□様、お待ちしておりました。××番の会議室までお越しください。

#azurejp

旅行 BotConversational Agent

宿泊予約飛行機の予約

ご挨拶 (Hello!) 会員確認Dialogs/Tasks

Parameters ( なし ) チェックイン日

チェックアウト日

人数 (部屋の種類 )

概算見積もり

出発場所

…..到着場所

認証

特別オファー

#azurejp

www.botframework.com

#azurejp

Bot Connector Serviceボットをテキスト /SMS 、 Office 365 メール、 Skype 、 Slack 、 Twitter などにシームレスに接続

ボットを登録し、チャネルを構成し、 Bot Directory に発行するサービス

Bot Builder SDKNode.js や C# のボットで素晴らしい対話を構築するためのSDK

GitHub でのオープンソース SDK

Bot Directory [近日公開 ]

ボットを発見、試用、追加

Bot Framework で登録、承認されたボットの公開ディレクトリ

Bot Framework

#azurejpBot Connector

#azurejpルールベースの自然言語解析

#azurejp#azurejp

#azurejpMachine Learning の適用領域数学的・統計学的手法を使い、データの関連性の解析や予測を行うニューラルネットワーク、クラスタリング等のテクニック(Source: IDC2003) 」

レコメンデーション

広告効果分析

ビジネスへの気象情報活用

SNS 分析

IT インフラ・Web アクセス解析

法的ドキュメントの検証

価格最適化不正検知

顧客解約分析

機器予防保全

ロジスティクス最適化

カスタマイズ保険

#azurejp

ImageNet最大規模のイメージデータセット

– 120 万の学習用イメージ、 10 のテスト用イメージ– 1000 クラス

深層学習が変える画像認識

http://image-net.org

Series1

28.2 25.8

16.411.7

7.3 6.7 5.1 3.5

2010 2011 Utronto 2012 NYU 2013 Oxford 2014 GoogleNet 2014 Human Microsoft 2015

#azurejp機械学習のモデルを作る <-> 使う

Azure Storage = クラウドストレージ

Azure Data Lake = 大規模分散処理

Azure Machine

Learning = 機械学習

Microsoft Cognitive Service

Azure Media Analytics

Project Cambridge

Storage

Compute

API

Application

HadoopAzure VM

Python / R,TensorFlow

,CNTK

(Microsoft)

ML Engine

Spark + MLLib Project Oxford

#azurejpMicrosoft Cognitive ServicesVision Speech Languag

e SearchKnowledge

Face

ComputerVision

Emotion

Video

Speaker RecognitionCustomRecognition

Bing Speech

LinguisticAnalysisLanguageUnderstanding

BingSpell Check

Web LanguageModel

Text Analytics

KnowledgeExploration

Entity Linking

AcademicKnowledge

Recommendations

Bing Image SearchBing Video Search

Bing Web Search

Bing Autosuggest

Bing News Search

Preview

Private

#azurejpCognitive Services がサポートVision Speech Languag

e SearchKnowledge

Face

ComputerVision

Emotion

Video


Bing Speech


BingSpell Check

Web LanguageModel

Text Analytics

KnowledgeExploration

Entity Linking

AcademicKnowledge

Recommendations

Bing Image SearchBing Video Search

Bing Web Search

Bing Autosuggest

Bing News Search

Preview

Private

見る+

認知機能

聞く / 話す+

認知機能

言語+

認知機能画像 / ビデオの

読解顔識別、感情判

別

話し手の識別文章の聞き取り & 理解

情報+

認知機能文章読解

文意、文脈の理解Web/ 学術情報 / ビックデー

タを集約

検索+

認知機能Bing 検索エンジ

ンによる検索

#azurejpMicrosoft Cognitive Services: Vision

画像情報の読み取り

感情の推測

画像内の顔認識 &分析

動画の補正、顔や動きの検出

見る + 認知機能

Preview

Face

ComputerVision

Emotion

Video

Vision

#azurejpVision Speech Language SearchKnowledg

e

• 画像分析• オブジェクト、カラー、画像 /絵、アウトライン化

• 顔 : 年齢 /性別 / 表示位置• タグ、キャプション付

け• 画像から文字データの

　　読み取り (OCR: Optical Character Recognition)

• 画像の趣旨に沿った　　サムネイル画像の作成

Computer Vision API

A GOAL WITHOUTA PLAN IS

JUST A WISH

Analyze image

OCR

Smart thumbnail

Category People; 1 face found

Adult FalseBlack & White?

No

Dominant colorsAccent color

#azurejpVision Speech Language SearchKnowledg

e

• 顔検出• 年齢、性別• 顔認識• 顔検証• 類似検索• グループ化• 顔認証

Face API "faceId": "48cdf8c8-841c-4d33-b875-1710a3fc6542", "faceRectangle": { “width”: 228,“height”: 228, "left": 460,"top": 125 }, "faceAttributes": { "age": 23.5,"gender": "female", "headPose": {"roll": -16.5,"yaw": 22.1,"pitch": 0}, "smile": 0.998, "facialHair": {"moustache": 0,"beard": 0,"sideburns": 0}, "glasses": "ReadingGlasses" }

Detection Result

Grouping

Identity

#azurejp

• 感情認識• 喜び、驚き、悲しみ、怒り、恐れ、嫌悪、軽蔑、中立

Emotion APIVision Speech Languag

e SearchKnowledge

"faceRectangle": { "left": 289, "top": 209, "width": 117, "height": 117 }, "scores": { "anger": 0.0003364322, "contempt": 0.008513732, "disgust": 0.000237169676, "fear": 0.001399079, "happiness": 0.03209325, "neutral": 0.1274486, "sadness": 0.000152969456, "surprise": 0.8298188 }

"faceRectangle": { "left": 479, “top”: 190, “width”: 158, "height": 158 }, "scores": { "anger": 0.00001619889, "contempt": 0.000121588469, "disgust": 0.0000216889184, "fear": 0.00138592813, "happiness": 0.00001577913, "neutral": 0.002224847, "sadness": 0.00000300440252, "surprise": 0.996211 }

#azurejpMicrosoft Cognitive Services: Speech


Bing Speech

Speech

文章認識の精度をあげるカスタマイズ

話し手の認識

文章↔音声

聞く / 話す + 認知機能

Preview

#azurejp

Speech Intent Recognition

Text to Speech Conversion

Speech Recognition450 6th St.

San Francisco

"450 sixth St in San Francisco.""For 50 six St San Francisco.""456th St San Francisco."

• Speech-to-Text (音声→テキスト )• 9 言語 / 17 地域

• Text-to-Speech ( テキスト→音声 )• 18 言語 / 28 地域 *ja-jp 含む

Bing Speech APIVision Speech Languag

e SearchKnowledge

#azurejp

Is this Anna’s voice?

Anna

AnnaMike

Mary

Who’s voice is this?

Speaker Recognition

Speaker Verification

• 声紋登録による話し手認識• Y/N判定• 認証

Speaker Recognition APIVision Speech Languag

e SearchKnowledge

#azurejpMicrosoft Cognitive Services: Speech


Bing Speech

Speech

文章認識の精度をあげるカスタマイズ

話し手の認識

文章↔音声

聞く / 話す + 認知機能

Preview

#azurejpMicrosoft Cognitive Services: Language


BingSpell Check

Web LanguageModel

Text Analytics

Language

スペルチェック、校正

自然言語からの文意、キーワード抽出

自然言語の文章構造解析

キーフレーズ / トピック抽出、ポジネガ分析、言語判定

言語 + 認知機能

関連性の高いキーワードの抽出、ある単語に続く言葉の推測

Preview

#azurejp

Read me the headlinesLanguage

Understanding Intelligent Service (LUIS)• 自然言語からの文意や

キーワードの抽出• Intent : 文章の意図 ( インテ

ント )• Entity: 文章におけるエン

ティティ

Intent

TextToSpeech

Entity

Content: NewsHeadlines

Intent PlayVideoEntity Content: Daily

ShowDateTime.date: T-1 Day

Intent PauseDeviceEntity DateTime.duration:

5 Minutes

Play yesterday’s Daily Show

Pause for 5 minutes

Vision Speech Language SearchKnowledg

e

#azurejp

Language Understanding Intelligent Service (LUIS)• 自然言語からの文意や

キーワードの抽出• Intent : 文章の意図 ( インテ

ント )• Entity: 文章におけるエン

ティティ

Vision Speech Language SearchKnowledg

e

#azurejpDialog のフローに、独自のデータを盛り込む

Dialog

<< Dialog 判定 >>Microsoft Cognitive Services

API 呼び出し

パラメーターとしての文字・画像・映像作成と

会話文作成

Your Data

#azurejp#azurejp

#azurejp画面遷移から、会話での入力へ

＋

Canvas Bot

#azurejp

Cortana Intelligence

Conversations as a Platform

Bot Framework

Cortana Your personal

assistant

Cognitive Services

© 2014 Microsoft Corporation. All rights reserved. Microsoft, Windows and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

#azurejp#azurejp

#azurejpBot Framework Resources & Videos• Bot Framework Home Page

• https://dev.botframework.com/ • Bot Builder SDK on GitHub

• https://github.com/Microsoft/BotBuilder • Bot Framework Blog

• https://blog.botframework.com/ • //Build Reaction - Cortana and the Bot Framework

• https://channel9.msdn.com/Blogs/raw-tech/Build-Reaction-Cortana-and-the-Bot-Framework

• Cloud Cover Ep. 206: Bot Framework with Mike Hall• https://channel9.msdn.com/Shows/Cloud+Cover/Episode-206-Bot-Framewor

k-with-Mike-Hall

https://dev.botframework.com/

https://github.com/Microsoft/BotBuilder

https://blog.botframework.com/

https://channel9.msdn.com/Blogs/raw-tech/Build-Reaction-Cortana-and-the-Bot-Framework

https://channel9.msdn.com/Blogs/raw-tech/Build-Reaction-Cortana-and-the-Bot-Framework

https://channel9.msdn.com/Shows/Cloud+Cover/Episode-206-Bot-Framework-with-Mike-Hall

https://channel9.msdn.com/Shows/Cloud+Cover/Episode-206-Bot-Framework-with-Mike-Hall

#azurejpBot Framework Demos• Bot Framework Template for Visual Studio

• http://aka.ms/bf-bc-vstemplate • Bot Framework Samples in GitHub

• https://github.com/Microsoft/BotBuilder

http://aka.ms/bf-bc-vstemplate

https://github.com/Microsoft/BotBuilder

#azurejpCognitive Services 開発情報• 開発ツール

• Visual Studio 2015• * Visual Studio Community 2015 ( 無償 ) 可• Cognitive Services (旧 : Project Oxford) Client SDK & Samples• https://github.com/Microsoft/ProjectOxford-clientsdk

• 開発ドキュメント• Microsoft Cognitive Services > Documentation• https://www.microsoft.com/cognitive-services/en-us/documentation

• Microsoft Cognitive Services APIs• https://dev.projectoxford.ai/docs/services/• https://bingapis.portal.azure-api.net/docs/services/　

https://github.com/Microsoft/ProjectOxford-clientsdk

https://www.microsoft.com/cognitive-services/en-us/documentation

https://dev.projectoxford.ai/docs/services/

https://bingapis.portal.azure-api.net/docs/services/

#azurejpサブスクリプション &料金体系• 基本的に無料

• 試用申し込み * が必要• *マイクロソフトアカウン

トに紐づけ• https://www.microsoft.co

m/cognitive-services/en-us/pricing

• LUIS, CRIS は専用ページ• https://www.luis.ai/• https://www.cris.ai/

• 一部有料オプションあり• (Azure ポータルから購入 )

• https://portal.azure.com

https://www.microsoft.com/cognitive-services/en-us/pricing



https://www.luis.ai/

https://www.cris.ai/

https://portal.azure.com/

#azurejpde:code 2016 セッションビデオ

https://channel9.msdn.com/Events/de-code/2016/DBP-018

https://channel9.msdn.com/Events/de-code/2016/DBP-019

#azurejp

POST https://api.projectoxford.ai/face/v1.0/detect?returnFaceId=false&returnFaceAttributes=age,gender,smileOcp-Apim-Subscription-Key: •••••••••••••••••{ url: http://example.com/example.jpg}

Content-Type: application/json; [ { "faceRectangle": { "top": 30, "left": 62, "width": 49, "height": 49 }, "faceAttributes": { "smile": 0.999, "gender": "female", "age": 25.9 } }]

http://example.com/example.jpg

#azurejp

using Microsoft.ProjectOxford.Face;using Microsoft.ProjectOxford.Face.Contract;private async Task<FaceRectangle[]> DetectFaces(string imageFilePath){ try { using (Stream imageFileStream = File.OpenRead(imageFilePath)) { var faces = await faceServiceClient.DetectAsync(imageFileStream); var faceRects = faces.Select(face => face.FaceRectangle); return faceRects.ToArray(); }}

Conversation as a platform

Technology

Transcript of Conversation as a platform