【Unite Tokyo 2018】XR x AI Watsonで もっと拡がるUnity開発
>100 Views
May 10, 18
スライド概要
講演者：佐々木 シモン（IBM）
こんな人におすすめ
・AIを活用した開発に関心のあるUnityエンジニアやデベロッパー
・アセットIBM Watson Unity SDKの使い方を知りたい方
・なるべくコストをかけずAIを使ってみたい学生
受講者が得られる知見
・アセットIBM Watson Unity SDKの使い方
・Unityで音声認識や画像認識をアプリに実装する方法
・Unityで会話からユーザーの意図(喜怒哀楽など)を理解させる方法
リアルタイム3Dコンテンツを制作・運用するための世界的にリードするプラットフォームである「Unity」の日本国内における販売、サポート、コミュニティ活動、研究開発、教育支援を行っています。ゲーム開発者からアーティスト、建築家、自動車デザイナー、映画製作者など、さまざまなクリエイターがUnityを使い想像力を発揮しています。
関連スライド
各ページのテキスト
2018/5/7-9 XR x AI Watsonで もっと拡がるUnity開発 Augment your Unity apps with XR x AI Watson 佐々木 シモン Simon Sasaki IBM / Developer Advocate
佐々木 シモン Simon Sasaki IBM / Developer Advocate 元フロントエンドエンジニアでXR大好き人間。現在の専門 はマネージドAI技術(IBM Watson Developer Cloud)を 中心にハイエンドVR／AR／MRに関心が高い。 IBM社内では量子コンピューター技術コミュニティーに属し ており、社外ではAIコミュニティー「水曜ワトソンカフェ」の モデレーターを務める。 @simonTokyo simontokyo [email protected]
Agenda •XR x AI •Asset Watson Unity SDK Asset VR Watson Speech Sandbox •Watson API on IBM Cloud •Unity SDKで使えるWatson API 紹介 •（参考）ハマりどころ •Online YouTube resources for Watson Unity SDK
XR x AI Unity x IBM Watson
XR開発におけるUnityシェア https://youtu.be/cmRSkHl-Gv0
Star Trek: Bridge Crew https://youtu.be/KSqhXI4ilxM
HTC Vive Oculus Rift PlayStation VR
アセットWatson Unity SDK アセットVR Watson Speech Sandbox
https://assetstore.unity.com/ibm
「WatsonをUnityで使ってみた」反響はBlogやYouTubeに
https://youtu.be/NoO2R3Pz5Go
Unite Tokyo 2018 バーチャルYouTuber電脳少女シ ロがご紹介する「2018年の注目アセット100連発」 “100 Mus t -see As s et s for 2018” by Virt ual YouTuber, Cyber Girl Siro https://youtu.be/2tOoN_uMVt0?t=4m7s https://youtu.be/2tOoN_uMVt0?t=14m20s https://youtu.be/KYnCTlmVqMU?t=3m57s https://youtu.be/KYnCTlmVqMU?t=13m38s
Watson API on IBM Cloud
https://youtu.be/Wq0XnBYC3nQ
Watson Developer Cloud - 参考価格と月間無料枠 10,000 API 無料 ￥0.26 30,000 items 無料 ￥0.3 CO NVERSAT I O N NAT URAL L ANG UAG E UNDERST ANDI NG 100分間 1万文字無料 ￥2/分 ￥2/千文字 TEXT TO SPEECH 7,500 API 無料 ￥0.2 1,000 API 無料 ￥1〜2
Watson Unity SDKで開発するまでの大まかな流れ IBM Cloud アカウント作成 Watson API キー取得 Watson Unity SDK Unityアプリ開発 Watson API Explorer Watsonの カスタマイズ
IBM Cloudアカウントの作成手順
https://ibm.biz/BdZVKq
*******
https://ibm.biz/BdZVK
Log in > Catalog - https://bluemix.net
“ クレジットカードさえ持たずに 気軽にAI開発を始める No Credit Card required ”
Watson Unity SDKで開発するまでの大まかな流れ IBM Cloud アカウント作成 Watson API キー取得 Watson Unity SDK Unityアプリ開発 Watson API Explorer Watsonの カスタマイズ
Unity SDKで使える Watson API 紹介
Demo
Watson Unity SDK - Asset > Watson > Scripts > Services
Watson Developer Cloud – AI : Augmented Intelligence ,NOT Artificial Intelligence! VI SUAL CO NVERSAT I O N Discovery L ANG UAG E CL ASSI F I ER PERSO NAL I T Y T O NE ANAL YZ ER Empathy Vision MACHI NE TEXT TO I NSI G HT S NAT URAL L ANG UAG E UNDERST ANDI NG DI SCO VERY Assistant NAT URAL RECO G NI T I O N L EARNI NG KNO W L EDG E Speech & Language SPEECH SPEECH TO TEXT L ANG UAG E T RANSL AT O R VI RT UAL REAL I T Y ST UDI O
Text to Speech（しゃべる）- Speech to Text（聞く）
Text to Speech（しゃべる）- Speech to Text（聞く）
SSML(音声合成マークアップ言語)対応 <p><s>AIとは何か。「AI」という言葉は、一般的には人工知能 （Artificial Intelligence）の略だと定義されているが、IBMでは人 間の知識を拡張・増強するもの（Augmented Intelligence）だと考 えている。<break time="1000ms"/>つまり「AIとは人間にとって変 わるもの」ではなく<prosody rate="-10%">「AIとは人間の知識 や、持てる知見などを拡張し、増強するもの」</prosody>だと捉え ている。</s></p> • Google AssistantやAmazon Alexaで開発するのと同様のイメージ
https://youtu.be/fOfFrGsNwHo
Natural Language Understanding （言ってることを理解する） joy sadness fear anger disgust
Personality Insights（ユーザーの個性を理解する） https://personality-insights-demo.ng.bluemix.net
Visual Recognition（見えた物を理解する）
Visual Recognition（見えた物を理解する） https://developer.apple.com/ibm/
Watson Assistant (Conversation) （対話する）
Demo
Discovery（分類する、記憶する、検索する）
Watson Developer Cloud – AI : Augmented Intelligence ,NOT Artificial Intelligence! VI SUAL CO NVERSAT I O N Discovery L ANG UAG E CL ASSI F I ER PERSO NAL I T Y T O NE ANAL YZ ER Empathy Vision MACHI NE TEXT TO I NSI G HT S NAT URAL L ANG UAG E UNDERST ANDI NG DI SCO VERY Assistant NAT URAL RECO G NI T I O N L EARNI NG KNO W L EDG E Speech & Language SPEECH SPEECH TO TEXT L ANG UAG E T RANSL AT O R VI RT UAL REAL I T Y ST UDI O
“ ” Watson Unity SDK使ってみたくなりましたか？
(参考) ハマりどころ Watson Unity SDK - Script & Examples
(参考) ハマりどころ Watson Unity SDK Config Editor 2017 v0.13 2018 v2.2
(参考) ハマりどころ Watson Developer Cloud - Past & Now 2015 2018 http://www.redbooks.ibm.com/Redbooks.nsf/RedbookAbstracts/sg248387.html
(参考) ハマりどころ Watson Developer Cloud - Past & Now 2015 2018 http://www.redbooks.ibm.com/Redbooks.nsf/RedbookAbstracts/sg248387.html
アセットVR Watson Speech Sandbox
Watson Unity SDKで開発するまでの大まかな流れ IBM Cloud アカウント作成 Watson API キー取得 Watson Unity SDK Unityアプリ開発 Watson API Explorer Watsonの カスタマイズ
https://developer.ibm.com/code /patterns/create-a-virtual-reality-speech-sandbox/ https://github.com/ibm/vr-speech-sandbox-cardboard
Demo
Watson APIキー(Credential)の発行
Watson Unity SDKで開発するまでの大まかな流れ IBM Cloud アカウント作成 Watson API キー取得 Watson Unity SDK Unityアプリ開発 Watson API Explorer Watsonの カスタマイズ
Log in > Catalog > Watson - https://bluemix.net
Watson > Services name Create (e.g. Text to Speech) > Scroll down >
Manage > Credentials
“ 一度作成した後、再確認する場合 ”
Dashboard
Dashboard > Services name (e.g. Speech to Text-he)
Manage > Credentials
API Explorerによる単体テスト
Watson Unity SDKで開発するまでの大まかな流れ IBM Cloud アカウント作成 Watson API キー取得 Watson Unity SDK Unityアプリ開発 Watson API Explorer Watsonの カスタマイズ
https://watson-api-explorer.mybluemix.net
Demo
Watson Assistant (Conversation)による 対話単体テストとリアルタイム学習
Watson Assistant (Conversation)による対話テスト
まずUnityで使える主要なWatson API まとめ Watson Assistant チャット対話開発 Discovery/NLU 文書の理解/検索 STT/TTS 音声合成/音声認識 Visual Recognition 画像判別 CO NVERSAT I O N NAT URAL L ANG UAG E UNDERST ANDI NG TEXT TO SPEECH Personality Insights ユーザー性格分析
まずUnityで使える主要なWatson API まとめ Assistant Discovery NLU STT/TTS Visual Personalit Recogniti y Insights on 管理 ツール 有り 有り 無し APIのみ 有り 無し APIのみ 備考 対話開発 文書の理解 文書の理解 音声合成 検索 音声認識 画像認識 性格分析 無し APIのみ
https://youtu.be/aBrsOvZlHZE
Action Now ! https://ibm.biz/BdZVKq 1. IBM Cloudアカウント作成 2. アセット IBM Watson Unity SDKダウンロード アセット VR Watson Speech Sandboxダウンロード 3. IBM Code Patterns GitHubソースコード揃ってます！ https://developer.ibm.com/code/patterns/ https://github.com/ibm/vr-speech-sandbox-cardboard
Thank you! ご静聴ありがとうございました！
https://developer.ibm.com/code /patterns/create-a-virtual-reality-speech-sandbox/ https://github.com/ibm/vr-speech-sandbox-cardboard
Watson Unity SDK: Overview https://youtu.be/Sa5hmukwHV8 Create Voice Commands with Unity and Watson https://youtu.be/OsbV1xqX0hQ
Watson Assistant - Recommendations Tutorial Watson Assistant – Integrations Tutorial https://youtu.be/scMu66AvZtY https://youtu.be/O3silvVBaC8 Watson Assistant - Advanced dialog tutorial https://youtu.be/Z_vmzC0tu60 Watson Assistant – Using Cloud Functions https://youtu.be/y0A6X-KNoB8
http://www.ric.co.jp/book/contents/book_1128.html http://www.ric.co.jp/book/contents/book_1071.html
事例など THINK Watson ht t ps://www.ibm.com/t hink/jp-ja/wats on/