20241221AI-Builder使ってあれこれやってみた

AI Builder使ってあれこれやってみた 2024/12/21 気ままに勉強会 #102 dai365

自己紹介 dai 365 平成７年就職 以降、非ＩＴ業務に長年従事 現在は、とある団体でデジタル推進に従事 X：@dai_keiba_73 https://biribiri.connpass.com/ 趣味：登山、競馬、お酒、プロレス、パソコン（ネット） 性格：手書きや手入力が極端に嫌い⇒昭和の業務は大嫌い！！ 2024年11月 Microsoft MVPに 長らく無資格でしたが、生成AIパスポートを取得

• https://biribiri.connpass.com/

2024年、それは 今日、お話する話には個人の見解が非常に多く含まれます。 私が思うに2024年は生成AIが人類の能力を超えた年だと思います。 そのくらいこの1年で生成AIで出来ることの幅が広がったことと、精度が上がりました。 本日はAI Builderを通じてですが、その一端をお話させていただきます。

簡単なふりかえり 2022年11月 Chat-GPT（3.5）登場 2023年3月 GPT-4 2023年9月 GPT-4v 音声入力・画像入力が可能に 2024年5月 GPT-4o 音声認識・画像認識の速度が向上 2024年9月 OpenAI o1 複雑な推論が可能に 2025年1月 OpenAI o3 ついにAGI？ 他社もGeminiやClaude他で抜きつ抜かれつのデッドヒートを繰り広げている OpenAI社は今日21日ついにo3を発表した

AI Builderって何？ AIの機能を非常にお手軽にPower AppsやPowerAutomateに 組み込むことが可能である 利用にはライセンスとクレジットが必要 少々お金はかかるが破壊力は絶大 何より構築スピードがヤバい https://learn.microsoft.com/ja-jp/ai-builder/overview

• https://learn.microsoft.com/ja-jp/ai-builder/overview

７月３日、私に衝撃が？ ７月３日に私はとあるコミュニティに参加します（おうじゃさんといっしょ） そこですごいものを目撃します それはAI Builderです というかカスタムプロンプトというべきでしょうか とにかくその衝撃を忘れることは出来ません がしかし、この日、私は寝落ちしてちゃんと内容を理解していません(笑)

７月１０日、やりたいことはコレ！！ ７月１０日、再度そのコミュニティに参加します どうしてもやってみたくなった私は教えを乞います ライセンスが足りてなかったのでその場で課金(笑) PowerAutomateプレミアムライセンスを購入します いや、でも、そのくらいやってみたい内容なんです

やりたかったことは構造化 今回の肝はコレです！！ プロンプト設定の出力 そこにJSONを指定できます さらに編集からJSON形式を編集可能です 9月時点ではプレビューでしたが、先般GAされました。

今思えば、この夏はAI Builder三昧 前述のように 7月3日にAI Builderのカスタムプロンプト（JSON出力）に出会い 7月10日にPowerAutomatePremiumを課金 そんな私にさらなる衝撃が走ったのが7月17日！！ まあなんと素敵なUdemyのコースをギークフジワラさんが出しました https://www.udemy.com/course/ai-builder-one/?couponCode=SKILLS4SALEJP

• https://www.udemy.com/course/ai-builder-one/?couponCode=SKILLS4SALEJP

このコース私にとっては まずはモデル駆動型アプリを初めて本格的に触ることに モデル駆動型の基本から何が出来るのかが網羅されていた AI Builderの使い方も実に様々なパターンが用意されていた 9時間越えのコースであったが、そこは必死に見た(笑)

さてどうなった？ 私の特技は写経(笑) ということでまずは完コピ開始！！ がしかし、半ばに差し掛かったところで、いつもの悪いクセが・・・

講座内のトレーニング計画アプリを模して作成 私は登山が趣味なので、これはなかなか面白かった カスタムプロンプトには出発地を入れている

プロンプトはこんな感じで さらに改良するなら以下の案もありますかね？ １．出発地を可変にする（今回は北海道札幌市固定） ２．本来の登山計画書に転記可能な出力をしてみる⇒ここにJSON出力使えそう！！

トレーニング計画アプリを模して作成 カスタムプロンプトには出発地を入れている

プロンプトはこんな感じで さらに改良するなら以下の案もありますかね？ １．出発地を可変にする（今回は北海道札幌市固定） ２．交通手段の案を複数出力する ３．これも出力結果のJSON化は面白そう

TextRecognizerで読み取った内容をカスタムプロンプトでJSON化 それをギャラリー表示させて、手入力を大幅削減させるイメージ 今思えば、このころはいったんテキストを抽出していた・・・（後述します）

当時はプレビューだった プロンプトはこんな感じで これがこの夏、夢中になったJSON出力 当時は無指定だとマークダウン形式で出力していたのでこう記述 これ手入力の残っている職場だと効率化にめっちゃなります

この動作、PowerAutomateでも可能です トリガーは手動でもいいですし アイテム（ファイル）が作成または変更されたときでもOK あとはファイル取得して ファイルコンテンツ取得して テキスト読み取って カスタムプロンプトでテキスト作成して（JSON） 必要な項目をリストに作成する

ちなみに夢のようなイベントもやりました ビリビリにギークさんをお招きして 私のアプリを披露するという暴挙(笑) 夢のような時間をすごさせていただきました

みなさんの職場にはこんな仕事ありませんか？ 手書きとかＦＡＸされた紙をExcelに転記作業 そのExcel台帳からシステムに入力 （かつレガシーシステム） 手書き、転記、手入力、これらは間違いの元になります

ということで実演！！ 今日作りました(笑) 手書き、転記、手入力、これらは間違いの元になります

仕掛けはいたって簡単 カスタムプロンプトをフローに組み込む なんと読み取りと構造化が一撃です！！

カスタムプロンプト超お手軽です なんと読み取りと構造化が一撃です！！

職場ではこんなシーンに実装予定です アプリ上で目視確認と修正 手書きＦＡＸをデータベース化 システムがレガシーなのでＲＰＡ もしくはデータベースとして活用 手入力業務の大幅削減につながると確信しています ＊生成AIの出力結果を目視で確認することは必要です

ご利用は計画的に・・・ AI Builderの利用にはライセンスとクレジットが必要です https://learn.microsoft.com/ja-jp/ai-builder/credit-management 私の個人テナントですと Power Apps Premium で 500 Power Automate Premium で5000 の5500クレジットがあります 職場で2回、個人で1回やらかしました(笑) 職場ではその後Ｔ１ライセンスに

• https://learn.microsoft.com/ja-jp/ai-builder/credit-management

計画的な利用をするために 個人の消費クレジットはPowerAutomateのAI Builderの活動から見ることができます ざくっというと、GPT-4o miniはGPT-4oの10分の1くらいのコスト感

今日、お時間をいただいた理由 本日のこのLT、どうしても今日でなければならなかった・・・ それは１２月２１日であり、土曜日 その理由は・・・ 33年目の悲願

打倒！！有馬記念！！

昨年はPower Apps側でGPT-3.5コネクタで実装 記念すべきビリビリ初回イベントにて披露 この夏にはPowerAutomateで GPT-4oとAI-Builderで実装していた それがそれがなんと！！

進化した！！ たったこれだけで！！競馬の予想？(笑) 作成時間10分！！ ちなみにカメラコントロール搭載のスマホ版も作った

やってみて AI Builder、めちゃめちゃ面白いです！！ APIとかよくわからない人には超オススメです ですが、ご利用は計画的に(笑) でもライセンス購入する価値は十二分にあります 特に紙やFAXがまだ残っている職場ならなおさらです 明日、私の悲願が叶うとさらに最高です！！

この道を行けば どうなるものか 危ぶむなかれ 危ぶめば道はなし 踏み出せばその一足が道となり その一足が道となる やればわかるさ！！ 迷わず行けよ やればわかるさ（買えばわかるさ）