AI Builderで帳票自動読取をやってみた

生成AI使って帳票読取を自動化 AI Builderってこんなにお手軽！！もう紙帳票は怖くない

自己紹介 dai 365 平成７年就職 以降、非ＩＴ業務に長年従事 現在は、とある団体でデジタル推進に従事 X：@dai_keiba_73 https://biribiri.connpass.com/ 趣味：登山、競馬、お酒、プロレス、パソコン（ネット） 性格：手書きや手入力が極端に嫌い⇒昭和の業務は大嫌い！！ 2024年11月 Microsoft MVPに 長らく無資格でしたが、生成AIパスポートを取得

• https://biribiri.connpass.com/

私の職場は 組織を挙げてＤＸに取り組んでいますが やはり部署や仕事によってはまだまだ紙やＦＡＸがたくさんあります いったい日本のどの業界のデジタル化が進んでいるのか私にはわかりませんが 少なくとも私が経験してきた仕事は 伝票やＦＡＸ、それを元にシステムに入力、そんな仕事がたくさんあります

今回のシナリオ 取引先から届いた紙データをデータベース化する Before 手入力でExcelに転記している After Power Platformの活用で半自動化してみる

まず、AI BUILDERとは AIの機能を非常にお手軽にPower AppsやPowerAutomate に組み込むことが可能である 利用にはライセンスとクレジットが必要 少々お金はかかるが破壊力は絶大 何より構築スピードがヤバい https://learn.microsoft.com/ja-jp/ai-builder/overview

• https://learn.microsoft.com/ja-jp/ai-builder/overview

なんですが 今日、紹介する機能、世の中で全然騒がれていない・・・ こんなにお手軽で便利なのに 日々、心の中で １．自分以外の職場には紙や手入力が全くない ２．そもそもこんなことできるのを知らない ３．実はみんな知っていて騒いでいるのは自分だけ のループを繰り返している(笑)

さて、やってみましょうか 今日ご紹介する方法は生成AIの機能をフルに使っていて、かつお手軽です。 個人の見解だということを前提に実演をご覧ください

今日、使うのはカスタムプロンプト一択！！ テンプレートには目もくれずにいきなりカスタムプロンプトを作ります

まずはファイルを追加します １．まずは簡潔にプロンプトを記述 「ファイルから要素を抽出してください」 ・・くらい ２．サンプルデータを追加します ３．プロンプトのテストをする ここでＪＳＯＮ構造をまずは見てみる ここでＪＳＯＮ構造が問題なければ カスタムプロンプトを保存！！ ここまで超速です

次にフロー作成です まずは基本形を作り、値が取得出来るかを試す 私の場合は最初は手動トリガーでお試し 必要に応じてJSON解析を入れて データソースに追加

フローのパターンは無限 例えばトリガー一つとっても SharePointからにするのか、アプリからにするのか、はたまた手動？ アクションもデータソースをどこにするのか？ 元々ExcelだからExcelに書きたい、いやSharePointリストでいい、はたまたDataverse というようにパターンは無限だと思います 今回はアプリ化することを想定してSharePointリストとします

データからアプリを作る

先日サクっとこんなの作りました（所要時間1時間） 最近、緑内障と診断されまして・・・ 緑内障って飲んじゃいけない薬あるみたいですね・・・ 今までお薬手帳なんか持ったことないし・・・ ってことで(笑)

さらにあれこれやってみましょうか コロサリスに反応してフィルター処理