t-masa AIを作ってみた - IT系の濃ゆい話をする会#16
1K Views
June 20, 24
スライド概要
https://it-deep-talk.connpass.com/event/321256/
座右の銘は「an infinite iterator has no upper bound」
関連スライド
各ページのテキスト
t-masa AIを作ってみた IT系の濃ゆい話をする会#16 t-masa
AIめっちゃ流行っとる
自分のことをよく知っているAIを作ったら、面白 いのでは...？
作ってみよう！ お断り: 現在 t-masa AI は課金が辛くて稼働してません。ごめんなさい
AIの作り方候補 いろいろある - ChatGPTやOpen AI APIを利用する ローカルLLM Amazon Bedrock →Amazon Bedrock気になるし試してみよう！
作っていくぞ 用意するもの - AWSアカウント - 課金の構え(もちろん予算超過のアラートは設定しておく) - 先人の記事 【AWS】BedrockのAgentを使ったら1時間弱でRAGを構築できた NCDCエンジニアブログ - Amazon Bedrockの公式ドキュメント - 食わせたいデータ(今回は僕のブログを使用): 10万トークンくらい - 時間: 1時間くらいあればOK
流れ - ナレッジベースというデータ部分の作成と、 - エージェントという応答部分の作成 の2パート 基本はボタンぽちぽちでOK
作るまでの様子: モデルのアクセスリクエスト ap-northeast-1でやりました が、 us-east-1 や us-west-2 の方がモデルの種類が多い です
作るまでの様子: S3にバケットを作ってデータを置く 僕のブログのMarkdownファ イルを置いています
作るまでの様子: Amazon Bedrock > ナレッジベース作成
作るまでの様子: ナレッジベース > データソース指定 データソースでS3のURIに さっきのブログデータのバ ケットを指定
作るまでの様子: ナレッジベース > 埋め込みモデル指定 埋め込みモデルを指定 1000トークン数辺りの課金 額が安めなのを選択
作るまでの様子: ナレッジベース作成完了、同期 5~10分ほどベクトルデータベースの構築に時間かかるとナレッ ジベースが作成される データソースをナレッジベースへ取り込む(データソースを選択して同期) 参考: 同期してデータソースをナレッジベースに取り込む - Amazon Bedrock
作るまでの様子: データソース読めてるかテスト 右のチャット欄から「回答を生成」をOFFにしてチャットすると、単なる ベクトル検索をしてくれてデバッグしやすい
作るまでの様子: エージェント作成
作るまでの様子: エージェント作成
作るまでの様子: エージェント作成 こっちは応答する方のモデルを指定
作るまでの様子: エージェント作成 ナレッジベースを指定
作るまでの様子: エージェント作成 プロンプト指定
t-masa AI 完成！
試してみる ええやん！ (t-masa AIが僕のこと終わっているオタク呼ばわりしてくる...)
うまく行った...？
英語やんけ 試してみる: 結構苦戦する 悲しい AIの反乱！？
改善 Amazon Bedrock エージェント側のプロンプトとして、デフォルトで入る前処理をいじりま した - ステップをみると「I will categorize this input as Category D.」みたいなのがでてる→ 有害なものとしてフィルタリングされている →フィルタリングを外す - プロンプト改善 →デフォルトのプロンプトも、聞き方も工夫する
最後に自己紹介して終わります！
自己紹介 ハンドルネーム: uta8aとかt-masaとか 仕事: 生産性向上チームで GitHub Actions Self-hosted runnerの運用 広島で美味いと思った飲食店: 焼肉ふるさと、塩そば まえだ 宣伝: Software Design 2024年7月号 GitHub Actions 実践講座 に寄稿してます！
AIによる僕の自己紹介: チームのお仕事 合ってて草
AIによる僕の自己紹介: 広島のご飯 まえだ 認識してる！ (一店舗だけど )
課金の話 4日で4000円課金されるぞ！！！ - 敗因: 手でBedrock側のリソース消してもベクトル検 索のためのOpen Search Serviceが消えなくて、時間 単位で課金が継続してしまう Open Search ServiceのServerlessをよく確認しよ う！！！ 実験用なので手で作ったけど、やっぱterraformが良 い！！！
感想 - ブログよりも、Twitterのテキストとかの日常っぽいものを食わせた方がt-masa AIと言 えそう - 案外書いたこと忘れているので、AIの回答で思い出してびっくりする - こんなに楽にブラックボックスでもAI作れるのはすごい - Bedrockは回答までのステップがある程度分かるように表示されるので、デバッグしや すい(前処理で詰まっている・検索の結果で詰まっている、とか分かる) 皆さんもオレオレ AIを作って遊ぼう！