20231027_bedrock_lt

Claude のクセ強プロンプト特集 - 郷に入っては郷に従え 2023/10/27 Bedrock LT会

補足 サンプルとして使用していたコードに、一部よろしくない点がありましたので、 以下の通り読み替えてください。ご指摘ありがとうございます！ 修正前 （最初の <history> が閉じられていない） 修正後 https://docs.anthropic.com/claude/docs/constructing-a-prompt#mark-different-parts-of-the-prompt 2023/10/27 Bedrock 入門＆LT会 2

• https://docs.anthropic.com/claude/docs/constructing-a-prompt

SUEMITSU Kazuki a.k.a はしもと （仮名） s3kzk KDDIアジャイル開発センター 2023/10/27 Bedrock 入門＆LT会 3

KAG と 生成系AI ビジつく！ 生成AIの社会実装に向け KDDIグループとして AWS と連携 東京リージョンGA発表に合わせて紹介 内部ではあの 2023/10/27 Bedrock 入門＆LT会 Claude 2 を使用！ 4

本日伝えたいこと 2023/10/27 Bedrock 入門＆LT会 5

郷に入っては郷に従え 2023/10/27 Bedrock 入門＆LT会 6

郷に入っては郷に従え 郷 ＝ Claude 2023/10/27 Bedrock 入門＆LT会 7

Claude に本気出してもらうための Claude-Friendly なプロンプト 2023/10/27 Bedrock 入門＆LT会 8

Claude Anthropic 社開発の対話AI (創業者は元 OpenAI 社のアモデイ兄妹) 7月公開 最新モデルの “Claude 2” ・最大 100k トークンの入力に対応 ・日本語含む多言語対応 ・LLMの日本語性能ベンチマークで、 GPT-4 に次ぐ 2位 ・まだ東京リージョンにはいない Bedrock で使える！ 2023/10/27 Bedrock 入門＆LT会 The Rakuda Ranking of Japanese AI https://yuzuai.jp/benchmark 9

• https://yuzuai.jp/benchmark

管理画面から試せる (Playgrounds-Text) 2023/10/27 Bedrock 入門＆LT会 10

管理画面から試せる (Playgrounds-Text) kwsk!!! 2023/10/27 Bedrock 入門＆LT会 11

2023/10/27 Bedrock 入門＆LT会 12

＿人人人＿ ＞ 空白 ＜ ＿人人人人人人人＿ ￣Y^Y^￣ ＞ “Human:” ＜ ￣Y^Y^Y^Y^Y￣ ＿人人人人人人人＿ ＞ XMLタグ ＜ ￣Y^Y^Y^Y^Y￣ ＿人人人人人人人＿ ＞ “H:” “A:” ＜ ￣Y^Y^Y^Y^Y￣ ＿人人人人人人人人人＿ ＞ “Assistant:” ＜ ￣Y^Y^Y^Y^Y^Y￣

知ってるのとなんか違う… 2023/10/27 Bedrock 入門＆LT会 14

OpenAI Completions API ならこう書いた （なるべく寄せた） 2023/10/27 Bedrock 入門＆LT会 15

OpenAI Completions API ならこう書いた 2023/10/27 🤷 Bedrock 入門＆LT会 16

気になる！！ 2023/10/27 Bedrock 入門＆LT会 17

ということで、 2023/10/27 Bedrock 入門＆LT会 18

Welcome to Claude Village! しばし妄想にお付き合いください

村のしきたりを学ぼう！ https://docs.anthropic.com/claude/docs 2023/10/27 Bedrock 入門＆LT会 20

• https://docs.anthropic.com/claude/docs

村のしきたりを学ぼう！ 「PROMPT DESIGN」の セクションのみを取り上げます https://docs.anthropic.com/claude/docs 2023/10/27 Bedrock 入門＆LT会 21

• https://docs.anthropic.com/claude/docs

プロンプトとは？ 大規模言語モデルに対して指示や 質問を行うためのテキスト入力 ユーザーがモデルに何かを尋ねたり、 何かを行わせたりする際に用いる 文章や言葉がプロンプト 2023/10/27 Bedrock 入門＆LT会 22

なぜプロンプトの書き方が大事？ 2023/10/27 Bedrock 入門＆LT会 23

なぜプロンプトの書き方が大事？ 出力結果に大きく影響 モデルごとにお作法が違う 2023/10/27 Bedrock 入門＆LT会 24

なぜプロンプトの書き方が大事？ 出力結果に大きく影響 モデルごとにお作法が違う 2023/10/27 Bedrock 入門＆LT会 25

参考：モデルごとに異なるプラクティス Llama 2 (Meta) https://gpus.llm-utils.org/llama-2-prompt-template/ 2023/10/27 GPT-3, Codex (OpenAI) https://help.openai.com/en/articles/6654000-bestpractices-for-prompt-engineering-with-openai-api Bedrock 入門＆LT会 26

• https://gpus.llm-utils.org/llama-2-prompt-template/
• https://help.openai.com/en/articles/6654000-best-

村に戻りましょう しばし妄想にお付き合いください

Claude村のしきたり その1：合言葉は、 2023/10/27 Bedrock 入門＆LT会 28

Claude村のしきたり その1：合言葉は、 ∖n∖nHuman: ∖n∖nAssistant: 2023/10/27 Bedrock 入門＆LT会 29

なんで！？ 2023/10/27 Bedrock 入門＆LT会 30

Claude村のしきたり （意訳） Claude は「∖n∖nHuman:」や「∖n∖nAssistant:」ついたデータ使うて、 性能が上がるよう訓練とか調整されとんねん。ええ回答欲しかったらこれ使わなあかんで！ ちなみに、「Human:」と「Assistant:」それぞれの前に2行ずつ改行必要やから、 それも忘れんといてな！ 2023/10/27 https://docs.anthropic.com/claude/docs/introduction-to-prompt-design#human--assistant-formatting Bedrock 入門＆LT会 31

• https://docs.anthropic.com/claude/docs/introduction-to-prompt-design#human--assistant-formatting

Claude API を呼び出すと… 2023/10/27 【教えに従う場合】 【教えに反する場合】 認められる 教えを叩き込まれる Bedrock 入門＆LT会 32

理解した

Claude村のしきたり その2：重要な情報は、 2023/10/27 Bedrock 入門＆LT会 35

Claude村のしきたり その2：重要な情報は、 XML タグで囲う 2023/10/27 Bedrock 入門＆LT会 36

Claude村のしきたり （意訳） “<tag>アレ</tag>” みたいな XML タグは、プロンプトの大事な部分、ルールや例、 処理せなあかん入力テキスト区切るのにめっちゃ便利やで！ Claude は XML のタグで作られる構造に特に注意を払うよう微調整されてるんや。 https://docs.anthropic.com/claude/docs/constructing-a-prompt 2023/10/27 Bedrock 入門＆LT会 37

• https://docs.anthropic.com/claude/docs/constructing-a-prompt

結果を比較したけど今回は変わらず 2023/10/27 【教えに従う場合】 【教えに反する場合】 認められる 認められる Bedrock 入門＆LT会 38

理解した

Claude村のしきたり その3：会話の履歴を使うとき 2023/10/27 Bedrock 入門＆LT会 41

Claude村のしきたり その3：会話の履歴を使うとき 区切り文字に、 “Human:”, “Assistant:” を使わない 2023/10/27 Bedrock 入門＆LT会 42

Claude村のしきたり https://docs.anthropic.com/claude/docs/constructing-a-prompt （意訳） “∖n∖nHuman:” と “∖n∖nAssistant:” は、Claude が話し手を識別するための 特別なトークンとして訓練を受けてるんや。 このトークンを使うて、実際に会話が行われたとクロードに「思わせる」つもりがない場合は、 うまくいかんプロンプトができてまうことがあるで！ 2023/10/27 Bedrock 入門＆LT会 43

• https://docs.anthropic.com/claude/docs/constructing-a-prompt

次のように解釈される “Human:” と “Assistant:” を区切りとして対話を認識 指示と背景情報を明確に分離する https://docs.anthropic.com/claude/docs/human-and-assistant-formatting 2023/10/27 Bedrock 入門＆LT会 44

• https://docs.anthropic.com/claude/docs/human-and-assistant-formatting

間違っても結果は返ってくる (warning付き) （中略） 2023/10/27 【教えに従う場合】 【教えに反する場合】 認められる 認められたが、罪悪感が残る Bedrock 入門＆LT会 (LangChain/boto3どちらでも結果は返る) 45

Playground からやると… 2023/10/27 Bedrock 入門＆LT会 46

Playground からやると… 無慈悲… 2023/10/27 Bedrock 入門＆LT会 47

理解した

まとめ 2023/10/27 Bedrock 入門＆LT会 50

まとめ 🙅「前行った GPT 村ではこう言ってた」 「動かない/結果おかしい」の原因は 意外とこうしたところにあり → たくさんコツ書いてる Docs 読むの大事！ 2023/10/27 Bedrock 入門＆LT会 51

ありがとうございました