今改めて考えるストリーミングレスポンス

今改めて考えるストリーミングレスポンス Koki Miura(@k_miura_io)

自己紹介 • 三浦 耕生(こうき) • エンジニア • 俺の勉強会 運営 • JAWS UG名古屋＆神戸 運営 • 鯱.py 運営 @k_miura_io koki.miura05

ストリーミングレスポンスとは？ • サーバーからのレスポンスを一度に返すので はなく、用意できたものから順次レスポンスを 返す仕組み • HTTPのレスポンス • LLMエージェントで注目されている技術

挙動の違い 通常 ストリーミング

Websocketとの違い 項目 ストリーミングレスポンス（HTTP Streaming / SSE など） WebSocket 接続方向 主にサーバー → クライアント 双方向（クライアント 認証 HTTP認証がそのまま使いやすい（Cookie, Bearer Token, 接続時に認証が必要。JWTやCookieを使うことが多い Sessionなど） 再接続 通常のHTTPリクエストとして再実行 切断時に再接続処理が必要 サーバー負荷 比較的軽い 接続維持コストが高め 代表技術 SSE(Server-Sent Events), chunked response WebSocket protocol 向いているユースケース AIチャットの逐次生成、ログ配信、進捗通知 チャット、オンラインゲーム、共同編集、リアルタイム操作 サーバー）

実装のポイント(LLMと 連携したAPIの例) • LLMからの返答で生成され たものからfor文を利用して 順次返答するようにする • Pythonであればyieldで実現 可能 • FastAPIだとServer-Sent Events(SSE)に対応したレス ポンスクラスが用意されて いるので実装自体がとても シンプルになる

(参考)実装の比較 同期的なレスポンスのエンドポイント ストリーミングレスポンス

レスポンスの中身 • レスポンスの中身はJSON に近いが、【text/eventstream】という形式で返答さ れる • EventSource APIを備えた ブラウザでサポートされて いる形式

SSEのデバッグならPostman • PostmanでSSEに対応したAPIをリクエスト するとレスポンスが逐次表示されるように なる • 接続の開始・終了を見ることができてスト リーミングレスポンスのデバッグが楽

DEMO

まとめ • ストリーミングレスポンスを使うと時間のかかるレスポンスを逐次返すことができる • Websocketと違い常時接続を維持する必要が無いのでLLMのチャットと相性が 良い • Postmanならストリーミングレスポンスのテストがやりやすい AIチャットのUX向上の重要な要素の一つ

ソースコード https://github.com/Miura55/claude-stream-sample-api

• https://github.com/Miura55/claude-stream-sample-api

END