--- title: 260626 スクリーンリーダーを操作するAIの可能性 tags: #アクセシビリティ author: [Takuya Nishimoto](https://docswell.com/user/nishimotz) site: [Docswell](https://www.docswell.com/) thumbnail: https://bcdn.docswell.com/page/8EDK444N7G.jpg?width=480 description: NVDA日本語チームチャリティートーク2026 2026年6月26日(金曜日) 実現を目指している「チャットAIが代理でNVDAを操作するエージェント機能」についてお話します。 https://nvdajp2026.peatix.com/ published: June 27, 26 canonical: https://docswell.com/s/nishimotz/5Y888P-2026-06-27-094126 --- # Page. 1 ![Page Image](https://bcdn.docswell.com/page/8EDK444N7G.jpg) スクリーンリーダーを 操作するAIの可能性 〜チャットAIが代理でNVDA操作するエージェント〜 西本卓也（シュアルタ） 2026-06-26 # Page. 2 ![Page Image](https://bcdn.docswell.com/page/V7PKMMMNJ8.jpg) PC操作の自動化とエージェント • Graphical User Interface = GUI • 目標・判断・計画・実行を繰り返しながら操作する • AIによる視覚的な操作の自動化 • 画面を直接読み込んで理解する大規模言語モデル(LLM) • アクセシビリティの新しい可能性？ • アクセシビリティを置き去りにする？ • テキストもキーボード対応も必要なくなるのか？ # Page. 3 ![Page Image](https://bcdn.docswell.com/page/2JVV999YJQ.jpg) # Page. 4 ![Page Image](https://bcdn.docswell.com/page/5EGLZZZWJL.jpg) スクリーンリーダーのためのAIの提案 • アクセシブルなGUIであれば効率的に操作できる • アクセシブルでない場合は改善の提案ができる • スクリーンリーダーでの操作方法をそのまま使う • スクリーンリーダーでの操作をAIが説明できる • AI対応の改善＝そのままアクセシビリティ確保の改善 • AIに優しいGUIは、スクリーンリーダーにも優しいGUI # Page. 5 ![Page Image](https://bcdn.docswell.com/page/4JQYLLLQ7P.jpg) NVDAを自動操作する • 実は NVDA 開発者はテストを自動化している • 専用の音声エンジンを組み込む • 読み上げテキストを取得 • 「キー入力する、読み上げたテキストを確認する」の繰り返し • 本家版 • Chrome と W3C APG サンプルのテストを使用 • NVDA 日本語版 • アクセシビリティ サポーテッドに関する WAIC テストを追加 # Page. 6 ![Page Image](https://bcdn.docswell.com/page/K74WDDDYE1.jpg) NVDA Remote を操作する AI • NVDA 2025.1 で Remote が NVDA に統合された • Remote の特徴 • 画像や音声を送信していない • 操作するPC • ユーザーがキーを押したら、キーを押すという「命令」を送信する • 操作されるPCから「読み上げろ」という命令を受信したら読み上げる • NVDAにアドオンを入れる必要がない # Page. 7 ![Page Image](https://bcdn.docswell.com/page/LJ1YZZZNEG.jpg) AI分野でホットな話題 • コーディング AI • プログラミングあるいはセキュリティ問題発見 • OSS / ローカル LLM • デバイスの性能をアピール • サブスク、API課金、クラウドが不要 • 画像の説明もできる • AI エージェント • テキストを生成するだけではない • AI が「命令」を出す側になった • ツールの一覧 → 「答える」「ツールを使う」を選択 # Page. 8 ![Page Image](https://bcdn.docswell.com/page/GJWG996M72.jpg) 失敗させてAIを育てる • 実際にブラウザで操作する数十件のテスト • 作業を見守りながらアドバイスをする • ブラウズモードの切り替えを音で報告をやめる • NVDA+Spaceを2回押して現在のモードを確認する • NVDA+Tab / NVDA+T / NVDA+B • ブラウザ: Ctrl+L でアドレスバー / Ctrl+Home で先頭 • 何が聞こえたらどうなっているか • 待ち時間の調整 • 操作をしても同じことしか繰り返さなくなったら # Page. 9 ![Page Image](https://bcdn.docswell.com/page/4EZL99YM73.jpg) プログラミング言語 NUI の誕生 • NVDA Remote に対応するコマンド • send_key • set_clipboard • 複数の操作の組み合わせコマンド • get_speech_after_key • ensure_browse_mode • 独自に追加したコマンド • sleep / if / while / foreach • set_credential_clipboard （パスワード入力支援） # Page. 10 ![Page Image](https://bcdn.docswell.com/page/Y76WKKD57V.jpg) Nuime Desktop の主な機能 • NVDA 経由で Windows / アプリ / ブラウザを操作、説明 • AI による文字認識と画像説明 • NUI コマンドの実行 • NUI プログラムの実行と作成 • スキル機能 • コマンドの使い方やプログラムの作り方を記録・参照する • 外部の AI ツールから呼び出す（MCP） • このアプリそのもの開発に使用している # Page. 11 ![Page Image](https://bcdn.docswell.com/page/G75MPP3G74.jpg) KCトーカー2をデモで使用 # Page. 12 ![Page Image](https://bcdn.docswell.com/page/9J2966ZDER.jpg) これから • NVDA 操作のどこが難しいか • 私はロボットではありません？ • www.nuime.net • アルファ版を7月から配布 • いまはGPUまたはAPIキーが必要 • 企業が仕事で使いたくなる NVDA に • NVDA ユーザーの活躍できる場所を増やす • NUI の知見を NVDA や教材の改良に活かす