260626 スクリーンリーダーを操作するAIの可能性

スクリーンリーダーを 操作するAIの可能性 〜チャットAIが代理でNVDA操作するエージェント〜 西本卓也（シュアルタ） 2026-06-26

PC操作の自動化とエージェント • Graphical User Interface = GUI • 目標・判断・計画・実行を繰り返しながら操作する • AIによる視覚的な操作の自動化 • 画面を直接読み込んで理解する大規模言語モデル(LLM) • アクセシビリティの新しい可能性？ • アクセシビリティを置き去りにする？ • テキストもキーボード対応も必要なくなるのか？

スクリーンリーダーのためのAIの提案 • アクセシブルなGUIであれば効率的に操作できる • アクセシブルでない場合は改善の提案ができる • スクリーンリーダーでの操作方法をそのまま使う • スクリーンリーダーでの操作をAIが説明できる • AI対応の改善＝そのままアクセシビリティ確保の改善 • AIに優しいGUIは、スクリーンリーダーにも優しいGUI

NVDAを自動操作する • 実は NVDA 開発者はテストを自動化している • 専用の音声エンジンを組み込む • 読み上げテキストを取得 • 「キー入力する、読み上げたテキストを確認する」の繰り返し • 本家版 • Chrome と W3C APG サンプルのテストを使用 • NVDA 日本語版 • アクセシビリティ サポーテッドに関する WAIC テストを追加

NVDA Remote を操作する AI • NVDA 2025.1 で Remote が NVDA に統合された • Remote の特徴 • 画像や音声を送信していない • 操作するPC • ユーザーがキーを押したら、キーを押すという「命令」を送信する • 操作されるPCから「読み上げろ」という命令を受信したら読み上げる • NVDAにアドオンを入れる必要がない

AI分野でホットな話題 • コーディング AI • プログラミングあるいはセキュリティ問題発見 • OSS / ローカル LLM • デバイスの性能をアピール • サブスク、API課金、クラウドが不要 • 画像の説明もできる • AI エージェント • テキストを生成するだけではない • AI が「命令」を出す側になった • ツールの一覧 → 「答える」「ツールを使う」を選択

失敗させてAIを育てる • 実際にブラウザで操作する数十件のテスト • 作業を見守りながらアドバイスをする • ブラウズモードの切り替えを音で報告をやめる • NVDA+Spaceを2回押して現在のモードを確認する • NVDA+Tab / NVDA+T / NVDA+B • ブラウザ: Ctrl+L でアドレスバー / Ctrl+Home で先頭 • 何が聞こえたらどうなっているか • 待ち時間の調整 • 操作をしても同じことしか繰り返さなくなったら

プログラミング言語 NUI の誕生 • NVDA Remote に対応するコマンド • send_key • set_clipboard • 複数の操作の組み合わせコマンド • get_speech_after_key • ensure_browse_mode • 独自に追加したコマンド • sleep / if / while / foreach • set_credential_clipboard （パスワード入力支援）

Nuime Desktop の主な機能 • NVDA 経由で Windows / アプリ / ブラウザを操作、説明 • AI による文字認識と画像説明 • NUI コマンドの実行 • NUI プログラムの実行と作成 • スキル機能 • コマンドの使い方やプログラムの作り方を記録・参照する • 外部の AI ツールから呼び出す（MCP） • このアプリそのもの開発に使用している

KCトーカー2をデモで使用

これから • NVDA 操作のどこが難しいか • 私はロボットではありません？ • www.nuime.net • アルファ版を7月から配布 • いまはGPUまたはAPIキーが必要 • 企業が仕事で使いたくなる NVDA に • NVDA ユーザーの活躍できる場所を増やす • NUI の知見を NVDA や教材の改良に活かす