-- Views
August 04, 26
スライド概要
デジタル民主主義サミット2026で講演した資料です。
https://summit.dd2030.org/
高機能雑用
1 ブロードリスニングの技術 デジタル民主主義サミット2026 2026/8/2 中山心太(@tokoroten) / 西尾泰和(@nishio)
2 この講演に関して • 基本的には中山(@tokoroten)が発表を行います • 適宜、西尾(@nishio)が補足やツッコミを入れていきます • 二人ともデジタル民主主義2030が提供する広聴AIのメンテナ • https://github.com/digitaldemocracy2030/kouchou-ai
3 目次 • ブロードリスニング本の宣伝 • ブロードリスニングの事例 • ブロードリスニングとは何か • ブロードリスニングの技術 • LLMによる意見分割 • Sentence-BERTによるベクトル化 • UMAPによる意見集約 • 広聴AIのパイプライン解説 • 次世代版の話とまとめ
4 宣伝:ブロードリスニング本が出るよ! • 「政治・自治体・企業に広がるブロー ドリスニング」 • インプレスから11月頃発売予定 • 序文、安野たかひろ • 推薦文、オードリー・タン • 原稿はすべてGithubで公開中 • https://github.com/digitaldemocracy 2030/broad-listening-book • 約60%を中山が執筆 • 西尾が約15%、他著者多数 ChatGPTで生成した仮画像
5 目次 • ブロードリスニング本の宣伝 • ブロードリスニングの事例 • ブロードリスニングとは何か • ブロードリスニングの技術 • LLMによる意見分割 • Sentence-BERTによるベクトル化 • UMAPによる意見集約 • 広聴AIのパイプライン解説 • 次世代版の話とまとめ
6 最初期の事例 2024年東京都知事選、安野貴博候補 2024年衆院選、日テレ特番 https://www.youtube.com/watch?v=RWixVNG4tLY https://takahiroanno.com/directvote
7 みらいAIインタビュー(仮) https://depth-interview-ai.vercel.app/ 安野さんがClaudeCodeでエイヤで作り運用しているらしい
8 目次 • ブロードリスニング本の宣伝 • ブロードリスニングの事例 • ブロードリスニングとは何か • ブロードリスニングの技術 • LLMによる意見分割 • Sentence-BERTによるベクトル化 • UMAPによる意見集約 • 広聴AIのパイプライン解説 • 次世代版の話とまとめ
9 ブロードリスニングはどこで誕生したのか? • 拡張熟議支援として①ツールとしてのブロードリスニングが誕生 • 海外では ②拡張熟議支援としてのブロードリスニングが普及 • 日本では ③政治家・行政主導のブロードリスニングが普及 古代の直接民主制 規範的参照 ハーバーマスらによる 熟議民主主義の 理論の構築 代表制の限界の整理 制度実践への展開 議会制民主主義 政治参加 意思決定の 正当化に貢献 政党、政治家、自治体 ③政治家・行政主導の ブロードリスニング 市民による熟議 ICTによる熟議の大規模化 拡張熟議 AIによる拡張熟議の支援技術として発展 ②拡張熟議支援としてのブロードリスニング ブロードリスニング 世論把握、争点把握、議題整理に活用 ①ツールとしてのブロードリスニング
10 ブロードリスニングは3種類に分かれる ChatGPTで生成
11 3種類のブロードリスニングの整理 • ①ツールとしてのブロードリスニング • Talk To The City、広聴AI、他多数 • 大量の自由記述文をAIを使って情報整理を行う • 今回の講演では①の話をします • ②拡張熟議支援としてのブロードリスニング • いどばた、AI介在コミュニケーション • 拡張熟議をAIを用いてさらに大規模化する • ③政治家・行政主導のブロードリスニング • 各党が行っているブロードリスニング施策 • 深く聞くため「みらいAIインタビュー(仮)」など
12 ブロードリスニングを1枚で表すと? 深さ 規模と深さのトレードオフを AIのアシストで乗り越えること ブロードリスニング導入による 新しいトレードオフ曲線 従来のアンケート・世論調査・ 意見ヒアリングのトレードオフ曲線 規模
13 規模と深さのトレードオフ • 予算が一定であるとすると、規模と深さはトレードオフ • 大量に意見を集めようとすると、簡単なことしか聞けない • 令和7年の国勢調査では、全世帯に17項目のアンケートを行い、 約946億円の費用が掛かった • 深いことを聞こうとすると、少人数にしか聞けない • 一人に2時間ヒアリングするには、聞き手1人あたり、1日に5人が 限界 • 選択式アンケートの分析は100年以上前に技術が解決 • 1880年のアメリカの国勢調査は、データ処理に7年を要した • 1890年からはパンチカード式になり、集計は18カ月早まった • 余談)パンチカードの発明家の会社は、合併を経て後のIBMへ • 深い意見収集と自由記述の分析は依然として高コスト https://commons.wikimedia.org/wiki/File:HollerithMachine.CHM.jpg
14 規模と深さのトレードオフをAIで乗り越える • なぜ深いヒアリングは難しいのか? • 良いヒアリングには専門技術が必要 • 1時間のヒアリングには、1時間のプロが必要 • 1時間のヒアリングの分析には、数時間がかかる • 文字起こしは自由記述の自然文になっていて、分析が困難 • なぜ自由記述の分析は難しいのか? • 従来のプログラミングでは、自然言語処理は極めて難しい • 賛否、二重否定、推量、多義語、別名、皮肉、蔑称、分類、フィラー • 2022年、ChatGPT、LLMの登場によってこの問題が解決 • 大規模言語モデルが自然言語を解することで、自由記述の自然文の分析コストが格 段に下がってきた • 自由記述文を現実的なコストで解析して、インサイト抽出、意見集約できるように なってきた
15 ブロードリスニングによるボトルネック移動 • 収集→分析→解釈の3段階のうち、分析はブロードリスニ ングの技術によって低コスト化した • ボトルネックは分析から、収集や解釈へ移動した • 意見収集や、分析結果の解釈にコストを張れないと、ブロードリ スニングの真価は発揮されない • ブロードリスニングをしたからといって広く情報が集ま るわけではない • ブロードリスニング自体には意見を集める力はない • 多くの自治体は意見そのものが集まらなくて困っている • ブロードリスニングは解釈や意思決定を提供しない • 従来の選択式アンケートであれば、比率が成果物だった • 比率には分析者の「エゴ」は乗らないので出しやすかった • 解釈や意思決定は依然として人間に残る • 「エゴ」を出しづらい役人が使うには難しい、首長の支援が要る 意見収集 分析 解釈
16 目次 • ブロードリスニング本の宣伝 • ブロードリスニングの事例 • ブロードリスニングとは何か • ブロードリスニングの技術 • LLMによる意見分割 • Sentence-BERTによるベクトル化 • UMAPによる意見集約 • 広聴AIのパイプライン解説 • 次世代版の話とまとめ
17 ブロードリスニングの技術:広聴AIとは? • 広聴AIは、デジタル民主主義2030が OSSで開発する、意見可視化・ブ ロードリスニングサービス • https://dd2030.org/kouchou-ai • 意見を分類・可視化し、市民や行政、 政治家が、議論・意思決定をする際 に、有用なインサイトを素早く提供 する • 意見の量ではなく、少数意見を含め た意見の多様性を可視化する • 原型となったTalk to the cityは安野 たかひろが2024年の東京都知事選挙 で利用したほか、東京都が「シン東 京2050」の策定で活用 https://dd2030.org/kouchou-ai
18 余談)TTTCから広聴AIへ
19 広聴に至る技術ツリー 広聴AI クラスタリング LLM 意味理解・文書生成 次元削減 UMAP BERT Sentence-BERT 文脈ベクトル Word2Vec 単語ベクトル 似た使われ方 をしている シノニム辞書 Ward法 k-means コサイン類似度 距離が近い 次元削減 PCA、主成分分析 「同じ」とは何か? 「似ている」とは何か? 相関している
20 今日話す範囲 広聴AI クラスタリング LLM 意味理解・文書生成 次元削減 UMAP BERT Sentence-BERT 文脈ベクトル Word2Vec 単語ベクトル 似た使われ方 をしている シノニム辞書 Ward法 k-means コサイン類似度 距離が近い 次元削減 PCA、主成分分析 「同じ」とは何か? 「似ている」とは何か? 相関している
21 広聴AIの要素技術は割と最近 • UMAP 2018年 • Sentence-BERT 2019年 • LLM 2020年、ChatGPTは2022年 • これらの概念をざっくりと理解することで、どのようにして自 由記述文の意見集約を実現していくのかを理解していく
22 目次 • ブロードリスニング本の宣伝 • ブロードリスニングの事例 • ブロードリスニングとは何か • ブロードリスニングの技術 • LLMによる意見分割 • Sentence-BERTによるベクトル化 • UMAPによる意見集約 • 広聴AIのパイプライン解説 • 次世代版の話とまとめ
23 LLMによる意見分割 • 人間が書く自然文には、複数の意見が並列で書かれているため、 それらを意見単位に分割してあげる必要がある • ちなみに生の意見はマジでしんどい • 私たち地域住民は、いつまで行政の曖昧な姿勢に振り回され続けなければならない のでしょうか。川沿いの貴重な緑地を守り、鳥や昆虫が戻る環境を取り戻してほし いという切実な声が上がっているのに、その一方で駅前には「にぎわい創出」と称 して商業施設を誘致し、若者の雇用を増やしてほしいという要望も山積みです。さ らに、保育園の待機児童ゼロ、学童保育の延長など、子育て支援を充実させろとい う悲痛な叫びが毎日のように届いている――にもかかわらず、あなた方は具体的な 計画も示さず、ただ場当たり的な言い訳を並べ立てるばかりではありませんか!私 たちは、これらの多様な願いを「互いに競合させるから難しい」などという聞き飽 きた逃げ口上で片づけるのではなく、環境・経済・福祉を同時に推進するための、 【いつ何を・誰が・どうやって】実行するのか明確に記したロードマップを直ちに 示せと強く要求します。しかも、進捗状況をブラックボックスに隠すなど論外! 月次で数値と達成度を公開し、住民の前で責任を取る姿勢を見せるべきです。 ※この意見はChatGPTに生成されたものです
24 意見を分割すると活用しやすくなる • ChatGPTに意見を分割させた結果 • 「川沿いの貴重な緑地を守り、鳥や昆虫が戻る環境を取り戻すべき」 • 「駅前に商業施設を誘致して若者の雇用を増やすべき」 • 「保育園の待機児童をゼロにすべき」 • 「学童保育の延長など子育て支援を充実させるべき」 • 「環境・経済・福祉を同時に推進するための具体的なロードマップを直ちに示すべ き」 • 「月次で数値と達成度を公開し、住民の前で責任を取る姿勢を見せるべき」 • https://chatgpt.com/share/6848d788-79c4-8009-bcc9-f16feebed5c0 • 意見分割は、人間的なダラダラとした文章を適切に分割し、後段で意見集 約処理しやすい形にする • 「複数の人で共通している意見」を発見するには、意見分割が有効 • (ABC)と(CBD)には共通点はないが、それぞれを{A,B,C}、{B,C,D}にバラすと、 B,Cは複数の人が主張している、となる
25 ちなみにどこが抽出されたのか? • 私たち地域住民は、いつまで行政の曖昧な姿勢に振り回され続けなければ ならないのでしょうか。川沿いの貴重な緑地を守り、鳥や昆虫が戻る環境 を取り戻してほしいという切実な声が上がっているのに、その一方で駅前 には「にぎわい創出」と称して商業施設を誘致し、若者の雇用を増やして ほしいという要望も山積みです。さらに、保育園の待機児童ゼロ、学童保 育の延長など、子育て支援を充実させろという悲痛な叫びが毎日のように 届いている――にもかかわらず、あなた方は具体的な計画も示さず、ただ 場当たり的な言い訳を並べ立てるばかりではありませんか! 私たちは、これらの多様な願いを「互いに競合させるから難しい」などと いう聞き飽きた逃げ口上で片づけるのではなく、環境・経済・福祉を同時 に推進するための、【いつ何を・誰が・どうやって】実行するのか明確に 記したロードマップを直ちに示せと強く要求します。しかも、進捗状況を ブラックボックスに隠すなど論外! 月次で数値と達成度を公開し、住民 の前で責任を取る姿勢を見せるべきです。 建設的な要望が綺麗に抽出出来てるぽい
26 目次 • ブロードリスニング本の宣伝 • ブロードリスニングの事例 • ブロードリスニングとは何か • ブロードリスニングの技術 • LLMによる意見分割 • Sentence-BERTによるベクトル化 • UMAPによる意見集約 • 広聴AIのパイプライン解説 • 次世代版の話とまとめ
27 Sentence-BERTは文章をベクトル化する • 近い意味の文章は近いベクトルになるように変換される機械学習アルゴリズム • 最近流行りの「ベクトル検索」の裏側で動いてるのはだいたいコイツ • イタリア料理関連のグループ • トマトソースのパスタを作るのが好きです • 私はイタリアンの料理が得意です • スパゲッティカルボナーラは簡単においしく作れます • 天気関連のグループ • 今日は晴れて気持ちがいい天気です • 明日の天気予報では雨が降るようです • 週末は天気が良くなりそうで外出するのに最適です • 技術関連のグループ • 新しいスマートフォンは処理速度が速くなりました • 最新のノートパソコンはバッテリー持ちが良いです • ワイヤレスイヤホンの音質が向上しています
28 文脈ベクトルによる文章の類似度 • ここではSentenceTransformerを用いて、文章を768次元のベクトル化 • それぞれの文章間で相互にコサイン類似度を算出して、距離行列化 • 同一ジャンルの文章は、コサイン類似度が高くなっていることが分かる • 同一ジャンル内でも「晴れ」と「雨」ではコサイン類似度は下がる傾向にある • 「ベクトル検索」のコアとなる技術が、文脈ベクトルとコサイン類似度
29 エンベディングの実装例 • 文章をベクトルで表現することをエン ベディング(埋め込み)と表現する • OpenAI • https://platform.openai.com/docs/guid es/embeddings • APIで利用、text-embedding-3-smallで は1536次元のベクトルが帰ってくる • SentenceTransformers • https://sbert.net/ • Pythonから利用、768次元のベクトルが 帰ってくる
30 意見分割とエンベディングの相乗効果 • 意見分割によって、エンベディングが効果的になる • 口調が統一、誤字脱字が修正されることで、ノイズが消える • 感情的で攻撃的な文言が消えて、建設的な意見のみが残る • 「にもかかわらず、あなた方は具体的な計画も示さず、ただ場当たり的な言い訳を並 べ立てるばかりではありませんか!」は消えた • 人間は感情によって意見の補強をしようとする傾向があるので、意見集約しようとす ると感情によってベクトルがばらつく • 意見分割で一つの文章に、一つの意見だけが含まれるようになるので、エン ベディングが安定する • 複数の意見が混ざると、埋め込みベクトルも混ざって混乱する • LLMによる意見分割と成形を挟むことで、エンベディングを理想状 態で運用することができるようになる • 懸念点:ハルシネーションによって関係ない文章が抽出される可能性がある • これはThinkingに対応した高いモデルを使うとだいたい解決する
31 目次 • ブロードリスニング本の宣伝 • ブロードリスニングの事例 • ブロードリスニングとは何か • ブロードリスニングの技術 • LLMによる意見分割 • Sentence-BERTによるベクトル化 • UMAPによる意見集約 • 広聴AIのパイプライン解説 • 次世代版の話とまとめ
32 UMAPによる次元圧縮 • 次元圧縮とは、データの本質だけを残して余分な情 報を捨て、“軸”を減らすことで、より少ない数の 特徴で表現し直す技術 • 広聴AIでは1536次元 → 2次元といった圧縮が行われて いる(OpenAIのtext-embedding-3-smallの場合) • 主成分分析、PCA • データの相関を利用した一番基本的なアルゴリズム • 相関のある軸を中心にグラフ全体を回転させて、有効な 軸を残す手法 • 次元数が少なく、軸間の相関が強い場合にうまく機能す る • UMAP • 局所的な距離構造を維持したまま、データをより低次元 に写しかえる手法 • 曲がったゴムシートを空間に押し付けて、低次元に写しかえる イメージ、超高次元魚拓 • TTTCや広聴AIはこのアルゴリズムを利用している ChatGPTに作らせたUMAPのイメージ図 https://chatgpt.com/c/68499a76-3a44-8009bec9-fc07df928622
33 次元圧縮の直感的理解 • 魚拓や地図は、高次元(3次元)のも のを無理やり(2次元)で表現する • 局所的にはあっていて、ある用途に おいては利便性は高いが、高次元の 情報が捨てられているため、大域的 に正しいわけではない • 地図 • 高緯度が歪む(メルカトル図法) • アラスカと極東ロシアは遠く離れてし まっている • 海面高度や山の高さの情報は捨てられ ている • 魚拓 • 反対側や内臓の情報は消失している • 色、味、弾力、重さの情報は消える
34 UMAPのデモンストレーション • MNIST(手書きの数字)のデータをPCAとUMAPで2次元の次元圧縮して可視化 • PCAはグチャグチャだが、UMAPは上手く分離出来ている • 手書きだと間違いやすい、{0,6}、{2,3,5,8}、{4,9,7} が隣接しながら分離されている ① ⑤ ⑧ ⓪ ② ⑥ ③ ④ ⑨ ⑦
35 文脈埋め込み×UMAPが広聴AIの本質 • 入力された文章をLLMで意見単 位に分解する • 意見を埋め込みベクトルに変換 • 埋め込みベクトルの集合を UMAPで次元圧縮 • 近しい意見は近い場所に配置され る • UMAPの空間をクラスタリング で細かく切断する • 今回は説明を割愛 • LLMで人間にとって分かりやす い名前を付けることで、人間が 理解しやすくする
36 目次 • ブロードリスニング本の宣伝 • ブロードリスニングの事例 • ブロードリスニングとは何か • ブロードリスニングの技術 • LLMによる意見分割 • Sentence-BERTによるベクトル化 • UMAPによる意見集約 • 広聴AIのパイプライン解説 • 次世代版の話とまとめ
37 広聴AIの処理の流れ • 広聴AIのレポートページの下部には分析 手順の流れが記載されている • これを順に追いかけるのが分かりやすい • ①抽出(説明済み) • ②埋め込み(説明済み) • ③意見グループ化 • ④初期ラベリング • ⑤統合ラベリング • ⑥要約 • ⑦出力(割愛) • ⑧表示(割愛) https://kouchou-ai.dd2030.org/5f0b335c-e07c-40e2-bce8eca275da44ca/
38 ③意見グループ化は何をしているのか? • ①LLMによる意見分割、②埋め込みベクトル化が行われる • その後、③意見グループ化では、内部でUMAPによる二次元化、kmeans(クラスタ分割)と Ward法(クラスタ統合)が行われ、大 クラスタと小クラスタに分割 有権者の声 有権者の声 有権者の声 分割された意見 [0.1, 0.5, 0.7...] 分割された意見 [0.5, 0.4, 0.8...] 分割された意見 [0.9, 0.4, 0.7...] 分割された意見 [0.2, 0.6, 0.6...] 分割された意見 [0.7, 0.3, 0.5...] 分割された意見 [0.6, 0.3, 0.7...] ①抽出 意見分割 ②埋め込み ベクトル化 UMAP 次元圧縮 ③意見グループ化 k-means クラスタ分割 Ward法 クラスタ統合
39 ④ 初期ラベリング ⑤統合ラベリング ⑥要約 • 細分化した小クラスタに対して、ランダムに数個の標本を取得して、 それを元にLLMでラベルと説明文を付けていく • さらに、小クラスタの情報から、大クラスタにLLMで名前を付ける • 大クラスタの情報から、最終的な調査の要約文をLLMで作成する 公園 医療 防災 運動 場 病院 健康 施設 安全 安心 健康 安全 野球 場 公民 館 消防 福祉 施設 道路 街路 陸橋 警察 防犯 電力 商店 街 治安 水道 公務 員 公共 インフラ 地域 振興
40 広聴AIの全体の処理の流れ 有権者の声 有権者の声 分割された意見 [0.1, 0.5, 0.7...] 分割された意見 [0.5, 0.4, 0.8...] 分割された意見 [0.9, 0.4, 0.7...] 分割された意見 [0.2, 0.6, 0.6...] 分割された意見 [0.7, 0.3, 0.5...] 分割された意見 [0.6, 0.3, 0.7...] ③意見グループ化 有権者の声 ①抽出 意見分割 公園 医療 防災 健康 野球 場 公民 館 消防 道路 街路 陸橋 警察 電力 治安 水道 ④初期ラベリング 公共 インフ ラ 防犯 公務 員 商店 街 ⑤統合ラベリング Ward法 クラスタ統合 健康 施設 安全 安心 運動 場 病院 安全 k-means クラスタ分割 UMAP 次元圧縮 ②埋め込み ベクトル化 福祉 施設 地域 振興 ⑥要約
41 目次 • ブロードリスニング本の宣伝 • ブロードリスニングの事例 • ブロードリスニングとは何か • ブロードリスニングの技術 • LLMによる意見分割 • Sentence-BERTによるベクトル化 • UMAPによる意見集約 • 広聴AIのパイプライン解説 • 次世代版の話とまとめ
42 新しいアーキテクチャの登場 • TTTC Scatterや広聴AIは、ChatGPT3.5の4000トークン上限を前提とした アーキテクチャ • 文章の分割、意見の要約しかさせていない • 大量の意見を全部読み込んで考えさせる、ということをしていない • 意見の分類は埋め込みベクトル化とクラスタリングに任せる仕組みで精度が今一つ • トピック分類に近いので、賛否が分かれるものが同じクラスタに入ることが多い • 少数意見は大きいクラスタに飲み込まれて埋もれることが多い • 2022年当時のLLMの性能を前提としたアーキテクチャ • TTTC Turboや、Google JIGSAW Sensemakerはロングコンテキストが前提 • 最近のLLMは1Mトークンが標準化しているため、日本語で80万文字程度までは一度に 読み込んで処理することが可能になった • 大量の意見を読み込みこませ、分類基準・クラスタ基準を考えさせる • 意見の分類をLLMに任せることで、埋め込みベクトル+クラスタリングよりも、納得度 の高いクラスタリングが行える • ただし散布図は出てこなくなり、直感的理解や、キャッチ―さが無くなっている • 少数意見を「分類不能」として拾い上げることは可能
43 広聴AI 次世代版の開発 • すべてがブラウザ単体で動作するように なった • Claude Codeを利用してエイヤで実装 • LLMにはChromeに内蔵されたGemini-nano を活用して、無償で動作 • 埋め込みにはWeb-GPUを使ってローカルで 動作 • ある程度強いGPUのマシンであれば、 ローカルで広聴AIを無償で動作させられ る体制を構築 • 実験版として、賛否の分離を実装 • 政治家の仕事が、利害対立の調停であるとし たときに、トピック分離では賛否が同じクラ スタに入るのは困る • 意見抽出する際にトピックと賛否を抽出し、 そのベクトルを埋め込みベクトルに結合して UMAPに入力することで、賛否をうまく分離 したクラスタを生成 https://tokoroten.github.io/kouchou-ai-serverless/
44 次世代版のデモ(時間があれば) • https://tokoroten.github.io/kouchou-aiserverless/#/stance-spectrum/sample
45 まとめ • 意見収集は「収集」「分析」「解釈・意思決定」からなる • 自由記述の深い意見は、「分析」の工数が高く、大規模な自由記述文の分 析はあまり行われてこなかった • ブロードリスニングは、深さと規模のトレードオフをAIで乗り越える技術 • LLMが登場したことで、自由記述をコンピュータが適切に取り扱えるようになった • 自由記述の「分析」の工数を削減することで、ボトルネックは「収集」と「解釈・ 意思決定」に移動した • 広聴AIは現代のデータサイエンスの技術の詰め合わせ • LLMによる自然言語の分割と成形 • エンベディングによる文脈ベクトルの生成 • 文脈ベクトルをUMAPして、それからクラスタリング、クラスタ統合 • クラスタリングにLLMでラベルと説明文を付与 • クラスタのラベルと説明文から、 LLMで全体概要を作成
46 西尾のツッコミ資料 • https://gist.github.com/nishio/f031bb84add9420da42d 16cc4141f54d • https://scrapbox.io/nishio/%E3%83%87%E3%82%B8%E 3%82%BF%E3%83%AB%E6%B0%91%E4%B8%BB%E4 %B8%BB%E7%BE%A9%E3%82%B5%E3%83%9F%E3% 83%83%E3%83%882026_%E3%83%96%E3%83%AD% E3%83%BC%E3%83%89%E3%83%AA%E3%82%B9%E 3%83%8B%E3%83%B3%E3%82%B0%E3%81%AE%E6 %8A%80%E8%A1%93