確実に鮮度が高い社内情報を得るために人間はどうするべきかを考える

確実に鮮度が高い社内情報を得るために人間はど うするべきかを考える🐟 2024/02/22 あつまれデザイナ＆エンジニア 番外編 ~新春 鮮魚解体&LT大会~ @ampersand_xyz

自己紹介 安藤真衣子 @ampersand_xyz ストックマーク株式会社でエンジニアとDevRelをやらせてもらってます 会社員になる前はフリーランスのウェブエンジニアを10年くらいやってました

10年フリーランスやっていて いろいろな組織を見てきました

社内情報のドキュメンテーション いろいろな組織が日々やってます 設計書、議事録、PRD、社内規定、記事の下書き、レポート、 調査記録、自己紹介、連絡先リスト、開発計画、デザイン検 討、etc……

ドキュメンテーションツール色々 - Notion - esa - Google Drive - Box - Dropbox - etc…

後で参照できるよう に情報を残そう！ ドキュメントを 作ることは簡単

情報がたくさん あって充実

情報がたくさん あって…

整然と物量を 増やしていけるかは また別の話 組織だってドキュメンテーションツールを使う場合、いろいろな 部署・人がそれぞれのルールで作成したりする

情報は基本的に 増える一方

そして時は過ぎ…

どこに目的の情報が あるんだろう…？ 新人

混沌化 日々のドキュメンテーションを すればするほど進行していく

なぜなのか 誰もがきちんと情報を残そうと 取り組んでいるのに混沌化するのは何故か

後で参照できるよう に情報を残そう！ ドキュメントを 作ることは簡単

後で参照できるよう に情報を残そう！ ドキュメントを 作ることは簡単

誰かが作った文書を 削除することは 難しいから

こういうファイル、消せますか？ - 数年前の設計書類 - なんか重要そうなタイトルだけど中身が空の文書 - 議論の途中で追記されなくなっている検討資料 - すでに退職した人が書き残していった手順書 - 別の部署の人が作った文書

なくて困るより あった方がマシだろ…

そして時間が経って 腐ってしまった情報が 実害が出るまで ずっと残ってしまったり

情報を探すこと自体に 労力を使うことになる

RAGは銀の弾丸？

RAG is 何（超簡易説明） - Retrieval Augmented Generationの略語 - LLMに任意のデータソースを参照させて検索させること が出来る仕組み - 要するにAIに「ウチのnotionの中から資料探してい い感じに教えてくれ」みたいなことが出来る技術

最強！！やった〜〜！！

最強！！やった〜〜！！

銀の弾丸には、おそらく （まだ暫くは）ならない

なぜRAGは銀弾足り得ないのか - RAGはLLMは任意のデータソースを参照させて検索 させることが出来る仕組み - このデータソースの部分にノイズ情報が沢山含まれてい ると誤った情報が出力されるだけ - 混沌化している状態の文書をデータソースにしてもデー タポイゾニングを起こしているのとほぼ同じ

そもそも人間にすら重要かどう か判別が難しいものをLLMが わかるわけが無い… 社内文書のような独自文化圏だとなおさらそうなる

まず必要なのはドキュメントを 管理するための存在では？ - 一定期間以上古くなっているドキュメント - 中身が空のままのドキュメント - 重複がしていそうなドキュメント これらについて検知し削除やアーカイブ( ≒ 検索範囲から 除外)してくれる存在

つまり…

おかあさん…？ これほったら かしにしてな い！？ もういらない なら捨てなさ い！

まとめ - そもそもドキュメント管理に強い秩序があれば混沌化は避けられ そうだが、強い秩序を維持すること自体が難しい - 基本的にはやはり愚直に整備するしかなさそう（ドキュメント ツールを業務スコープによって使い分けることも多分重要） - 人間が管理をやる場合、人間同士の関係についても心理的障壁が 出るので機械的な存在に秩序を守らせると良いのではないか - 文書内容が常に最新に保たれ、古いものが情報源に含まれなく なって初めてRAGは強力な銀弾になると考えています

ありがとうございました 🐟🐟🐟