TechDive_Development_Realities

TechDive 開発録：テックワード自動収集サービスを作って見えた「現実」 LLM as a Judgeの実装、コストの壁、そして「一次情報」の正体 TechDive Case Study | @binnmti NotebookLM

情報収集の「巡回疲れ」を解消したい 現状の課題: Qiita、Zenn、Hatena Bookmark... 毎日複数のサイトを手動 で巡回するのは非効率。 開発の動機: 「特定のキーワード（例: 量子コンピュータ）を登録すれば、勝 手に記事が集まる」状態を作りたい。 目指す体験: 受動的(Passive)かつ効 率的な技術キャッチアップ。 Qiita Zenn B H H B G BEFORE JetBrains Mono TechDive Quantum Computing - Recent Developments 1 hrs ago Serverless Architecture Best Practices 1 hrs ago AI in Healthcare Trends 1 hrs ago Google News AFTER JetBrains Mono NotebookLM

キーワードを入れるだけ。 AIが収集・採点・要約。 自動収集: 特定技術(AI, Robot, etc.)を追跡 AI採点: 重要度を判定し優先表示 要約表示: リンクを開かずに概要把握 TechDive 量子コンピュータ Recommended Quantum Supremacy Achieved in New Experiment A team of researchers claims to have demonstrated quantum supremacy using a new S4-qubit processor, marking a significant milestone in quantum computing... Recommended New Qubit Stability Findings Publish... New Qubit Stability Findings Published: a new 54-qubit processor, sharing a significant milestone in quantum computing... Intro to Quantum Mechanics for Engine... Intro to Quantum Mechanics for Enginee: exhibes quantum supremacy using a cunnuting milestone in quantum computing... NotebookLM

核心技術: 「LLM as a Judge」 アプローチ: 人間が数百件の記事を 読むのは不可能。AIに「AI/記事」 を採点させる。 技術スタック: C# / Azure OpenAI Service (Web API)。 初期の試行: GPT-4oベースのモデル や技術特化のCodexを採用し、 複数回のジャッジによる精度向上 を検証。 Raw Articles (Web) GPT-4o / Codex Azure OpenAI Service Scoring & Evaluation Ranked Output NotebookLM

高精度なモデルは、 あまりに「高すぎる」 直面した壁: 良いモデル(GPT-4o等)はコストが高い。 計算式: [数百の記事] x [複数回のジャッジ] x [高単価モデル] = 予算オーバー Cost (JPY) (コスト) Number of Articles (記事数) GPT-4o Full Usage Personal Dev Budget NotebookLM

20点と19点に、本当の差はあるのか？ Meaningful Difference 100 pts 50 pts Noise (The Trap) ? 20 pts 19 pts 採点のジレンマ: 100点と50点は違うが、20点と19点は誤差でしかない。 点数で厳密に順位付けするのは不誠実である。 NotebookLM

解決策: 安価な一次評価 + 高精度な二次評価 一次評価(Batch): 1回のAPIコールで 多数の記事をまとめてGPT-4o-mini に渡す(安価・高速)。 二次評価(Verify): 選別された記事に 対し、o3-miniを1回だけ通す(高精 度)。 Bulk Batch GPT-4o-mini o3-mini (Verify) High Quality NotebookLM

「ランキング」をやめて「おすすめ順」へ 見せ方の変更: 厳密なスコアリング (点数順)という建前を捨てる。 新UI: 「ランキング」ではなく、ゆる るやかな「おすすめ順」として提示。 特におすすめの記事には自動でマーク を付与。 1. 19.5pts 2. 19.4pts 3. 19.1pts Recommended Recommended Lorem ipsum dolor sit amet, consectetur adipiscing elit. Ut urna... Recommended Lorem ipsum dolor sit amet, consectetur hesune. Cander-nolutun: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Doming Ipsum Lorem ipsum dolor sit amet, consectetur adipiscing. Honest UI NotebookLM

「量子コンピュータ」の上位記事が、 すべて英語だった件 観測された事実** 高品質フィル ターを通すと、上位は Google Newsなどの英語記事 が独占。 **データ: TOP30件中、日本語 の記事はわずか1~2件のみ。 30 vs 1 Japanese Sources (Secondary) 5% 95% English Sources (Primary) NotebookLM

AIが突きつけた現実: 「英語=一次情報」 English (Primary Source) JetBrains Mono Time & Translation JetBrains Mono Japanese (Secondary Source) 「英語の情報が一次情報であり、日本語の情報はそれを翻訳・解説した二次情報になりがちである」 - AIの回答 NotebookLM

1日100円の赤字と、これからの これからの構想 マネタイズ: 現状、API利用料で1日約1 00円の赤字。キーワード増=コスト増。 構想: ユーザー登録機能(既読管理) の実装と、一般公開への道のり。 Current Free Beta / Quantum Only Next User Accounts / Read Status Future Sustainable Model / Public Open NotebookLM

ツールを作って得たものは、技術力と「視点」 Cost Quality Cost vs Quality (Optimization) UX > Score (Honesty) English is Primary (The Truth) Try TechDive: https://techdive.binnmti.net/articles NotebookLM