--- title: AIくさい文章から脱出する技術 ― 6モデル180サンプルで測った「バレる文章」の正体 tags: #ai-slop #生成ai #llm #ライティング #自然言語処理 #日本語 author: [井本 賢](https://docswell.com/user/kenimo49) site: [Docswell](https://www.docswell.com/) thumbnail: https://bcdn.docswell.com/page/9J293161ER.jpg?width=480 description: 「あ、これAIが書いたな」と言われる文章には、共通のパターンがあります。英語圏では ChatGPT 登場後の論文で "delves" の使用頻度が28倍に増えたという研究が出ていますが、日本語の同じ数字は、探した範囲では誰も測っていませんでした。 そこで自分で測りました。Claude Sonnet 4 / GPT-4o / Qwen 3.5-4B / 9B / gpt-oss 20B / Llama 3.2-1B の6モデルに、同じ10テーマで日本語の技術ブログ記事を書かせた180サンプル。指標は16。Qiitaの人間の記事を対照群に加えて、計190テキストを比べています。 本スライドは、Kindle本『AIくさい文章から脱出する技術』の入門編です。16指標の内訳から、語彙とリズムのどちらで検出されているのか、差別化の3方向、そして初版の自分を撤回した第5部までを13枚で俯瞰します。 扱う論点: - 実測1位のAI頻出語は「適切な」0.59回/記事。「浮き彫りにする」は180サンプルに0回 - 商用モデルほど高いスコア(Cohen's d = 1.01)。パラメータ数が増えるほど下がる逆相関 - 検出はほぼ語彙(AUC 0.998 対 0.897)。語彙は指紋、リズムは訛り - 置換辞書で消える層と、消えない層。語彙・構造・リズムで違う手当て - 人間が書いてもAI判定される構造(TOEFLエッセイ 61.22% 対 米国8年生 5.19%) - 第5部で撤回した初版の3箇所。過去に発表した651語のリストも237語へ ▼Kindle版(¥1,250 / Kindle Unlimited 対象) https://www.amazon.co.jp/dp/B0H75RMJXT ▼特設ページ(目次・章構成・関連書籍) https://kenimoto.dev/ja/books/ai-text-slop-escape/ ▼実験コードと全サンプル https://github.com/kenimo49/ai-text-slop 著者 井本 賢 (ken imoto) / kenimoto.dev / @kenimo49 published: August 23, 26 canonical: https://docswell.com/s/kenimo49/57NLX7-ai-text-slop-escape --- # Page. 1 ![Page Image](https://bcdn.docswell.com/page/9J293161ER.jpg) 日本語テキスト・計測 AIくさい文章から 脱出する技術 6モデル180サンプルの実測でわかった 「バレる文章」の正体 180サンプル 16指標 6モデル 全26章+第5部の訂正 実測1位のAI頻出語（1記事あたり） 「適切な」 0.59回 井本 賢 ken imoto / エンジニア / Propel-lab AIくさい文章から脱出する技術 kenimoto.dev 01 / 13 AIくさい文章 から脱出する技術 6モデル180サンプルを実測してわかった 「バレる文章」の正体と、抜け出す手順 論文3本 計測CLI 全データ公開 適切な 本記事では 6 モデル 180 サンプル 16 パターン 26 章 AI文体 日本語NLP 執筆 井本賢 # Page. 2 ![Page Image](https://bcdn.docswell.com/page/DEY41Z94JM.jpg) 英語の「delve」は28倍。日本語版は、無かった。 Kobakらが生物医学論文の要旨1,500万件超で報告した頻度急増。同じ数字を日本語で探したが、見つからなかった。 delves 掘り下げる 28× underscores 強調する 13.8× showcasing 見せる 10.7× → 日本語の「delve」 相当する語 ? 語のリストも、頻度の実測も 見当たらなかった ChatGPT登場後の論文で観測された使用頻度の増加率。emダッシュもラテン語由来の堅い語彙も、日本語には持ち込めない AIくさい文章から脱出する技術 kenimoto.dev 02 / 13 # Page. 3 ![Page Image](https://bcdn.docswell.com/page/VJNY23L678.jpg) だから、自分で測った。180サンプル。 6モデル×10テーマ×3回。Qiitaの人間記事を対照群に加えて、16指標で分析した。 01 書かせた側 6モデル Claude Sonnet 4 / GPT-4o / Qwen 3.5-4B / Qwen 3.5-9B / gpt-oss 20B / Llama 3.2-1B。ローカル4本はRTX 4070のOllamaで回した 02 条件 プロンプトは固定、毎回新 規セッション 「[テーマ]についての技術ブログ記事 を800字程度で書いてください」だ け。書き方を指示するとモデルの癖が 消えて、指示への追従を測ってしまう ため 03 測った側 16指標+人間の対照群 語彙・構造・リズム・表層の4層。 Qiita public APIから同10テーマの記 事を著者重複なしで取得し、計190テ キストを比較した AIくさい文章から脱出する技術 kenimoto.dev 03 / 13 # Page. 4 ![Page Image](https://bcdn.docswell.com/page/YE9P194RJ3.jpg) AIくささは、16箇所に出る。 語彙4・構造5・リズム3・表層4。層ごとに、消しやすさが違う。 語彙 4指標 ▶ AI頻出語彙カウント ▶ ヘッジング表現 ▶ 追従的トーン ▶ 「重要です」で終わる文 置換で消せる層 構造 5指標 ▶ 定型結論 ▶ 三点セット ▶ 見出し数 ▶ 太字使用数 ▶ リスト記号数 書き直しが要る層 リズム 3指標 ▶ 文長の変動係数 (CV) ▶ 平均文長 ▶ 文数 意識しないと動かない層 表層 4指標 ▶ emダッシュ数 ▶ 絵文字数 ▶ 総文字数 ▶ 段落数 日本語ではemダッシュはほぼ0。英 語の指紋は効かない AIくさい文章から脱出する技術 kenimoto.dev 04 / 13 # Page. 5 ![Page Image](https://bcdn.docswell.com/page/GE8D49QGED.jpg) 一番AIっぽいと思っていた語は、0回だった。 31語を数えた実測値（1記事あたり）。感覚で並べた順位と、実際に打たれていた順位は違った。 実測の上位5語 「適切な」 0.59 「重要です」 0.34 「本記事では」 0.27 「を活用する」 0.23 「不可欠」 0.16 感覚での1位候補 「〜を浮き彫りに する」 0.00 180サンプルに1回も出てこなかった。AIっぽいと感じる表現 と、AIが実際に打つ表現は同じではない AIくさい文章から脱出する技術 kenimoto.dev 05 / 13 # Page. 6 ![Page Image](https://bcdn.docswell.com/page/LELM6WXX7R.jpg) 商用モデルほど、AIくさい。 Slop Scoreの上位2つはRLHF済みの商用モデル。差は偶然では説明できない大きさだった。 AI Text Slop Score (6モデル) 商用 Claude Sonnet 4 21.5 商用 GPT-4o 19.8 oss Qwen 3.5-4B 16.7 oss Qwen 3.5-9B 15.6 oss gpt-oss 20B 15.2 oss Llama 3.2-1B 10.3 Mann-Whitney U (商用 vs OSS) p=2.38 × 10⁻⁹ 効果量 Cohen's d = 1.01 差を駆動しているのは指標の一部。リスト d=+1.00、見出し +0.90、AI頻出語彙 +0.74。太字と文長CVには有意差なし AIくさい文章から脱出する技術 kenimoto.dev 06 / 13 # Page. 7 ![Page Image](https://bcdn.docswell.com/page/4JMY59L3JW.jpg) 効いているのは、大きさではなくRLHFの強度。 パラメータが増えるほどスコアは下がった。直感とは逆向きの結果になっている。 Qwen 3.5-4B 16.7 > Qwen 3.5-9B 15.6 > gpt-oss 20B 15.2 4B 9B 20B 人間の評価者が好むもの 構造化されている、丁寧な語調、網羅的、 断定を避ける。この4つは全部、16指標で 「AIくさい」側に出る RLHFは、それを報酬にする 高評価のパターンが強化される。抽象的で 当たり障りのない表現ほど残りやすい構造 になっている ただし相関であって因果ではない 商用とOSSは訓練データ規模もアーキテク チャも違う。本書が示したのは相関まで、 と本文に明記している AIくさい文章から脱出する技術 kenimoto.dev 07 / 13 # Page. 8 ![Page Image](https://bcdn.docswell.com/page/PJR93GKR79.jpg) 検出しているのは、ほぼ語彙だった。 語彙とリズムのどちらが効くのかを実験で分けた。仮説とは逆の結果になった。 語彙 指紋：誰が書いたかを教える AI/人間の判別 AUC 0.998 7モデルの識別 (偶然=14.3%) 92.1% 語彙プロファイルはモデルごとに違う。だから、ど のモデルが書いたかまで当たる リズム 訛り：機械が書いたことしか 教えない AI/人間の判別 AUC 0.897 7モデルの識別 (偶然=14.3%) 50.9% 単調化の向きは全7モデルで一致する。程度は違っ ても、方向が同じなので個体が割れない この訛りは言語を越える。日本語 -0.96 / 英語 -1.12 / ポルトガル語 -1.03、70セルすべてでAI側が単調だった (ch23) AIくさい文章から脱出する技術 kenimoto.dev 08 / 13 # Page. 9 ![Page Image](https://bcdn.docswell.com/page/PEXQ4XLYJX.jpg) 置換辞書だけでは、消えない。 語彙・構造・リズムは別々の層。手当ての種類も、かかるコストも違う。 方向 01 語彙で差別化する AI頻出語→差別化表現の対応表を使って 置き換える。「さまざまな」を消すのは 一度やれば終わる作業で、効果もはっき り出る 一度やれば終わる 方向 02 構造で差別化する 見出しを減らして文脈で繋ぐ。三点セッ トと定型結論を外す。目次の見た目は悪 くなるが、読み手の移動が滑らかになる 書き直しが要る 方向 03 リズムで差別化する 短文と長文を混ぜる。体言止め、問いか け、結論を先に置く。書き方の癖そのも のなので、直すと文章全体が変わる 癖ごと変わる AIくさい文章から脱出する技術 kenimoto.dev 09 / 13 # Page. 10 ![Page Image](https://bcdn.docswell.com/page/3EK9ZWL4ED.jpg) AIに書けないのは、一次情報だけ。 数字、固有名詞、判断の根拠。検出器をかわす加工ではなく、読む価値の側から入る。 BEFORE / AIが書いた文 Reactの状態管理にはさまざまなアプローチがあ り、効率的な設計が不可欠です。適切なライブラリ を活用することで、パフォーマンスの向上を実現で きます。 「さまざまな」「効率的な」「不可欠」「適切な」「活用する」「実 現する」。1文に6語。どれも、何も言っていない AFTER / 一次情報で書いた文 Reactの状態管理で最初に悩むのは「useStateの多 重ネストが3階層を超えたとき」です。私のプロジ ェクトでは、Zustandに移行してre-renderが72% 減りました。移行に丸2日かかりましたが、 Lighthouseスコアが14点上がった時点で元が取れ たと判断しています。 閾値、ライブラリ名、削減率、かけた時間、割に合うと判断した 根拠。全部、手を動かした人しか持っていない AIくさい文章から脱出する技術 kenimoto.dev 10 / 13 # Page. 11 ![Page Image](https://bcdn.docswell.com/page/L73WD13D75.jpg) 人間が書いても、61.22%がAI判定された。 分けていたのは語彙の一致ではなく、語彙の幅だった。疑われるのは、表現の選択肢が狭い側。 非ネイティブが書いた TOEFLエッセイ 61.22% 人間が書いたのにAI判定された割合 VS 米国の8年生が書いた 作文 5.19% 同じ検出器、同じ「人間が書いた文章」 語彙をネイティブ風に足すと 61.22% → 11.77%に下がる。中身は変えていな い 8年生の作文を単純化すると 5.19% → 56.65%に上がる。同じ内容でも判定が 反転する ChatGPT公開前に書かれた論文要旨ですら、非英語圏の著者のものは検出器の物差しで「AI寄り」に出た AIくさい文章から脱出する技術 kenimoto.dev 11 / 13 # Page. 12 ![Page Image](https://bcdn.docswell.com/page/87DKPX42JG.jpg) 第5部で、初版の自分を撤回している。 初稿の5ヶ月後に論文を2本書け、計測CLIを1本公開した。その過程で3箇所が間違っていた。 ch14 を撤回 総合スコアの設計 「文長が均一なほど加点」という項が入って いた。測り方のほうに癖があった ch18 を撤回 「CV 0.8」という目標値 人間7記事の実測は0.407〜0.743。目標値の ほうが分布の外にあった ch12 を撤回 「人間のほうがAIっぽい」 人間の記事はAIの4〜5倍長い。長さで割らず に個数を比べていた 過去に発表した 651語の過剰語彙リストも 651 → 237 文書単位で数え直すと424語。AI過剰側に限ると237語で半減した。旧1位「ハッシュ」は2文書 での連呼で、有意性が消えた。公開してあったから訂正できた 訂正した箇所を削除せずに残してある。間違いの直し方まで含めて、この本の中身だから AIくさい文章から脱出する技術 kenimoto.dev 12 / 13 # Page. 13 ![Page Image](https://bcdn.docswell.com/page/VJPKNPMLE8.jpg) 続きは、本書で。 全26章+第5部の訂正。Kindle Unlimited対象なので、読み放題なら追加料金なしで読めます。 AIくさい文章から 脱出する技術 ✓ 180サンプルを16指標で実測、全データ公開 ✓ 全26章+第5部「5ヶ月後の訂正」 ✓ Kindle ¥1,250 / Kindle Unlimited対象 Kindle amazon.co.jp/dp/B0H75RMJXT 特設ページ kenimoto.dev/ja/books/ai-text-slop-escape 実験コード github.com/kenimo49/ai-text-slop Author 井本 賢 (ken imoto) / kenimoto.dev / @kenimo49 AIくさい文章 から脱出する技術 6モデル180サンプルを実測してわかった 「バレる文章」の正体と、抜け出す手順 論文3本 計測CLI 全データ公開 適切な 本記事では 6 モデル 180 サンプル 16 パターン 26 章 AI文体 日本語NLP 執筆 井本賢 AIくさい文章から脱出する技術 kenimoto.dev 13 / 13