テキストメディア特論 「会社名」の抽出

「会社名」の抽出 @lamrongol

 「～社」などの表現から会社名を判断する方法には限界 がある     切れ目の判断が難しい（「・」は切れ目か否か、など） 「オラクル」のように「～社」の形になってないものは社名と判 断できない 「東電」などの略称もある あらかじめどのような会社名があるか登録しておけばよ い

Wikipedia の利用  Wikipediaの特徴     各項目には多くの場合「千葉県の会社」などカテゴリが 付与されている 一定の規則に基づいた文書が大量にある 人手による更新・訂正が行われるので正確性がある程 度保証されている 大量の「会社名」データを手に入れることができる (Wikipediaのデータベース・ダンプを利用)

略称の取得    略称と正式名称の関連も取得できる 例）「日立」というリンクから「日立製作所」につな がっている場合 「日立」＝「日立製作所」と関連付けられる

Wikipedia以外からの取得  Web上にはWikipedia以外の文書も大量にある    しかし、それらはWikipediaのように「企業」であることが 明記されてるわけではない だが、量は圧倒的に多いのでなんとか活用したい 周りの文章から「会社名」であることを判断できな いか？  「〇〇は東証一部に上場した～」  「〇〇は1997年に創業した～」

構造化されてない文章からの会社名の取得   まず、Wikipediaなど構造化されているデータを「訓 練データ」として用いる 前後の単語から、会社名を判断する確率モデルを作 る N(会社名∧創業） P(会社名|創業）=  N(創業） 構造化されてないデータ（ブログの文章等）に対して これを適用し、会社名を取り出す

関連研究の応用   Support Vector Machineを用いた日本語固有表 現抽出[山田 et al] 前後の単語の素性（単語自体だけでなく、品詞の 種類なども含む）ベクトルの集合に対してSVMを行 い、学習させる