Plans toward automated chat summarization by Uthus & Aha ’11

Proceeding
WASDGML '11 Proceedings of the Workshop on Automatic Summarization for Different Genres, Media, and Languages
Pages 1-7

http://www.aclweb.org/anthology/W11-0501
http://dl.acm.org/citation.cfm?id=2018988

これからこんな方針でチャット要約の研究をするぜ!という論文。そもそもこういう内容の論文が存在するということ自体が驚き。何を達成したわけでもないので論文というよりはポジションペーパーのようなもの?
ただ、読むのが無駄なわけではなく、それなりに知見は得られるのでこれはこれでよしとしたい。

アメリカ海軍では、軍内部のチャットの履歴のモニタリングを行っている。これが結構大変で、いくつものチャットルームを監視しているので、ちょっと席を外そうものならすぐに何が起こっているのかわからなくなる。そのため、いなかった間のアップデートを、他のメンバーから口頭で行ってもらったりしている。自動的にチャットが要約できたら非常に助かる。
しかし、チャットでは省略やイニシャルの利用(acronyms)、代名詞・ニックネーム・母音の省略、顔文字の利用、複数人が別の話を一つのチャットルームでしているなど、他にない特徴があるため難しい。

既存研究は基本的にこれしかないとのこと(本当か??)。しかし、これしかないためこれがベストなのかわからないそうな。
Liang Zhou and Eduard Hovy. 2005. Digesting virtual “geek” culture: The summarization of technical Internet Relay Chats. In Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics, pages 298–305. ACL.

二つの問題を解きたい。

  • Thread Summarization : スレッド全体を要約する
    目標としては、誰が、何について話しており、結論は何か、を得たい。例:SoLo and SkyWlkr are talking about Ben. SkyWlkr thinks he’s great, SoLo thinks he causes trouble.
  • Temporal Summarization : ある時点以降の内容を要約する
    例:Rplee and Bish0p disagree if there is enough time to stay. SoLo and SkyWlkr are talking about Ben.

コーパスとしては、ひとまず軍のチャットではなくGNUe Traffic archiveやFantasy GameのログなどのIRCログを用いる。

方法は、まず前述Zhou&Hovyの手法に、その後の新しい手法、具体的には誰と誰が喋っているかを分離する(disentangle)技術やら、latent semantic analysis (Murray et al., 2005)やdialogue act tagging in chat (Wu et al., 2005)、それにdialogue actsを発見する教師なし学習手法(Ritter et al., 2010).を組み合わせて精度向上をめざす。

まずExtractiveな要約を作ったうえでAbstractiveな要約を行うExtensionを行う。コーパスも作る。

評価も行う。Intrinsicな評価(どれくらい目的に合った要約ができたか)とExtrinsicな評価(どれくらい要約がユーザーの役に立ったかSp¨arck Jones
(2007))の両方をやる。
Intrinsicなほうでは、ROUGE3 という自動手法と、人間評価による手法の両方を行う。