\( \def\vector#1{\boldsymbol{#1}} \newcommand{\argmax}{\mathop{\rm arg~max}\limits} \newcommand{\argmin}{\mathop{\rm arg~min}\limits} \newcommand{\defeq}{\mathop{=}\limits^{\rm def}} \)

論文翻訳: The Use of MMR, Diversity-Based Reranking for Reordering Documents and Producing Summaries

2018年2月12日 1998年の論文 #NLP #MMR

Jaime Carbonell
Language Technologies Institute
Carnegie Mellon University
jgc@cs.cmu.edu
Jade Goldstein
Language Technologies Institute
Carnegie Mellon University
jade@cs.cmu.edu

Abstract

本稿はテキスト検索と要約の文脈において情報関連性とクエリー関連性を統合する方法を提示する。Maximal Marginal Relevance (MMR) の判定基準は、検索された文書の順位を変更したり、テキスト要約のための適切な一節を選択する際に、クエリーの関連性を維持しながら冗長性を減らすことを目的としている。予備試験の結果は文書検索や単一文書要約において MMR ダイバシティ順位の利点をいくつか示している。単一文書要約は要約システムの評価である SUMMAC カンファレンスの最近の結果に寄って裏付けられている。しかしながら、冗長でない複数文書の要約を構築する際に最も、MMR の結果は非 MMR の文選択より明らかに優れている明白な利点が実証されている。

Abstract
1 Introduction
2 Maximal Marginal Relevance
3 Document Reordering
4 Summarization
5 Concluding Remarks
References
翻訳抄

1 Introduction

オンライン情報の継続的な増加に伴い、情報を迅速に発見するための改善されたメカニズムを提供することがますます重要になっている。従来の IR システム (訳注: information retrieval system; 情報検索システム) はユーザクエリーとの関連性を最大化する方法に基づいて文書をランク付けし同化 (assimilate) する^{[1, 5]}。関連文書が少ない場合や非常に高い再現度 (recall) が必要な場合には、純粋な関連性ランキングは非常に適切である。しかし、潜在的に関連性のある文書の膨大な海があり、互いに重複しているか、(極端に) 部分的または完全に重複している情報を含んでいる場合、我々は純粋な関連性を超えた手段を文書ランキングに使用する必要がある。

新しい文書ランキングの方法は、ランク付けされたリスト内の各文書がクエリーの関連と情報の新規性による組み合わせ基準にしたがって選択される。情報の新規性は、考慮中の文書と既に選択されたランク付けされている文書との間の相違度を計測する。もちろん、狭いトピックから掘り下げる方を好むユーザもいれば、クエリーに関連した幅広いサンプルを好むユーザもいる。最も良いのはユーザが調整可能な方法である: Maximal Marginal Relevance (MMR) は以下で説明するようにその機能性を正確に提供する。

2 Maximal Marginal Relevance

ほとんどの近代的な IR 検索エンジンは検索された文書をユーザのクエリーとの関連性によって順位付けている。対照的に、我々は潜在的に優れた基準として「関連新規性」(relevant novelty) の必要性を喚起した。関連新規性を計測する最初の近似は、関連性と新規性を独立して計測しメトリクスとして線形結合を行うことである。我々はこの線形結合を「周辺関連性」(marginal relevance) と呼ぶ - つまり、クエリーに関連性を持ち、かつ、以前に選択された文書との類似が最小である場合に周辺関連性は高くなる。我々は、検索と要約において周辺関連性の最大化を試みているいることから、この方法を「周辺関連性最大化」(MMR; maximal marginal relevance) と名付けた。

\[ \begin{equation} {\rm MMR} \defeq \argmax_{D_i \in R \backslash S} \left[ \lambda \left( {\it Sim}_1(D_i, Q) - (1 - \lambda) \max_{D_j \in S} {\it Sim}_2(D_i, D_j) \right) \right] \label{mmr} \end{equation} \]

訳注: 右辺 \(\argmax_{D_i \in R \backslash S} \left[ \lambda {\it Sim}_1(D_i, Q) - (1 - \lambda) \max_{D_j \in S} {\it Sim}_2(D_i, D_j) \right]\) の誤記?

ここで、\(C\) (訳注: \(D\) の誤記?) は文書コレクション (または文書ストリーム); \(Q\) はクエリーまたはユーザプロファイル; \(R = {\rm IR}(C, Q, \theta)\)、つまり IR システムによって検索された文書のランク付けされたリストであり \(C\) と \(Q\) および、検索文書数をある程度に抑制するしきい値 \(\theta\) が与えられる (\(\theta\) は一致度や文書数など)。\(S\) は \(R\) 内で既に選択されている文書サブセット; \(R \backslash S\) はその差異、つまり \(R\) においてまだ選択されていない文書集合; \({\it Sim}_1\) は文書検索および関連性ランキングで使う文書 (文) とクエリー間の類似性メトリクス; \({\it Sim}_2\) は \({\it Sim}_1\) または他のメトリクスと同じ値を取ることができる。

MMR は段階性があり \(\lambda=1\) のときに標準的な関連ランク付けのリストとなり、\(\lambda=0\) の時に \(R\) の文書に対する多様性最大ランキングを算出する。区間 [0,1] における \(\lambda\) の中間値では両方の基準を持つ線形結合が最適化される。クエリーの周辺情報空間までサンプリングすることを望むユーザは \(\lambda\) を小さく設定すべきであり、潜在的に重なり合っている複数関連文書を強化する方向を望むユーザは \(\lambda\) を \(\lambda\) (訳注: 1の誤記?) に近い値に設定すべきである。特に (後述のユーザ実験で補強された) 効率的な戦略として、まずクエリー領域の情報空間を理解するために小さな \(\lambda\) 値 (例えば .3) から開始し、続いて (おそらくその関連性のフィードバックを介して) 再構築されたクエリーとより大きな \(\lambda\) 値 (例えば .7) を使用してもっとも重要な部分に焦点を当てることを見出した。

3 Document Reordering

我々は様々な分野の学部生 5 ユーザでパイロット試験を行った。この研究の目的は標準的なランキング方法と MMR とで何が異なるかを彼らが伝えられるかどうかを調べることだった。ユーザは文書から情報を検索することを求められ、「\(R\) 法」または「\(S\) 法」のどちらかが使われ、文書の提示順序は伝えられなかった。過半数の人々は彼らの意見に最も広くて興味深い話題を与えた方法 (MMR) を好むと述べた。最後のセクションで彼らは検索方法を選択して検索タスクに使用するよう求められ 80% が MMR 法を選択した。ユーザは、ナビゲーションや迅速に関連候補文書を特定する状況で MMR を、その縛り内で関連ドキュメントを検索する状況で純粋な関連ランキングをと、異なる好みを示した。5 名のユーザのうち 3 名はダイバシティ検索と関連性のみの検索の異なる有用性を明確に発見した。

4 Summarization

関連文抽出による文書要約を考える場合、関連性と非重複性を再考する必要がある。要約の目的に反することから要約は冗長性を避ける必要がある。単一文書要約を超えて文書クラスタ要約を行う場合、重複している可能性のある異なる文書から文をプールしなければならないことから、重複を削減することがより重要な問題となる。

自動文書要約は 1950 年代の IBM での Luhn の研究^[4]にさかのぼり、訓練可能な方法^[3]、言語的アプローチ^[6]、最初に非冗長性対策を重視した我々の情報中心法^[2]を含む最近の TIPSTER の取り組みを通して進化してきた。

人間の文書要約はしばしば「概念」と呼ばれることもあるが、(ユーザではなく) 要約者が重要と考えた要点を反映した固定長の要約である。異なる情報ニーズを有する異なるユーザは、同じ文書に対して全く異なる要約を必要とすることがある。我々は文書を節 (passage) (我々の場合は文) に分割し、文を再評価するためにコサイン類似度指標の MMR を使用して、ユーザまたはシステムが生成したクエリーに応答する単一文書要約を作成した。最上位の節は下のドキュメント順に表示された。

1998年5月の SUMMAC 会議^[6]では政府が実施している 15 の要約システムの評価を特集し、我々の MMR に基づいた要約処理は、評価者が要約からトピック関連性の判断を行うための精度と再現度から派生したFスコアが 0.73 となる最も有用なクエリー関連サマリを作成した。我々のシステムは有益な要約についても最高 (70% の精度) と評価された。これは評価者が主要な質問に応えるために必要な情報が要約に含まれているかが判断された。要約の長さなどの幾つかのパラメータはシステムによって異なることから、評価結果は指標となるが比較可能な性能の定義的尺度ではなことに注意。

単一文書要約において多様性獲得に対する関連性損失を評価するため、3 名の評価担当者が TIPSTER トピックの 200 記事中 50 記事を読み、それぞれの文に関連性がある、やや関連がある、無関係、とマークした。また記事にも関連あり、無関係をマークした。評価者のスコアはトピックから提供された TREC 関連性判断 (relevance judgement) と比較された。

圧縮率を 0.25 と 0.1 とした文精度結果は Table 1 に記す。ここでは (1) TREC 関連性に加えて少なくとも 1 名の CMU 評価者が文書を関連あるとマーク (23文書を収穫)、(2) 3人の CMU 評価者のうち少なくとも 2 人が関連文書としてマーク (18文書を収穫)、の 2 つの精度スコアを算出している。これらのスコアから \(\lambda=1\), \(\lambda=0.7\), \(\lambda=0.3\) スコア間に統計的に有意な差がない事がわかる。これは \(\lambda=1\) の概要が関連情報片のピックアップに失敗し、\(\lambda=0.7\), \(\lambda=0.3\) での再ランキングもそうだった可能性でしばしば説明される。

Table 1: 精度スコア
Document Percentage	\(\lambda\)	TREC and CMU Relevant	CMU Relevant
Sentence Precision
10	1	0.78	0.83
10	0.7	0.76	0.83
10	0.3	0.74	0.79
10	Lead Sentences	0.74	0.83
25	1	0.74	0.76
25	0.7	0.73	0.74
25	0.3	0.74	0.76
25	Lead Sentences	0.60	0.65

要約のための MMR 文選択方法はより長い文書 (一般に、要約、導入、結論、結果などの文書セクションに渡って多くの本質的な文冗長性を含んでいる) の方が効率的である。また MMR は同じトピックに属する複数の文書からの文抽出にも非常に役立つ。ニュース記事には多くの背景情報が繰り返し含まれている。複数文書要約の予備試験の結果では、クエリー応答に対するニュース記事の集合に対して返された上位 10 文では、検索された文上の内容には重大な反復があり、文には、しばしば、その分の中に重複または近似複製が含まれていることを示している。

5 Concluding Remarks

我々は冗長性を最小限に抑えることを可能にすることで MMR ランキングがユーザに情報を提供する有用かつ有益な方法となることを示した。特にこれはクエリーに関連する複数文書の要約のケースで当てはまるだろう。我々は現在、これが幾つかの文書コレクションに及ぶ方法と、システムの有効性に関する研究を行っている。

References

[1] Buckley C. Implementation of the smart information retrieval system. Technical Report TR 85-686, Cornell University.
[2] J.G.Carbonell, Y. Geng, and J. Goldstein. Automated query-relevant summarization and diversity-based reranking. In 15th International Joint Conference on Artificial Intel ligence, Workshop: AI in Digital Libraries, pages 9-14, Nagoya, Japan, August 1997.
[3] J.M. Kupiec, J. Pedersen, and F. Chen. A trainable document summarizer. In Proceedings of the 18th Annual Int. ACM/SIGIR Conference on Research and Development in IR, pages 68-73, Seattle, WA, July 1995.
[4] P.H. Luhn. Automatic creation of literature abstracts. IBM Journal, pages 159-165, 1958.
[5] G. Salton. Automatic Text Processing: The Transformation, Analysis, and Retrieval of Information by Computer. Addison-Wesley, 1989.
[6] In TIPSTER Text Phase III 18-Month Workshop, Fairfax, VA, May 1998.

翻訳抄

文書検索、自動要約に関するアルゴリズム MMR 論文 (1998) メモ。自動要約の場合は式 (\(\ref{mmr}\)) におけるクエリー \(Q\) が存在しないが項 \({\it Sim}(D_i,Q)\) は要約優先度 (TextRank なら文ノードの重要度) のスコアに置き換えていtｓたつｓ良いだろうか?