有限状態文法の限界

有限状態文法の限界とは、文を左から右へ、有限個の状態遷移だけをたどって生成するマルコフ過程的なモデル(有限状態文法・有限オートマトンモデルとも呼ばれる)では、自然言語に見られる入れ子状の依存関係を持つ文を原理的に生成しきれない、とする議論である。ノーム・チョムスキーが『統辞構造論』第3章で提示し、句構造規則や変換規則によってより強い生成力を持つ生成文法へ移行する必然性を導いた議論として知られる。

有限状態文法(マルコフ過程モデル)とは

有限状態文法は、文をひとつの状態から次の状態への遷移としてとらえ、遷移のたびに単語を一つ出力しながら左から右へ文を組み立てていくモデルである。各時点でどの単語を続けられるかは直前までの有限個の状態だけで決まり、それより前の履歴を参照しない。通信理論や確率過程の分野で使われてきたマルコフ過程をそのまま言語に当てはめたもので、当時優勢だった行動主義的な言語観とも相性がよいモデルだったとされる。単純で扱いやすいがゆえに、文法理論としてまず検討すべき出発点としてチョムスキーはこれを取り上げた。

入れ子の依存関係という壁

チョムスキーが示した反例の核心は、「もしAならばB」のような条件文や「AかBか」のような選言文で、AやBの位置にさらに同種の構造を入れ子にできる文である。理論上この入れ子はどこまでも深くできるが、有限個の状態しか持たない生成装置は、まだ閉じていない対応がいくつ残っているかを記憶する手段を原理的に持たない。状態の数をどれだけ増やしても、それを上回る深さの入れ子を作る文が存在する以上、有限状態文法は英語の文法性を原理的に判定しきれないと論証された。主語と述語の一致が長い挿入節をまたいで成立する文も、同様の理由で捉えきれない例として挙げられている。

句構造文法・変換文法への転換

この指摘の意義は、一つのモデルの欠陥を示すだけでなく、文を生成する装置の「生成力」そのものを比較するという発想を持ち込んだ点にあるとされる。有限状態文法では届かない入れ子構造を扱うには、句構造規則のように文を木構造として展開し、さらに変換規則によって能動文と受動文のような文同士の関係を捉え直す枠組みが必要になる。『統辞構造論』は、有限状態モデルの失敗を出発点として、この移行の必然性を論証した書として位置づけられている。

形式言語理論への展開

有限状態文法・句構造文法・変換文法という生成力の違いは、のちに文法の複雑性を段階づける、いわゆるチョムスキー階層という考え方へ整理されていった。有限状態文法が生成できる言語は、チューリングマシンのようなより一般的な計算模型が受理しうる言語の中でも、最も制約の強い部類にあたるとされる。この対応関係が言語学と計算理論を結びつける橋渡しとなり、文の生成力を数学的に比較するという発想は形式言語理論という分野の出発点の一つに数えられている。

議論の意義

有限状態文法の限界という指摘がその後も参照され続けているのは、文法の良し悪しを単語の意味内容にではなく、生成装置が原理的に扱える構造の複雑さという純粋に形式的な基準に照らして論じた点にもある。この態度は、統語構造を意味から切り離して分析するという発想(統語論の自律性)とも軌を一にしており、言語学を数学的に扱いうる対象として位置づけ直す転換点になったと評価されている。