论文关键词:修辞结构理论 篇章结构 标注
论文摘要:语篇结构标注起步较晚,但以修辞结构理论(rst)为指导的篇章修辞结构标注最近取得了令人瞩目的成绩。目前,已经建成并公布的篇章结构标注语料库是由美国南加州大学信息科学学院的一个课题小组完成的,由385篇文章组成,是一个大规模、高质量、高一致性的带多层语言学标注信息的参照篇章语料库。语料库建设的主要成就为:确立了如何将语篇切分为基本语篇单位的理论,扩展了修辞关系集,为rst理论的运用提供了广阔的前景。本文综述该语料库建设的研究成果。
0.概述
随着计算机技术的普及和发展,语料为机器可读成为语料库建设的最基本的要求之一。要达到语料机读化这一目的,关键在于语料的标注。所谓标注,就是对语料库中的原始语料进行加工,把各种表示语言特征的附码标注在相应的语言成分上,以便计算机的识读。
语料标注的类型主要包括语篇背景信息、词性、词形、句法分析、语义、语篇结构等。从当前的研究现状来看,虽然语篇结构标注起步较晚,但以修辞结构理论(rst)为指导的篇章修辞结构标注最近取得了令人瞩目的成绩。目前,已经建成并已公布的篇章结构标注语料库是由美国南加州大学信息科学学院的一个课题小组完成的,由385篇文章组成,是一个大规模、高质量、高一致性的带多层语言学标注信息的参照篇章语料库。wWw.11665.cOm在这基础上研究小组还进行了自动篇章标注算法、自动文摘、机器翻译等具体应用工程方面的研究。
该参照篇章语料库的建成不但为篇章结构标注建立了理论体系,而且为语篇结构的应用研究开辟了新的领域。本文将综述该参照篇章语料库建设的研究成果。
1.理论支撑的建立
根据carlson(2001)的介绍,用于话语分析的理论有很多,如groz和sidner(1986)mann和thompson(1987)等都提出了自己的篇章分析理论,但这些理论主要用于单个的文本分析,往往着眼于语篇的某一个方面,如指代关系、语篇的风格、语篇的多维性以及某一理论在语篇中的体现等,很少被用于大规模的语料分析或语料标注。在建立参照语料库时,carlson(2001)等研究者将mann和 thompson (1987)提出的修辞结构理论(rst)用于大批量的语篇标注和语篇分析。他们认为用修辞结构理论(rst)对语篇进行标注有三点优势:可以同时捕捉到特定文本的交际意图、语义信息和文本本身的特征;先前的研究表明该理论可以使不同的标注者在标注不同的文本时达到一定的统一;用该理论标注的语篇树形图对构建自然语篇生成系统、自动文摘系统、文本测评系统起着关键的作用,也可以用来增强机器翻译的自然性。参照篇章语料库的建成确立了篇章结构标注的理论基础。
2.基本语篇单位的确定
语篇结构标注的另一成就是确定了英语基本语篇单位。在确定基本语篇单位时,不同的研究者往往运用不同的理论。givon(1983)认为从句应该成为语篇的基本单位,sacks(1974)认为谈话的话轮应该成为语篇的基本单位,polanyi(1988)坚持语篇应该以自然句为切分单位,grosz 和sindner(1986)认为语篇的基本单位应该从语篇的上下文中获取,它是由一定的符号所反映的信息载体,能反映事物的单个状态或部分状态,最有影响的修辞结构理论认为从句应该是语篇的基本单位,不管从句有没有语法标记或词汇标记。
然而,在具体标注时,marcu等研究者对基本语篇单位有了新的规定:所有有词汇或句法标记的起状语作用的从句都属于基本语篇单位,包括起状语作用的非谓语动词词组;充当主语、宾语、补语的从句不属于基本语篇单位;定语从句、后置的名词修饰短语或将其他基本语篇单位割裂开的从句或非谓语动词短语为内置语篇单位;除此而外,还有一定数量的有明显语篇标记的短语作为基本语篇单位,如 由in spite of(尽管),according to(根据)等引导的短语。
marcu的切分方法综合了grosz和sindner(1986)和mann(1987)和thompson(1987)的理论,在确定基本语篇单位时考虑到词汇、句法、语义和在句中的位置等因素。
3.修辞关系的扩展
当初,mann和thompson(1987)提出修辞结构理论时只给出20多种修辞关系,但他们明确指出这是一个开放关系集,既然是开放性的,就意味着读者在给定话语的内部可以定义出其他的关系类型。marcu(2000)根据标注的语料库总结出53种单层核心关系和25种多层核心关系,78种定义关系又分成16个组别,每组都具有相同的修辞功能。
就如同当初的定义关系集一样,这些关系覆盖了基本语篇单位、语段乃至整个语篇。通过这些关系,不同层级的语言片段被连接起来,构成一定的抽象形式。
4.标注标准和方法的制定
为了建立高质量的前后一致的标注标准和方法,carlson(2001)等研究者采用人工标注的方法。他们所选用的标注者都是有过标注经历的、从事语篇分析和新闻报道的专业人员。在正式标注之前,他们都接受专门的语篇结构标注培训,培训包括3个阶段。
在第一阶段,向标注者介绍修辞结构理论和语篇分析工具。在培训的第二阶段,标注者开始探索语篇结构的特征。在培训的最后一个阶段,标注小组谋求在构建语篇总结构图时保持一致,尽量减少分歧。
最终,标注小组研制出两个基本策略用于文献分析并建立相关的语篇结构图。策略之一是对文本的直接分析,可以在页边空白处标出记号,也可以将文献切分成一定的语段并标出记号,根据这些标注建立语篇结构图。以这种方式建立树型结构图,标注者必须预测到随后的语篇结构。然而,其后语段的修辞关系,尤其是较大的语段,可能不是太明显,这就是为什么这一标注策略更适用于短篇文献的标注。
另一策略是将文本分析与建立语篇结构两项任务同时进行,很可能是成块地标注而不是循序渐进地一步一步地增加。以这种策略进行标注,标注者一次可以切分很多语篇单位,并为每个自然句建立结构图,然后将相邻的自然句连接起来,构成较大的语段结构树。最终的语篇结构树是通过连接语篇结构中主要语块而建成的。
5.标注质量的检验
标注质量的控制是通过标注者对标注结果的反复修改和局部随机的自动交叉核实来实现的。为了确保标注语料库的质量,研究小组采取了很多措施,这些措施主要涉及到两个方面,即检验语篇结构树的效度和保持标注者内部的一致性。
5.1 效度检验
效度检验从两个方面进行,即句法和语义。句法检验确保每棵树只有一个根结,并将树与文献进行对比以防句子或语段被遗漏。语义检验主要是关系到核心语段的指派、修辞关系的选择以及语篇结构树的层次。为了保证检验质量,研究小组研制出语篇分析器以及图形扫描仪。所谓图形扫描仪,就是指,在图形环境下,自左而右渐进地为各个篇章单元给出一种最有可能的修辞关系和篇章结构地位。分析器和图形扫描仪经常可以确认出人工检验无法觉察的错误,都可以成功地作用于所有语篇结构树。
5.2 标注一致性
在整个语料库的建设过程中,研究者一直设法保证标注者之间内部的一致性。首先,他们研制出一种算法,该算法可以计算出语篇层级结构的kappa数据。(kappa算法曾被广泛地运用于语篇实证研究中,该算法可以测算出研究者在作出分类决策、预测可能性方面的一致性。)如果kappa数据大于0.8,就意味着具有较高的一致性;如果数据值在0.6和0.8之间,就意味着较好的一致性。
6.标注语料库的挖掘
借助于以rst理论为支撑的语篇标注语料库,研究者可以对语篇进行三个层次的分析,即语篇标记词功能的分析、不同类型的语篇结构图的描述和比较、语篇中从句间修辞关系的描述和比较。
6.1 篇章连词的研究
篇章连词功能研究一直是理论语言学和计算机语言学研究的主题,而且网络语料库方便了研究者对关联词语的研究,但利用丰富的标注语料库资源进行分析的研究不多。语篇结构标注语料库可以使研究者在多种语境中对关联词进行元语言分析,使人们能了解到它们在语篇中出现的频数、在句中的位置、所发挥的篇章修辞作用、核心性、辅助性等方面信息。
例如,研究小组总结了since 和 as在语篇中的功能。经研究发现,就这两个词在语篇中出现的频率而言,在语篇中起连接两个基本语篇单位修辞作用的情况只有1/3,因为它们往往在命题层面上发挥作用而不是在语篇层面上。就它们在语篇中发挥的修辞作用而言,as涉及到的关系类型远远地多于since,但两者所引导的语篇单位往往都处于辅助位置而非核心位置。
6.2 语篇结构图的描述和比较
除了lancaster大学的obc语料库(garside等,1987;biber等,1998,转自carlson,2001)提供的语体或语域研究,以及tdt语料库(wayne,2000,转自carlson,2001)提供的话题确认研究之外,能帮助研究者对语篇进行全面分析的语言资源不多。然而,以rst理论为支撑的语篇结构标注语料库,勾画出每一份文献的多层次的语篇修辞结构图,据此可以对结构树的各个层次进行分析。例如,结构树的抽象层面,对修辞关系和文献的内容进行非词汇化的概括,为研究交际意图带来很多方便。
又如,语篇研究结果表明在文本的总体框架上新闻类语篇不同于故事类,因为新闻类语篇的结构多呈倒三角形,但这些研究很难解释产生差异的根本性原因。语篇结构树可以弥补这一缺陷,这些树使研究者清楚地看到在实现作者的交际意图时、在体现篇章的互文性时,同样的句式在不同的文本中发挥的作用是不同的,在有的文献中起核心作用,而在有的文献中起辅助作用。事实上,这些结构树很清楚地反映出,即使是同一类型的语篇,随着语境的改变、主题的变化,文本的结构也会发生相应的变化。
6.3 语篇内修辞关系的研究
通过对标注语料库的分析和挖掘,研究者发现从句间的修辞关系在文本中发挥作用的频率是很不一样的。例如,研究者发现“详述-补充”修辞关系使用的频率最高,因为作者在表达过程中往往要借助于前面的背景,通过对前面的背景补充说明来阐发新的观点。与此类似的还有列举关系和解析关系。修辞关系的元语言分析使人们能了解到它们在语篇中出现的频数、在句中的位置、核心性、辅助性等方面信息。除此之外,语篇结构树还勾画了修辞关系如何发挥语篇衔接与连贯的功能。例如,研究者通过对篇章标注语料库的分析发现,“列举”关系不但起到举例的作用,而且在连接平行语篇单位、平行语段和平行语篇时发挥巨大的作用。事实上,这一研究结果验证了halliday 和hasan(1976)的观点,即平行结构是一种语篇衔接手段。
6.4 应用性研究
语篇结构标注语料库为文献检索、自动剖析、自动文摘、自动翻译等提供相关数据,例如,研究小组所设计的在线文件剪接系统。借助于篇章结构标注语料库,研究者发现并非所有的句子都是基本语篇单位,也不是所有的语篇单位都具有相同的作用,有的属于核心的,有的属于辅助的,有的在实现作者的交际意图时、在体现篇章的互文性时发挥关键作用,有的并没有。以此类推,篇章中的词汇、短语也有核心与辅助之别。篇章结构标注语料库可以帮助创建一个以篇章结构为指导、以词汇短语有界和无界合并为手段的文件剪接系统。同时,篇章结构标注语料库帮助创建了一个以篇章结构为指导、以机械文摘为基本手段、再配合消除冗余、可读性加工的综合自动文摘系统。
7.结论
2001年,由daniel marcu博士主持的研究小组以rst理论为支撑创立了语篇标注语料库。研究小组所标注的385篇华尔街报文章皆取自宾州树库,篇幅长度不等,从31个词到2,124个词,总词数达到176,000,平均每篇文章458个词。文章的内容涉及到各种话题,如财政报道、商业新闻、文化点评、编者按、读者来信等。语料库建设的主要成就为:确立了如何将语篇切分为基本语篇单位的理论、扩展了修辞关系集、为rst理论的运用提供了广阔的前景。
参考文献:
[1] [zk(#]carlson,l.,marcu.d.& okurowski m.building a discourse_tagged corpus in the framework of rhetorical structure theory.proceedings of the first annual meeting of the north american chapter of the association for computational linguistics,seattle,wa,2001:9-17.
[2] grosz,b.& sidner,c.attentions,intentions,and the structure of discourse[j].computational linguistics,12(3):175-204.talmy givon,1983/1986.
[3] halliday,m.a.k.& r.hasan.cohesion in english[m].london:longman,1976.
[4] mann.w.& s.thompson.rhetorical structure theory:a theory of text organization.usc information science institute.technical report i (si/ rs-87-190),1987.
[5] marcu,d.the theory and practice of discourse parsing and summarization[m].cambridge,massachusetts:mit press,2000.
