摘 要:提出一种通过综合考虑网页的html结构信息以及网页间的链接关系,修改网页文本在向量空间模型表示中的权值,对网页进行分类的方法。考虑到页面里处在不同html标记下的内容具有不同的语义含义,某些特殊标记下的内容具有较重要的意义,对网页的分类起较大的作用,因此对不同标记下的内容赋以不同的权值,可以提高分类效果。考虑到页面正文中链接指向的页面内容与原网页相关度较高,通过综合考虑这些页面的内容,可以有效加强类别关键词的权值,减少噪声,提高分类效果。经过实验证明这一方法提高了分类结果的f1值。关键词:中文文本分类;html结构; 链接关系; 向量空间模型
　　中图分类号:tn911-34; tp391 文献标识码:a
　　文章编号:1004-373x(2010)22-0054-03
　　
　　a novel chinese text calssification method using webpage tags and hyperlinks
　　guo xiao, jiang zong-li
　　(college of computer science, beijing university of technology, beijing 100124, china)
　　abstract: a webpage classification method using the html tags and hyperlinks to improve the vector space model representation is introduced. because the content in different html tags has different semantic meaning and plays different role in webpage classification, assigning weights to the content by the importance can improve the classification accuracy. in addition, to better model the webpage for classification, combining the information provided by the webpage that are referred in the body of the original webpage, considering they are relevant and can enhance the weights of relevant words and reduce the weighs of irrelevant words. the experimental results demonstrate that the proposed method effectively improves f1 measure.
　　keywords: chinese text calssification; html tags; hyperlinks; vector space model
　　收稿日期:2010-06-19
　　
　　随着计算机技术、通信技术等信息技术的高速发展,以及互联网基础设施建设与网络信息工具的大量推广应用,网络上的信息正在以几何级数进行着增长。WWW.11665.coM如何使用户能够方便地从网络上海量的信息资源中获得其期望的部分,成为了当前信息领域重要的研究课题。
　　网络搜索引擎,是用来进行网络文本索引的一种重要手段,是针对网络中大量网页文本信息进行信息挖掘的有效手段。在网络搜索引擎的构建中,网页文本分类问题是一个关键性的核心问题。高质量高效率的网页文本自动分类,对构建高效、实用的搜索引擎起着重要的作用。同时在解决主题搜索、个性化信息检索、搜索引擎的目录导航等相关问题时,网页文本分类技术也是十分重要的。因此研究如何提升网页文本分类性能,对研究新一代搜索引擎有着重要意义。
　　1 网页文本分类技术简析
　　网页文本分类是指按照预先定义的主题类别,根据海量网页文档的内容,确定相应网页的类别。
　　目前,网页文本分类采用的技术基础是基于内容的纯文本分类。基本方法是,在抓取到的网页集合中,对每篇网页文本进行纯文本的内容抽取,得到相应的纯文本文档。再将抽取出的纯文本组成新的文档集合,在新的文档集合上应用纯文本分类算法,进行分类。再根据纯文本和网页文本的对应关系,对网页文本进行分类。即应用网页的纯文本内容信息,对网页进行分类。
　　上述方法的本质,是将网页文本的分类问题映射成为纯文本分类的问题。但是,由于网页文本是超文本标记语言(html),并非纯文本的自然语言。因此,这样的映射,不能很好地反映网页分类问题的本质。所以仅应用基于网页内容的纯文本分类方法,会对网页文本分类的准确率造成一定的不良影响[1]。
　　针对这个问题,目前已经有一些改进的技术。一类改进方法,是在对网页进行文本内容提取时,基于网页html结构信息,对提取出的纯文本的向量表示进行某些修改[2-4]。还有一类改进,是针对网页文本中的超级链接,利用不同页面间的链接关系进行分类。

2 html结构与超级链接综合的网页分类
　　本文提出以基于网页内容的文本分类为基础,综合考虑网页页面的html结构信息以及网页间的链接关系,对网页进行分类。考虑到纯文本分类技术的成熟性,仍然采取基于内容的纯文本分类方法作为网页分类的基础,再从网页文本向纯文本的转换过程中增加一个中间的步骤,即首先对网页文档进行页面结构和链接关系分析,生成待处理的中间文档集,再通过一定的算法将中间文档转化为纯文本,从而应用纯文本的分类算法进行分类。其核心思想是,将网页文档转化为纯文本,进而应用向量空间模型对纯文本进行表示并分类,在这个过程中,增加一个修改向量权值的中间过程。通过这一步处理,使得向量空间模型对网页语义的表达更加准确,进而提升分类算法的综合性能。
　　整个过程包括网页预处理、中文分词、文档的向量化表示、特征提取和分类5大步骤[5]。html结构与超链接综合利用出现在网页预处理和文档的向量化表示中。下面分别讨论。
　　2.1 网页预处理
　　对网页集进行预处理,主要是针对网页html标签进行分析。应用传统的标记窗算法对网页内容进行分析,抽取出网页正文部分(包括正文中的超级链接)。根据html标签对web页面物理显示所产生的影响,将html标签进行分类。典型标签如下[6]:
　　(1) 标签及本身所修饰的内容不在浏览器中显示,如。
　　(2) 标签修饰的内容在浏览器上显示,对其进一步划分:
　　① 改变文本的物理显示,如 ;
　　② 改变文本的内容样式,通过改变文本的物理显示来实现,如 ;
　　③ 物理显示无变化,但标签反映修饰内容属性,如

编辑整理