摘 要：随着我国移动通信的迅猛发展，设备品种逐步增多，容量迅速增大，网管信息化的应用，积累了海量数据，本文结合自己在实际网管数据分析与应用中的经验，针对数据采集与整理、数据存储与查询、数据挖据三个过程积累的经验与大家分享。
　　关键词：网管数据；数据挖掘；物化视图
　　1 引言
　　随着我国移动通信的迅猛发展，设备品种逐步增多，容量迅速增大，网管信息化的应用，移动通信行业信息化进程得到巨大发展和广泛应用，运营网络系统、综合业务系统大量的历史数据。但在很多情况下，这些海量数据在原有的作业系统中是无法提炼并升华为有用的信息并提供给业务分析人员与管理决策者的。因此如何应用这量信息，给信息化工作者提出了挑战，我作为一名移动行业信息化工作者，结合自己在实际网管数据分析与应用中的经验，主要在数据采集与整理、数据存储与查询、数据挖掘三方面与大家探讨一下。
　　2 数据采集与整理
　　2.1 文本格式ftp传输
　　网管系统在每天定时将前一天的数据文件上传到指定的ftp服务器。数据文件为后缀txt的文本文件，指标之间的间隔符为“|”，指标按照第三节模板中定义的顺序排列，一条记录为一行。因为网管数据往往较大，为了提高传输速率及节省空间，建议将数据进行压缩处理。
　　2.2 数据按接口规范导入数据库
　　应用程序定时将网管数据解压缩，通过xml配置文件制定数据导入的规范，如下：
　　
　　
　　配置文件中规定了读取字段位置及存入数据库的字段名称，同时check中制定了数据的验证规则。wwW.11665.COm如rang min=“0” max=“22”表示取值范围为0—22，如果超出该范围的数据则直接丢弃。
　　2.3 数据处理采用存储过程
　　存储过程（stored procedure）是在大型数据库系统中，一组为了完成特定功能的sql 语句集，经编译后存储在数据库中，用户通过指定存储过程的名字并给出参数来执行它。他有如下优点：
　　⑴提高数据库执行效率。使用sql接口更新数据库，如果更新复杂而频繁，则需要频繁得连接数据库。
　　⑵提高安全性。存储过程作为对象存储在数据库中，可以对其分配权限。
　　⑶可复用性。
　　3 数据存储与查询
　　网管数据往往是海量的，每一统计数据的一天数据都能轻易达到千万级，因此在存储过程中要重复利用数据的技术性能。在我们的实践过程中主要应用了oracle数据库。下面简单介绍我们主要采用的技术手段。
　　3.1 表分区
　　区致力于解决支持极大表和索引的关键问题。它采用他们分解成较小和易于管理的称为分区的片（piece）的方法。一旦分区被定义，sql语句就可以访问的操作某一个分区而不是整个表，因而提高管理的效率。分区对于数据仓库应用程序非常有效，因为他们常常存储和分析巨量的历史数据。
　　⑴增强可用性：如果表的某个分区出现故障，表在其他分区的数据仍然可用；
　　⑵维护方便：如果表的某个分区出现故障，需要修复数据，只修复该分区即可；
　　⑶均衡i/o：可以把不同的分区映射到磁盘以平衡i/o，改善整个系统性能；
　　⑷改善查询性能：对分区对象的查询可以仅搜索自己关心的分区，提高检索速度。
　　如我们可以按时间字段对导入数据进行分区，网管数据较大，一般一个月就需要一个分区。
　　3.2 索引技术
　　在关系数据库中，索引是一种与表有关的数据库结构，它可以使对应于表的sql语句执行得更快。但对于现在的各种大型数据库来说，索引可以大大提高数据库的性能。有两种类型的分区索引，全局索引和本地索引，使用本地索引，不需要指定分区范围因为索引对于表而言是本地的，当本地索引创建时，oracle会自动为表中的每个分区创建独立的索引分区。
　　3.3 物化视图
　　物化视图是包括一个查询结果的数据库对像，它是远程数据的的本地副本，或者用来生成基于数据表求和的汇总表。物化视图存储基于远程表的数据，也可以称为快照。使用物化视图可以实现视图的所有功能，而物化视图确不是在使用时才读取，大大提高了读取速度，特别适用抽取大数据量表某些信息以及数据链连接表使用。
　　4 数据挖掘
　　4.1 利用最小二乘法实现数据的

元线性回归
　　最小二乘法可以用来处理一组数据，可以从一组测定的数据中寻求变量之间的依赖关系，这种函数关系称为经验公式。能够寻求x与y之间近似成线性关系时的经验公式。假定实验测得变量之间的n个数据（x1，y1），（x2，y2），…，（xn，yn），则在xоy平面上，可以得到n个点pi（xi，yi）（i=1，2，…n），考虑函数y=ax+b，其中a和b是待定常数。如果pi（i=1，2，…n）在一直线上，可以认为变量之间的关系为y=ax+b。但一般说来，这些点不可能在同一直线上。记ei=yi-（axi+b），它反映了用直线y=ax+b来描述x=xi，y=yi时，计算值y与实际值yi产生的偏差。当然要求偏差越小越好， 但由于ei可正可负，因此不能认为总偏差 时，函数 就很好地反映了变量之间的关系，因为此时每个偏差的绝对值可能很大。为了改进这一缺陷，就考虑用 来代替 。但是由于绝对值不易作解析运算，因此，进一步用 来度量总偏差。 因偏差的平方和最小可以保证每个偏差都不会很大。于是问题归结为确定y=ax+b中的常数a和b，使 为最小。用这种方法确定系数a，b的方法称为最小二乘法。
　　4.2 数据自动修正算法描述
　　首先选择时间上最接近当前的14天的数据，加权平均为x，然后按照1.2x>x>0.8x的约束，进行筛选，这样新建站、数据异常等影响就会被消除。预测使用修正后的数据进行计算。
　　4.3 本地网预测修正
　　在本地网总趋势的基础上，利用历史同期的趋势按照就高不就低的原则进行修正。
　　4.4 单小区预测修正
　　在小区预测的基础上，利用本地网总趋势进行修正。修正过程为小区预测话务量与本地网预测话务量已载频数做加权平均。
　　5 技术架构
　　5.1 多层分布式架构方案
　　系统采用三层结构，将不同模块分别运行在不同的服务器上共同来精算系统的功能。每一种模块还可以再拆分在不同的服务器上运行实现负载分担，因此系统可以根据需要和用户的使用模式进行定制。这种结构具有比较大的灵活性。系统功能发生改变的时候，可以分模块单独部署，减少后期维护开发的工作量。
　　5.2 j2ee主流开发技术
　　表示层为整个系统提供外部展现，根据用户的使用习惯定制程序的操作流程。提高用户的使用感受。跨业界最广泛的操作系统环境，提供全j2ee编程模式，包括ibm os/400，linux，ibm aix，microsoft windows，hp-ux及sun solaris操作环境支持。最新的j2ee开发框架，大量的实际开发案例。系统符合最新的web 2.0规范，提高系统的相应速度。通过简单的应用编译和部署来最大限度降低管理要求。
　　[参考文献]
　　[1]邱宏.数据仓库技术在移动通信行业中的应用[j].电信科学.1999（12）：34-35.
　　[2]gsm移动网络扩容精算方法.百度文库.