数据挖掘语言及其标准化研究进展

 数据挖掘包含范围广泛的任务，从数据描述到挖掘关联规则、数据分类和演化分析，所以，设计一个全面的数据挖掘语言是富有挑战性的，因为每个任务有不同的要求。一个设计有效的数据挖掘查询语言需要具有对不同种类数据挖掘任务的能力、限制和根本机制的深入理解。定义一个数据挖掘查询形式的数据挖掘任务的过程如下：选择要挖掘的与任务相关的数据和要挖掘的知识类型、在挖掘过程中需要的背景知识、对模式评估的衡量标准和阈值、可视化发现模式的预期表现、数据增长的动态性；以及特殊的挖掘任务比如有针对性的项目集挖掘，流数据挖掘，分布式和分区数据挖掘。

1 数据挖掘语言

数据挖掘语言根据功能和不同的侧重点可以分为3种：数据挖掘查询语言、数据挖掘建模语言、通用数据挖掘语言。

1.1 数据挖掘查询语言

每个用户的数据挖掘任务都不尽相同，一个数据挖掘任务可以用一个数据挖掘查询指定，查询作为数据挖掘系统的输入，数据挖掘查询用以下原语形式定义。

（1）任务相关数据。

（2）要挖掘的知识种类。

（3）背景知识。

（4）兴趣度的度量。

（5）获取模式的可视化表示。

（6）数据维护。

（7）特殊类型的挖掘。

1.2 数据挖掘建模语言

数据挖掘建模语言是对数据挖掘进行定义和描述的语言，为了使不同系统之间共享模型而不是以往的孤立形式，需要开发出一种标准的建模语言，使数据挖掘系统在模型定义和描述方面都遵循它，同样，为了解决无法发现孤立知识的问题，也可以在其他应用系统中嵌入数据挖掘模型，目前主流的数据挖掘建模语言包括PMML（Predictive Model Markup Language）与CWM（Common Warehouse Metamodel）两种。

1.2.1 PMML

PMML是一种基于XML的定义预言模型的语言，允许应用程序和OLAP工具可以不用独立开发数据挖掘模块，直接从数据挖掘系统中获得模型：此外，PMML还可以收集使用大量的潜在模型，并统一管理各种模型集合。

PMML对那些需要分布式学习、全部学习和部分学习的应用程序特别有效，因为它提供了一个灵活的机制来定义预言模型的模式，并同时支持涉及多个预言模型的模型选择和模型平衡，此外，在它的支持下，不同应用程序和系统之间可以很便捷地移动预言模型。

使用PMML进行模型定义包括以下几部分：（1）头文件；（2）数据模式；（3）数据挖掘模式；（4）预言模型模式；（5）预言模型定义；（6）全体模型定义；（7）选择和联合模型及全体模型的规则；（8）异常处理的规则。

其中预言模型定义是必备的，此外必须定义预言模型的模式。PMML标准版提供了一个文档类型定义集合（DTD）来详细说明决策树和多项式回归模型的实体与属性。使用标准的XML解析器对PMML进行解析，应用程序可以决定模型的详细格式、输入输出的数据类型、并且使用标准的数据挖掘术语解释模型结果。并且，使用PMML可以使挖掘模型与应用平台和操作系统无关，无需关心模型的创建过程。

1.2.2 CWM（Common Warehouse Metamodel）

公共仓库元模型CWM由OMG（Object Management Group，对象管理组织）制定，其主要目的是在异构环境下辅助不同平台、不同的数据仓库工具和元数据知识库进行元数据交换，CWM模型包括元数据（技术类与商业类）存储与元数据交换。

CWM标准定义了数据仓库和商业智能工具之间共享元数据的语法规范，包括4个方面：描述数据仓库系统的CWM元模型，CWM元模型的XML表示，数据仓库和商业智能工具共享元数据的DTD交换格式，以及数据仓库和商业智能工具共享元数据的API（应用程序接口）。

CWM元模型规范由以下5个包组成，分别定义了各领域的元模型：

（1）对象模型包，是构造和描述其他包中元模型类的基础，是UML的子集。

（2）基础包，包括表示CWM概念和结构的各种模型元素，可被其他CWM包共享。

（3）资源包，用于描述数据资源，包括关系数据资源、XML数据资源、记录式数据资源以及多维数据资源。

（4）分析包，包括数据转换、OLAP、数据挖掘、信息可视化和商业术语五个子包。

（5）管理包，用于描述数据仓库管理，包含两个子包：数据仓库过程、数据仓库操作。

1.3 通用数据挖掘语言

数据挖掘建模语言一定程度上解决了目前数据挖掘系统的一些问题，但是也有缺点，比如没有将模型与数据真正地分离、需要进行大量的数据转换才能建模、没有被所有的数据挖掘软件商采用等等。因此，有必要开发出一种更为通用的数据挖掘语言。通用数据挖掘语言合并了上述两者的特点，它可以定义模型，也可以作为查询语言与数据挖掘系统进行通信，进行特殊的交互式的挖掘。

微软推出的一款数据挖掘语言，命名为OLE DB for DM，是OLE DB的一个扩展，制定这一规范的目的是使来自不同数据挖掘软件商的数据挖掘算法轻松地嵌入到用户应用程序中。

OLE DB for DM定义了一些重要的新概念和特点，以填补传统的数据挖掘技术和目前关系数据库管理系统之间的空白，包括以下几点：

（1）数据挖掘模型DMM（Data Mining Model），DMM类似于一个关系表，但是包含一些特殊列，由数据挖掘中的数据训练和预言制定使用，DMM既可以用来创建预言模型，又可以产生预言，DMM存储被数据挖掘算法发现的模式，这点与标准的关系表中存储原始数据不同，其所有结构与内容都可以用XML字符串表示。

（2）预言联接操作（Predication Join Operation），与SQL语法中的联接操作类似，通过映射一个在训练好的数据挖掘模型和设计的输人数据源之间联接查询，使开发人员较容易地得到确切符合商业需求的自定义预言结果。

（3）OLE DB for DM模式行集合（Schema Rowsets），这些特殊目的的模式行集合允许使用者发现诸如可用的挖掘服务、挖掘模型、挖掘列模型等临界信息内容，数据挖掘提供者在模型创建和训练阶段装入模式行集合。

2 分析与评价

数据挖掘查询语言与数据挖掘系统进行通信，提供独立于应用的操作原语，进行交互和特殊的挖掘，但是，由于各查询语言目前没有形成统一标准，因此并没有实质性解决数据挖掘系统之间相互孤立的问题。

PMML提供了一个简单开放的框架以处理和交换预言模型，使用户可以更迅速地使用挖掘出的信息，更容易实现商业智能。PMML使用户可以将模型与应用程序分离，即在一个应用程序中开发模型，而在其他应用程序中进行模型的可视化、分析、估值等操作、或以其他方式使用模型，从而使在不同模型之间无缝交换模型成为可能，解决了上文提到的系统彼此孤立的问题。但PMML还不能算是一种完整的数据挖掘模型定义语言，而只是预言模型标记语言，因为它不包括预言模型和描述模型。

3 结语

介绍了数据挖掘语言及其标准化方面的研究进展，对目前较为流行的几种数据挖掘语言的特点进行了分析比较，可以看出，数据挖掘语言发展的必然趋势是标准化方向，但也需要一定的理论基础支持，比如基于高阶逻辑和Rough Set理论的数据挖掘问题的分类描述理论，正如SQL语言的创立是因为有关系代数理论的支持一样。