嵌入式数据挖掘模型及其在银行卡业务中的应用

针对现有数据挖掘体系结构松散揭合、算法运行效率不高的问题，提出了嵌入式数据挖掘模型。该模型实现了算法的组件化管理，并将整个数据挖掘流程控制在数据库、数据仓库中，在简化数据挖掘过程的同时，大大提高了数据挖掘的效率。通过对几种典型数据挖掘算法在银行卡业务数据中的试验，证实了该模型的有效性和实用性。


数据挖掘就是从存放在数据库、数据仓库或者其他信息库中的大量数据中挖掘有趣知识的过程。它是在多种数据存储方式的基础上，借助有效的分析方法和工具，从传统的事务型数据库功能（增加、删除、修改、查询、统计等）背后，获得更深层次的信息。在数据挖掘技术的不断发展过程中，如何将数据挖掘（DM）系统与数据库（DB）系统和数据仓库（DW）系统紧密耦合（所谓耦合，即是数据挖掘系统和数据库或者数据仓库的集成程度）在一起是始终困扰着人们设计一个好的数据挖掘工具的最大问题。从最初的不耦合到松散耦合再到半紧密耦合，人们一直寻求着如何将DM系统平滑的集成到DB/DW中（即紧密藕合）。目前众多数据挖掘系统、数据挖掘工具中，大部分都是实现一个与数据仓库系统独立开来的数据挖掘系统，这样便使得数据挖掘过程中要花费大量的时间进行数据加载转换，算法运行时间长、效率低，特别是面对当前数据仓库中保存的海量数据时，更是效率低下。

文中在已有的数据挖掘系统体系基础上，应用数据挖掘系统与数据仓库系统紧密耦合的策略，提出了嵌入式数据挖模型，把数据挖掘系统和整个数据挖掘流程完全控制在数据仓库系统中，从而大大提高数据挖掘的效率。并且针对市面的一些用于银行卡业务的数据挖掘系统过于繁琐，但是效率不高、针对性不强等问题，本文提出将嵌入式数据挖掘应用于银行卡业务中，使得应用针对性更强，在节约了开发成本的同时也提高了挖掘效率。

1嵌入式数据挖掘模型

嵌入式数据挖掘模型主要是采用多种数据库访问技术把算法嵌入到数据挖掘系统中。该模型支持按照一定的标准规范来开发挖掘算法，并把算法发布嵌入到多种数据库、数据仓库当中，将数据挖掘过程完全控制在数据库、数据仓库系统中，将数据挖掘功能转换成大家熟悉的、通用的、灵活的、可二次开发的数据仓库功能。

该系统框架主要由数据层、算法嵌入层、数据挖掘层以及用户层，系统模型如图1所示。

1.1数据层和用户层数据层

主要包括数据库或数据仓库中的海量业务数据以及元数据，它是数据挖掘过程中最基础的部分。

在该模型中，用户层包括算法发布人员、数据分析人员、数据库管理人员，即使得数据挖掘面向更多的用户，摆脱了以前数据挖掘对专业人士的过多依赖性。

1.2算法嵌入层

整个嵌入流程可以分为两个过程：算法发布和算法调用。算法发布过程主要是把算法发布到特定的数据仓库系统中，为数据挖掘系统在数据仓库系统中的执行奠下基础；算法调用过程则是在数据仓库系统中进行的，主要通过数据仓库系统中的存储过程，让用户传人相关参数，然后调用第一步发布的算法对用户指定的数据进行挖掘。

1）算法发布算法发布过程首先就是把算法封装成DLL文件，同时把调用算法的接口编译成EXE文件，然后把算法DLL文件和相应的EXE文件发布到数据库或数据仓库中，最后在相应的数据库中创建存储过程（简称SP），流程如图2所示。

2）算法调用在调用过程中，由于不同数据仓库系统的存储过程的功能大小不同，不同数据仓库系统对EXE文件，DLL文件的调用方式都有很大的区别，所以具体的实现细节在不同数据仓库系统下还是有很大的区别的。在该模型中，数据仓库终端调用存储过程（SP），把算法参数和用户参数传进存储过程，然后让存储过程调用EXE文件，EXE文件主要是处理存储过程传入的参数，然后调用DLL算法生成挖掘结果。具体流程如图3所示。

1.3数据挖掘层

1）预处理模块数据预处理在数据仓库（或数据库）中进行，主要有两个途径可以实现：一种是直接利用数据仓库管理系统（SQL等）来对数据仓库的数据表进行加工处理，还有一种就是像挖掘算法一样，用高级语言实现，然后嵌入到数据仓库系统中，用户就可以像一般的存储过程一样调用相应的预处理方法来对数据进行预处理。这两种预处理可以相互循环使用，直到加工满意的数据为止。

2）结果处理模块结果处理流程其实和算法凋用过程是同时进行的，在EXE文件中通过数据库访问技术获取数据，在EXE中调用DLL算法产生文本结果返回到EXE文件中。这时候，这个文本结果可以经过加工处理写回数据仓库，同时也可以展示给用户。具体如图4所示。分析处理后，生成结果表查询结果。