------中国首个基于B/S方式、算法最全、操作简便的数据挖掘平台

 

 

   

    当企事业单位实施了ERP、CRM、电子政务、营销管理平台等信息系统之后，面对数百万、数千万甚至上亿条各种记录，如何按照管理的需求对数据进行综合性分析与自动推理，自动找出各种信息之间的关联性，发现经营与管理的规律、发现客户消费的规律、自动归纳各种影响因素并分类、自动依据历史经验推测未来的变化……

    解决这些问题，不是开发几张报表或编写一些软件插件就可以解决的，因为传统的软件程序只能解决逻辑性非常强、数据结构清晰、各因子线性相关、原始数据无偏差、数据样本齐全情况下的问题，无法解决逻辑关系不太明确、数据陈列较杂乱、各因子间耦合性不强、原始数据数值变化较大、数据样本来源随机且模糊时的各种问题，特别是如果某一个问题的产生与几十甚至上百个原因有关联时，传统的方式将变得无从下手，而往往这些问题却是影响商业经营、企业管理、政府决策等的关键因素。

    DMS数据挖掘套件，由中国权威的数据挖掘专家和人工智能领域专家历时三年研发完成，系统集成了国内外几十种数据挖掘算法，涵盖了数据探索及预处理（包括数据特征分布分析、周期性分析、数据关联分析、空值数据处理、异常值处理、维度简约、特征提取）、预测建模（交叉验证、网络训练、模型验证、模型预测、误差分析）、模型评估等整个数据挖掘过程处理， DMS是中国首个基于B/S架构开发的数据挖掘平台，维护与管理十分方便，可广泛运用在金融、保险、电信、证券、制造、零售、生物制药等各行业。例如：过去零售商依靠供应链软件、内部分析软件甚至直觉来预测库存需求，随着竞争压力的一天天增大，很多零售商（从主要财务主管到库存管理员）都开始致力于找到一些更准确的方法来预测其连锁商店应保有的库存，预测分析是一种解决方案，它能够准确预测哪些商店位置应该保持哪些产品。

    轻松驾驭海量数据，轻松挖掘数据价值——DMS帮您插上智慧的翅膀，轻松领先。

 

 

 

1、  定义：数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、事先不知道的、但又是潜在有用的信息和知识的过程；

 

2、  目的：数据挖掘的目的就是从数据中淘金，就是从数据中获取智能的过程。从商业角度来看，数据挖掘则是指一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。简而言之，数据挖掘就是一类深层次的数据分析方法。现在商家分析这些数据已不再是单纯为了研究的需要，更主要是为商业决策提供真正有价值的信息，进而获得更多的利润和优势、先进。

 

3、  数据挖掘过程：数据挖掘过程大致可分为5个步骤：数据取样、数据探索、模式发现、预测建模和模型评估。

 

4、  数据挖掘的数据源：大部分情况下，数据挖掘的分析数据源可以是数据仓库或数据挖掘数据集市。因为导入到数据仓库的数据已经经过了大量的数据清理和转换工作，减少数据挖掘的数据清理过程。

 

5、  数据挖掘的主要技术：

 

（1）、分类分析——用于预测数据对象的离散类别（Categorical Label）；涉及的算法有决策树、 KNN法(K-Nearest Neighbor) 即K最近邻法、SVM法即支持向量机(Support Vector Machine)法、VSM法即向量空间模型(Vector Space Model)法、Bayes法、神经网络。

 

（2）、聚类分析——聚类分析是在没有给定划分类的情况下，根据信息相似度进行信息聚类的一种方法，又称为无指导的学习，聚类的目的是根据一定规则将数据分为一系列有意义的子集，同一聚类中，个体之间的差距较小，不同聚类中，个体之间的距离偏大。聚类除了将样本分类外，它还可以完成孤立点挖掘，如将其应用于欺诈探测中。

 

（3）、关联分析——关联分析能寻找数据库中大量数据的相关联系，常用的两种技术为关联规则和序列模式。关联规则是发现一个事物与其他事物间的相互关联性或相互依赖性，可用于如分析客户在超市买牙刷的同时又买牙膏的可能性；序列模式分析将重点放在分析数据之间的前后因果关系。

 

（4）、时序分析——是描述基于时间或其他序列的经常发生的规律或趋势，并对其建模。与回归一样，它也是用已知的数据预测未来的值，但这些数据的区别是变量所处时间的不同。序列模式将关联模式和时间序列模式结合起来，重点考虑数据之间在时间维上的关联性。

 

（5）、偏差检测——偏差检测是用来发现与正常情况不同的异常和变化，并进一步分析这种变化是否是有意的诈骗行为，还是正常的变化。如果是异常行为，则需提示预防措施，尽早防范。偏差是对差异和极端特例的表述，如分类中的反常实例、聚类外的离群值、不满足规则的特例等。大部分数据挖掘方法都将这种差异信息视为噪声而丢弃，然而在一些应用中，罕见的数据可能比正常的数据更有用。偏差检测的基本方法是寻找观测结果与参照之间的差别。

 

6、  典型的应用：（1）、企业可利用采用数据挖掘技术来判断哪些是最有价值客户、重整产品推广策略；（2）、电信公司使用数据挖掘检测话费欺诈行为；（3）、银行使用数据挖掘检测信用卡欺诈行为；（4）、做完市场调查后，来预测哪些客户群会对新产品感兴趣；（5）、数据挖掘能自动从庞大的数据中找到预测客户购买行为的模式，进行数据挖掘后，可以用来为促销活动选择最适合的客户群，把结果输入到促销活动管理软件中，可以大大提高促销的效果；（6）、能帮助销售人员更准确地定位推销活动，并使活动紧密结合现有客户和潜在客户的需求、愿望和状态，提高活动的响应率；同时数据挖掘得出的可能流失客户名单，通过客服中心对客户进行关怀访问留住客户；（7）、可根据股票价格的波动情况，将股票分成不同的类，总共可以分成几类，各类包含哪些股票，每一类的特征是什么，这对投资者、尤其对投资基金来说，可能就是很重要的信息；（8）、银行贷款客户分类、企业客户级别自动分类、文本文件自动分类、安全软件入侵检测自动分类；（9）、分析买了电脑的顾客是否会在3个月内买杀毒软件，网上书店书籍自动推荐，即关联性分析；（10）、电力公司对未来电力负荷的预测，以备电力生产与运送，即基于时间的时序性预测；（11）个人信用评级、大坝安全监控预报、生产资源预测分析、销售预测、病理诊断治疗、水产健康养殖环境动态分析、污染检测、员工行为分析、犯罪心理分析、投资风险预测等。

 

7、  数据挖掘与OLAP的区别与互补：数据挖掘和OLAP是两种完全不同的工具，他们的用途不同，基于的技术也大相径庭。OLAP是验证式的工具，告诉用户下一步会怎么样（What next），如果采取这样的措施又会怎么样（What if）。OLAP分析过程是一个演绎推理的过程，用户首先建立一个假设，然后用OLAP工具浏览数据来验证假设。如果一个分析涉及到的变量达到几十或上百个，那么用OLAP手动分析验证这些假设将是一件非常困难的事情。数据挖掘与OLAP不同的地方是，数据挖掘不是用于验证某个假定的模型的正确性，而是在数据库中自己寻找模型。数据挖掘过程是一个归纳的过程。如果一个分析师打算用数据挖掘工具分析移动电话用户的欠费风险，数据挖掘工具可能会帮助分析师发现一些从来没有想过的影响因素。数据挖掘比OLAP更自动化、更深入，分析结果更难被理解。数据挖掘和OLAP具有一定的互补性，在利用数据挖掘工具挖掘出来的结论采取行动之前，你也许要用OLAP验证一下如果采取这样的行动会给企业带来什么样的影响。将OLAP和DataMining技术结合起来形成了一个新的体系OLAM（On-Line Analytical Mining）。在OLAP中挖掘多层、多维的关联规则是一个很有效果的过程，可以挖掘到一些新的规则。

 

8、  数据挖掘与AI、统计的区别与关系：统计学和数据挖掘有同样的目标：发现数据中的结构，所以有人认为数据挖掘是统计学的分支，这是一个不切合实际的结论，有两个原因说明这个问题：一是数据挖掘更多的是应用其它领域的思想、工具和方法，尤其是数据库技术和机器学习等计算机学科分支；二是由于统计学的数学背景和追求精确的方法，在采用一个方法之前先要进行充分的证明，而不是类似计算机科学和机器学习那样注重于经验。神经元网络、遗传算法和机器学习等知识发现技术，在足够多的数据和计算能力下，可以自动完成许多有价值的计算，关于数据挖掘和知识发现的关系，有很多人认为数据挖掘是知识发现过程的一个步骤，一些人则把数据挖掘和知识发现等同起来，数据挖掘利用统计和人工智能的技术，把这些高深复杂的技术封装起来，使用户不用掌握这些技术也能完成同样的功能，从而更加专注于自己所要解决的问题。

 

 

 

    DMS由两大子系统构成：预测建模子系统（PMS）和智能管理子系统（IMS）。系统覆盖的功能范围从底层的特征提取、预测建模，到业务层的模型调用、智能控制，最后通过信息发布，用户可方便地将预测分析结果及相关信息发布到网站或相关报表。 

 

    预测建模子系统（PMS）主要完成数据的建模过程，主要功能包括：模型管理、数据探索、预测建模、模型评估等；在建模过程中，考虑到各行各业应用的广泛性，系统已经按行业预置了几十种行业的应用模型，考虑到扩展性问题，该子系统还内置了国内堪称最全的近50种数据挖掘的算法，可扩展性极强，可用于各种行业的预测建模和数据挖掘分析，包括企业、学校和政府机构，也适合高校建立数据挖掘实验室。

    借助近50种预测算法，可让使用者任意选择，快速建构出所需的数据挖掘模型，并方便训练和验证所生成的网络模型，系统同时兼具数据探索及模型评估功能，最终实现有效的预测建模及个性化数据挖掘应用；如果第三方程序（如ERP）需要调用数据挖掘的模式，系统还提供外部应用程序调用。

 

    智能管理子系统(IMS)是DMS的管理系统，整体结构分为五个部分：知识库管理、样本管理、智能预测、智能控制、信息发布；该子系统负责维护预测分析的基础数据，并将预测分析数据传递给预测建模子系统，同时调用来自预测建模子系统已经建好的预测模型，并进行智能预测和分析，最后通过信息发布方式，将结果展示到报表或前台页面。

 

 

 

1、强大的平台功能——DMS提供了构建大型数据挖掘应用常用的功能，包括系统管理、模型管理、知识库维护、智能控制、任务调度、日志管理等，DMS支持 CRISP-DM 流程所需的主要过程，完成包括对数据进行预处理（包括空值处理、降维处理、离散处理），主成分分析、抽样、过滤等，创建、训练、评估模型，预测，修改模型参数，误差分析等一系列功能。完全区分于插件式、固定的、分离式的数据挖掘工具软件。

 

2、先进的体系结构——基于大型数据挖掘应用需要，系统采用J2EE企业应用架构，应用框架的设计应用SOA的思想来规划，使得应用之间的调用稳定且方便。系统提供一套基于行业标准的编程接口及常用的数据挖掘算法，它可用于开发各类智能预测分析应用程序，从简单的脚本到庞大的集成系统；数据引擎可由JDBC和XML访问分析行业标准数据挖掘API。系统提供灵活的配置功能，用户几乎无需编写一行代码就可快速构建出大型企业级数据挖掘应用系统，以适应各种复杂的应用。

 

3、技术先进、算法丰富——支持分类与回归、聚类分析、时间模式、关联规则、偏差检测等各类数据挖掘应用。DMS提供了几乎所有的数据挖掘模型所需算法，提供的模型算法包括：BP神经网络、RBF神经网络、模糊神经网络、小波神经网络、自组织特征映射、决策树、决策表、贝叶斯、懒惰算法、支持向量机、K均值聚类、指数平滑、季节移动平均，等等，运用这些模型可实现函数逼近、数据聚类、模式分类、优化计算等功能。

 

4、自适应与自学习策略——DMS能根据其应用的环境，或最新的实际数据，进行模型参数的自动调整，达到更好的预测效果；也就是说，DMS能根据预测的偏差不断调整模型的结构与参数，构成一个闭环的反馈。

 

5、自动运行和滚动预测——在正常情况下，DMS无需人工干预，可以连续不断地根据最新获取的数据进行周期性的滚动预测，只有当预测误差较大，需要人工处理时，才由预测人员进行调整。

 

6、无缝集合和结果共享——由于DMS的数据来源和结果输出可以是文本文件、EXCEL电子表格、URL和JDBC数据源，所以它能非常方便地与企业应用程序和其他统计工具无缝结合，快速读取源自等第三方应用程序的数据。

 

7、可扩展的模型库——针对一个具体的应用，可以利用DMS建立多个预测模型供当前方案进行选择和调用，以实现基于复杂的应用选择最优的解决方案。

 

8、版本丰富——DMS提供企业版、嵌入式开发版、教研版、个人版等四种版本，可以满足不同的应用需要。

 

 

 

1、培训支持：采用案例式教学为主，我们将按客户不同的行业特点和需求，制定合理、有效的培训计划，设计针对性的培训内容，配备专业的培训人员，实现卓越培训效果；

 

2、辅助建模：数据挖掘帮助分析师和决策人员更深入、更容易的分析数据。为了保证数据挖掘结果的价值，实施工程师将帮助用户彻底了解自己的数据，并且了解数据挖掘工具是如何工作的，了解不同的技术和算法对模型的准确度和模型生成速度的影响，并辅助完成数据探索、预处理数据、挖掘算法配置优化、建模与训练检测、模型评估及优化。

 

3、系统优化与长期跟踪：包括辅助接口程序的对接，挖掘效果的优化，数据源的优化，新需求的持续性支持等，对于专项的咨询需要，我们也将实时解答，以帮助客户享受更为专业的服务。

 

    客户有广州金发科技、广东省电信规划设计院、立信集团从兴电子、广东省信息产业厅等，应用领域有鳗鲡养殖数据挖掘专家系统（09年广东省工业攻关项目）、 企业信息智能预测开发平台（09年广东省工业攻关项目）、 水产主导品种数据化专家系统（863科技项目）、 水产健康养殖专家系统（珠江水产研究所）、 养殖水质智能预测分析系统（上海渔业机械仪器研究所）、 反漏窃电预测分析系统（立信集团从兴电子）、销售预测分析系统（广州金发科技）、 个人资信评估管理系统（广东汇通卡）、电信资源预测分析系统（广州电信规划设计院）、孤立性肺结节诊断治疗专家系统、 地温分布预测及埋管系统工作性能预测分析系统、 地表水质预测评价系统等。