大数据时代下数据挖掘技术的应用分析 下载本文

内容发布更新时间 : 2024/5/18 10:31:16星期一 下面是文章的全部内容请认真阅读。

龙源期刊网 http://www.qikan.com.cn

大数据时代下数据挖掘技术的应用分析

作者:卢文亮

来源:《新生代·下半月》2019年第03期

【摘要】:大数据时代是信息社会高度发达的的阶段,随着云技术、互联网等高科技技术的快速发展,为人们进入大数据时代奠定了坚实的基础。人们已經可以实现对海量的数据信息进行存储以及分析,并将所获取的信息应用到实际生产当中,而在此过程中最重要的就是数据挖掘技术。科学合理的利用数据挖掘技术可以通过对数据信息的挖掘,从中找到有利用价值的信息资源,从而为各个领域的发展提供相应的参考。本文首先将对数据挖掘技术进行简单阐述;其次主要分析当前数据挖掘技术的主要方法,并具体阐述数据挖掘技术在各个领域的应用;最后简单谈谈数据的安全和保密。

【关键词】:大数据时代 数据挖掘技术 概述 方法 应用 数据安全

在各个领域的发展过程中,信息资源是最为重要的生产管理因素之一,可以为各领域的发展提供有效的参考和依据。云技术以及互联网技术的发展为信息资源的存储和分析提供了坚实有力的技术基础,因此,各行业想要获得更大的发展,就需要注重对隐藏的数据进行深入挖掘,将其进行有效整合,从中获取有效的信息。在此过程中,数据挖掘技术就显的尤为重要,科学合理的运用数据挖掘技术可以实现对数据信息的最大化利用,利用对数据信息挖掘分析的结果来指导行业的发展。与此同时,也要注重数据信息的安全和保密,完善各项数据保密技术,有效保护各项数据信息。 1.数据挖掘技术概述

数据挖掘技术顾名思义就是对数据信息的深入挖掘,寻找其中有价值的数据信息,具体来讲就是利用统计学、云技术、大数据技术以及人工智能技术等高科技技术,在庞大的数据库中发掘其中隐藏的数据信息,以此来为相关决策提供支持【1】。之所以被称之为数据挖掘技术,主要是这项技术所要寻找的信息是之前尚未明确的,但是其具有潜在的价值,因此需要在庞大的数据库中进行挖掘。这项技术需要以多项高科技技术为基础,从庞大的数据信息中识别具有价值的信息,从而为决策人员进行决策提供一定的参考和指导,以规避风险,做出合理的判断。

数据挖掘的基础是需要庞大的数据信息,且数据信息的来源必须真实有效,这样才能在其中发掘出一些之前尚未明确的,且具有相应的利用价值的信息。被挖掘的数据库中的数据可以是多种多样的,包括未识别的数据、随机的数据、缺损数据、不完整数据等,但是数据量必须要大,只有以庞大的数据为基础,才有可能从其中挖掘出有价值的信息。

数据挖掘技术并不是一项简单的技术,而是多种技术的有机结合,数据挖掘技术可以在挖掘数据的过程中实现对数据的归纳和整理,使这些数据信息得到最大化的利用。数据挖掘技术

龙源期刊网 http://www.qikan.com.cn

可以从对数据的简单分析到复杂演绎,从表面深入到隐藏的部分,通过一个极其复杂的过程从原始数据中寻找出具有利用价值的信息。同时其挖掘数据的过程中,其所归纳和整理的数据也可以对其加以利用,譬如信息检索、查询等。 2.数据挖掘技术的主要方法 2.1聚类

聚类的分析方法主要是针对一组数据信息,将其按照数据信息的类别以及其相似度将其分为不同的层级,制定出科学的、覆盖范围广的、详尽的判断模型,使这部分数据信息中,同类别数据具备较高的相似性,不同类别数据具备较低的相似性,以此为决策人员的决策提供参考。这种方法一般在市场营销中使用的比较多,譬如对客户的分类、寻找潜在客户、预测销售状况、分析商品的周期等【2】。 2.2关联

关联主要指的是原始数据中各部分数据信息之间所存在的联系或者关系,具体来说就是原始数据中的这部分数据信息很可能与另一部分数据信息之间存在一些隐藏的联系,通过对两部分数据信息的分析可以发现其中隐藏的关联性。例如,当你在维护和客户的关系的时候,就可以在该企业的客户数据源中挖掘有效信息,在大量的关系交流的记录中挖掘有效信息,挖掘有价值的线索,挖掘出不明显的影响市场的关键节点,这对商品价格预判、销售走势、客户类群分辨、销售整体方向的规划等具有重要的参考价值。 2.3回归分析

回归分析主要是利用原始数据时间上的分布特征,构建一个可以把数据信息回归到预测变量中的函数关系,然后利用相应的数学理论,分析变量与变量之间的关系。关于回归分析的要点主要有以下几项,一是数据信息之间关系的分析,二是预判走向的分析,三是数据变量的趋势分析。 2.4分类

分类的方法主要就是在原始数据中选择一组具有相同特点的数据,依照事先确定的标准对其进行相应的分类,将原始数据中的部分数据信息归入到某种既定的类别中。把数据源中的数据对象联结到某种特殊的类别当中【3】。例如可以把某一组数据对象联结到顾客的分类中,然后对顾客的属性进行分析,对顾客的特点进行分析,做满意度调查、然后评判顾客的购买意向以及购买力.以某一个汽车厂商为例,如果这个汽车厂商把数据源中的顾客依据对汽车的爱好分门别类,这样一线的销售人员便可以把握主动,直接向这类顾客销售相应的产品,投其所好,大大提高了效率。 2.5变化和偏差分析

龙源期刊网 http://www.qikan.com.cn

原始数据中存在诸多存在偏差的数据信息,这其中隐藏着一些有利用价值的信息,譬如模式中的反常现象,数据分类当中的反常现象,现实和期望之间的偏差等,对于这些存在偏差的数据信息进行分析,主要是研究现实中的结果和参照物之间的差别。在一些大型企业中,管理人员应该对危机预警系统中的反常现象和信息重点关注,对其进行深入挖掘分析,可以有效帮助管理人员挖掘出潜在的危机,从而提前做出应对,规避风险,降低危机造成的损失。 2.6特征

数据源也可以根据特征进行数据分类,从中提取关于这些特征的特征式,这类公式可以提现该数据源的整体特点【4】。例如在一线的销售人员在预防顾客流失的时候就可以先将顾客按照特征进行分类,然后再从中提取出顾客流失特征的特征式,就可以很快分找出造成顾客流失的很多原因以及特征了,然后再从特征中找出主要特征和次要特征,通过对这些顾客流失的特征分析就可以提前预防顾客流失的情况了。 2.7Web网页

随着互联网技术的飞速发展,网络已经实现了大范围的普及,人们在生活和工作大量的利用网络进行交互,这就使得网络中留存了大量的信息。互联网中的数据包罗万象,包括金融信息、企业信息、人力资源信息以及潜在的用户群体信息等等,通过对互联网数据的挖掘可以找出诸多有利用价值的信息。对于这部分数据挖掘的重点在于预期可能会对企业的发展造成的影响因素,包括内因和外因,或者说是潜在的内因和外因,通过对这些影响因素进行分析,从而指导企业的发展方向,促使管理人员进行科学的决策。 3.数据挖掘技术的应用 3.1教育领域

在教育领域运用数据挖掘及时,可以让老师对学生产生更深入的认识和了解,通过对学生的基础信息、兴趣爱好、各学科的学习状况等数据信息的挖掘分析,可以从中了解到学生优势、不足以及在学习中存在的薄弱环节,便于老师进行针对性的指导和帮助,从而有效提升教学质量和教学效率。此外,数据挖掘技术的运用可以使各项教育资源配置进一步优化,从而更好的开展教学。 3.2科研领域

数据挖掘技术在科研领域也有广泛的应用,科研领域所取得的各项科研成果往往依赖于各种实验以及对于实验数据的整理、归纳和分析,找出实验数据所表明的关系或者规律,并对其加以概括和引申。由于一项科研成果的出现往往需要大量的实验,因此就会产生大量的实验数据,如果采用人工对其进行整理、归纳和分析,其难度相对较大,工作量也极大,而利用数据挖掘技术可以很轻易的完成,只要构建相应的数据模型,然后依次对实验数据进行深入分析,可以更高效的找出其中所隐含的信息,从而对科研方向提高相应的参考。