部分内容展示

大数据时代的到来影响了经济、科技和社会等各个层面。海量的实时数据中隐藏着巨大的价值，如何更好的挖掘处理这些实时数据流成为当前关注的热点。概念漂移检测技术用于解决数据流的动态性问题，但是还存在不足之处。为此，本文基于概念漂移检测算法对大数据下数据流聚类挖掘算法进行优化，提出了M-FKM概念漂移检测算法。试验表明，M-FKM概念漂移检测算法能够有效的解决FKM算法中的人工干预问题，具有较好的概念漂移检测能力，总体运算效率较高，具有一定的应用价值。
【关键词】大数据；数据流；聚类挖掘；算法；更多范文 随着大数据时代的到来，互联网中的数据规模已经达到了动辄TB的级别，数据流已经成为了当前主要的数据存在方式，并且得到各界的广泛重视。数据流具有实时性、动态性、高速性、无限性等基本特征，这是传统数据所无法比拟的^[1]，正是凭借这些优势，数据流被广泛的应用与数据分析中。在大规模的数据流中，如何获得有用的信息是一件难度非常大的工作。由于传统的数据处理方式已经无法对数据流进行处理，因此，迫切需要新的技术来使这一目的得到实现。数据挖掘是近年来比较流行的一种技术，其中聚类分析在数据挖掘算法中应用比较广泛。但是数据流的一些特征使数据挖掘的聚类分析应用受阻，增加了聚类分析的难度。为此，很多学者结合数据流的特征对聚类算法进行改进，已经获得了较好的聚类效果。但是由于数据流参数处理不当，或者是传统算法固有的缺陷，造成这些改进的算法仍然存在不足之处。概念漂移是指数据流中潜在的概念或知识会随着时间或环境的改变而变化的现象^[2]。当数据流发生概念票流时，原有的数据分类模型将无法适应新的数据，因此，必须要对新的数据进行重新分类，无形中增加了数据流聚类挖掘的难度。鉴于此，本文在借鉴前人研究成果的基础上，结合数据流概念与移动漂流的特性，提出数据流聚类挖掘算法的改进方案，以便更好的完成大数据下数据流的挖掘工作。