文章目录

基于Hadoop的桥梁监测数据孤立点挖掘研究

谭京京

重庆交通大学

摘要：桥梁是公路交通的重要组成部分,保证桥梁的运营安全极为重要。桥梁健康监测是一种通用的管理办法,监测数据处理是其中的一个核心内容。随着时间的推移,桥梁监测系统会累积越来越多的数据,而传统的数据处理技术在面对日益增长的数据存储与处理时压力越来越大。Hadoop是一种流行的大数据处理平台,它以HDFS分布式文件存储系统及MapReduce计算框架为核心,Hive、Sqoop等工具为枝干,形成了一个完整的大数据处理生态系统,使用Hadoop处理大量桥梁监测数据,具有理论意义及现实价值。数据挖掘是常用的一种数据处理手段,孤立点挖掘是其中的热门研究之一,目前在许多行业与领域如网络入侵检测、天气预报等都有所应用,而在桥梁监测领域,孤立点数据的挖掘研究还没有得到足够重视。本文主要研究基于Hadoop的桥梁监测数据孤立点挖掘方案,研究内容体现在以下几个方面:第一,针对K-近邻孤立点算法开销大的缺点,结合划分思想、聚类思想及最小限界矩阵理论进行了改进,提出一种基于k-均值聚类划分的k-近邻孤立点算法（KMKNN）。该算法首先对数据集进行均值聚类,以聚类结果作为划分依据把数据集分成不同区域,判断每个区域是否包... 更多

关键词：

桥梁监测; 孤立点挖掘; k-近邻算法; k-均值聚类;