文章目录

基于Hadoop的数据可视化技术研究与应用

胡琴琴

北方工业大学

摘要：本课题主要研究多数据库环境下商业数据可视化的问题,所有的业务数据存储在不同的数据库服务器上。由于多数据库环境在对平台整体数据进行可视化时,需要对各业务数据库服务器分别进行统计分析,再对统计结果进行合并,使得数据分析阶段效率较低。因此本文在研究过程中首先将分散的数据集成到数据仓库中,然后再针对数据仓库中的数据进行可视化数据展现。首先,通过对分散数据的集成方法的研究,确定了利用Hadoop技术进行分散数据集成。Hadoop生态系统提供的Hive工具可以用于多维数据分析,Sqoop工具可以实现关系型数据库与Hadoop之间的数据传输。研究中利用Hive技术搭建数据仓库,通过Sqoop技术将数据从分散的数据库服务器加载到Hive数据仓库中,完成可视化数据准备工作。其次,研究行业数据可视化的技术和方法,具体分析了商业数据的特点及数据展现形式。设计实现了基于SVG （Scalable Vector Graphics）的地图可视化算法,可以将可视化数据进行维度与数量的自定义配置,使得可视化的结果更加丰富且直观。然后,针对实际应用,从销售分析、商品分析、客户购物偏好、企业排名等分析视角出发,利用HQL... 更多

关键词：

多数据库环境; 数据可视化; 数据集成; 商业数据分析;