文章目录

农业统计数据可视化系统设计与实现

倪兴国

河北农业大学

摘要：随着我国农业信息化进程的快速推进,农业领域积累了大量的统计数据。如何进一步有效整合和利用现有多源异构的农业数据,挖掘数据潜在价值,成为农业信息化研究面临的重要课题。利用数据可视化技术可以将数据变换为可识别的图形符号、图像视频等信息,将不可见或难以直观显示的数据信息展现出来,为人们洞察事物潜在规律提供新的观察手段。当前的农业统计数据资源分散,展现方式较为单一,大多使用简单的可视化图表,缺少交互手段,用户无法在已有可视图表的基础上进行自定义交互可视分析。本文针对现有农业统计数据多源异构的特点和数据展示方式单一的问题,利用网络爬虫技术实现了对不同来源数据的采集,采用Django网络开发框架以及Html、CSS、JavaScript等技术设计实现了一个基于B/S架构的农业统计数据可视化系统。主要工作如下:（1）农业统计数据采集。通过研究现有网络爬虫技术的实现方式,针对互联网上的农业统计数据资源分散且结构不一致的特点,基于通用网络爬虫技术和框架,设计定向的网络爬虫,实现对数据资源的抓取。（2）数据资源ETL处理。基于不同数据集的特点和数据可视化需求,系统实现了对原始采集数据的清洗处理和转换整合,... 更多

关键词：

农业统计数据; 多源异构; 数据采集; 数据可视化;