基于Hadoop和Django的大数据可视化分析Web系统
吴义
东华大学
摘要:互联网的发展让数据量呈现指数增长,当今世界,人类已经进入大数据的时代,如何从海量的数据里发掘有价值的信息变的至关重要。将抽象和结构复杂的数据变成易于人类理解的信息是数据可视化技术研究的主要内容。数据可视化技术是大数据领域的研究热点之一,有着巨大的研究价值和应用价值。本文结合实际的大数据可视化项目,探究了如何使用开源的Django Web框架构建基于Hadoop计算平台的大数据可视化分析Web系统,详细介绍了系统的设计方案,并分模块介绍了设计内容。针对系统内测阶段暴露出的问题,从多个方面进行了优化和改进,包括前端性能优化、Django应用层优化、PostgreSQL数据库优化等,总结出了大量的Web系统优化经验,具有一定的借鉴意义。项目中Web系统的数据源来自于Hadoop计算平台。Hadoop计算平台对成千上万的数据处理任务进行调度,调度算法的好坏直接影响数据处理的效率。本文研究了Hadoop平台作业调度算法。首先深入分析了Hadoop计算平台三种常用的作业调度算法先进先出调度算法、公平份额调度算法、计算能力调度算法的算法原理和各自的优缺点,随后分析了包含“移动计算”思想的延迟调度算法... 更多
- 专辑:
电子技术及信息科学
- 专题:
互联网技术
- 分类号:
TP393.09
导师:
龚涛;
学科专业:
控制工程
- 手机阅读
即刻使用手机阅读
第一步扫描二维码下载
"移动知网-全球学术快报"客户端
第二步打开“全球学术快报”
点击首页左上角的扫描图标
第三步扫描二维码
手机同步阅读本篇文献
- CAJ整本下载
- CAJ分章下载
- 在线阅读
- PDF整本下载
下载手机APP用APP扫此码同步阅读该篇文章
温馨提示:阅读CAJ格式原文,请使用CAJ浏览器。
下载:2304 页数:74 大小:2341K
相关推荐
- 相似文献
- 读者推荐
- 关联作者
- 攻读期成果
- [1]网络资源探测及可视化呈现系统的设计与实现[D]. 王智民.电子科技大学 2018
- [2]基于WebGL的高维时空数据可视化研究[D]. 刘一鸣.北京邮电大学 2018
- [3]基于Web的数据可视化系统设计及应用[D]. 刘铭宇.北京邮电大学 2018
- [4]基于web的统计年鉴可视化系统设计与实现[D]. 郭梦杰.北京邮电大学 2019
- [5]面向大屏的图表展示系统设计与实现[D]. 王宁.西安电子科技大学 2019
- [6]数据可视化生成工具的设计与实现[D]. 于婧.北京邮电大学 2016
- [7]基于Hadoop平台的语义网研究[D]. 李宛桐.吉林大学 2013
- [8]基于Hadoop的网络安全管理系统的研究与实现[D]. 张晓莉.北京邮电大学 2014
- [9]基于Hadoop的视频转码优化的研究[D]. 宋扬.吉林大学 2016
- [10]基于Django的生鲜电商系统的研究与开发[D]. 陈毅.东华大学 2018