文献知网节

基于Hadoop和Django的大数据可视化分析Web系统

吴义

东华大学

摘要:互联网的发展让数据量呈现指数增长,当今世界,人类已经进入大数据的时代,如何从海量的数据里发掘有价值的信息变的至关重要。将抽象和结构复杂的数据变成易于人类理解的信息是数据可视化技术研究的主要内容。数据可视化技术是大数据领域的研究热点之一,有着巨大的研究价值和应用价值。本文结合实际的大数据可视化项目,探究了如何使用开源的Django Web框架构建基于Hadoop计算平台的大数据可视化分析Web系统,详细介绍了系统的设计方案,并分模块介绍了设计内容。针对系统内测阶段暴露出的问题,从多个方面进行了优化和改进,包括前端性能优化、Django应用层优化、PostgreSQL数据库优化等,总结出了大量的Web系统优化经验,具有一定的借鉴意义。项目中Web系统的数据源来自于Hadoop计算平台。Hadoop计算平台对成千上万的数据处理任务进行调度,调度算法的好坏直接影响数据处理的效率。本文研究了Hadoop平台作业调度算法。首先深入分析了Hadoop计算平台三种常用的作业调度算法先进先出调度算法、公平份额调度算法、计算能力调度算法的算法原理和各自的优缺点,随后分析了包含“移动计算”思想的延迟调度算法... 更多
  • 专辑:

    电子技术及信息科学

  • 专题:

    互联网技术

  • 分类号:

    TP393.09

导师:

龚涛;

学科专业:

控制工程

下载手机APP用APP扫此码同步阅读该篇文章

温馨提示:阅读CAJ格式原文,请使用CAJ浏览器

下载:2304 页数:74 大小:2341K

相关推荐
  • 相似文献
  • 读者推荐
  • 相关法规
  • 关联作者
  • 攻读期成果