码迷,mamicode.com
首页 > 其他好文 > 详细

论文学习 - 《Hadoop平台下的海量数据存储技术研究》

时间:2014-11-26 20:41:31      阅读:286      评论:0      收藏:0      [点我收藏+]

标签:style   blog   http   color   使用   sp   strong   文件   数据   

摘要

  研究背景:

    1. 互联网的图片数据急剧膨胀

    2. Hadoop平台下的Hdfs分布式文件系统能够很好的处理海量数据

  研究内容:

    1. Hadoop平台工作原理

    2. Hadoop平台下图片存储系统的设计与实现

    3. Hadoop平台与Web的整合

   创新点:

    1. 通过Web方式来访问Hdfs

    2. 存储性能测试自动化

第一章 绪论

  Pass

第二章 Hadoop工作原理

  本章可以参考对照Hadoop相关手册,不在此纠结。

第三章 Hadoop图片存储系统设计

  模块划分:

    1. 普通用户模块

      a. 注册功能

      b. 登陆功能

      c. 修改密码

      d. 图片分类管理

      e. 图片分类管理

      f. 图片上传

      g. 图片删除

    2. 管理员模块

      a. 登陆功能

      b. 修改密码

      c. 用户管理

      d. 图片管理

      e. 统计分析模块

      f. 站点设置模块

    3. 客户端模块

      a. 建立文件

      b. 修改文件

      c. 删除文件

    4. 日志分析模块

      a. 日志数据的生成

      b. 日志数据的分析

      c. 统计报表的生成

    5. 系统监控模块

      a. cpu监控模块

      b. 内存监控模块

      c. 网络监控模块

  图示:

  bubuko.com,布布扣

  系统架构

  本系统的访问接口是Web浏览器和客户端。

  系统使用Tomcat来对页面进行处理,MySql数据库来存放用户的普通数据。Hdfs文件系统来存放图片数据。

  如下图所示:

  bubuko.com,布布扣

  数据库设计

  设立六个表 - 用户表,权限表,图片分类表,图片表,用户图片统计表,站点设置表

第四章 系统主要功能的实现

  Pass

  

论文学习 - 《Hadoop平台下的海量数据存储技术研究》

标签:style   blog   http   color   使用   sp   strong   文件   数据   

原文地址:http://www.cnblogs.com/scut-fm/p/4113885.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!