码迷,mamicode.com
首页 > 其他好文 > 详细

大数据技术包含哪些内容

时间:2020-07-06 16:34:57      阅读:343      评论:0      收藏:0      [点我收藏+]

标签:tst   发展   物联网   gui   云计   proc   ati   nand   trap   

大数据之所以受到了广泛的关注,一个重要的原因就是大数据开辟了新的价值领域,这一点是非常关键的。新的价值领域就会打造一系列生态体系,而生态体系又会孕育出大量不同的商业模式,而这个过程也会伴随着大量的创新,所以当前基于大数据的创业项目也非常多。大数据让互联网(物联网)上源源不断的数据拥有了价值,让整个社会对于互联网有了新的认知。大数据技术的相关岗位需求也越来越大,而今天我们就简单来了解一下,大数据技术都包含了哪些内容。

  大数据技术都包含了哪些内容

  一、数据采集

  ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。

  二、数据存取

  关系数据库、NOSQL、SQL等。

  三、基础架构

  云存储、分布式文件存储等。

  四、数据处理

  自然语言处理(NLP,NaturalLanguageProcessing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言,所以自然语言处理又叫做自然语言理解(NLU,NaturalLanguageUnderstanding),也称为计算语言学(ComputationalLinguistics。一方面它是语言信息处理的一个分支,另一方面它是人工智能(AI,ArtificialIntelligence)的核心课题之一。

  五、统计分析

  假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(优尺度分析)、bootstrap技术等等。

  六、数据挖掘

  分类(Classification)、估计(Estimation)、预测(Prediction)、相关性分组或关联规则(Affinitygroupingorassociationrules)、聚类(Clustering)、描述和可视化、DescriptionandVisualization)、复杂数据类型挖掘(Text,Web,图形图像,视频,音频等)。

  七、模型预测

  预测模型、机器学习、建模仿真。

  八、结果呈现

  云计算、标签云、关系图等。

  大数据技术包含哪些内容.中琛魔方大数据分析平台表示大数据技术主要围绕“数据价值化”这个核心来展开,涉及到数据采集、数据整理、数据存储、数据安全、数据分析、数据呈现和数据应用等技术。数据采集技术涉及到物联网技术,实际上物联网也是大数据主要的数据来源,所以大数据与物联网的关系也非常密切,也可以说没有物联网的发展就不会有大数据。

大数据技术包含哪些内容

标签:tst   发展   物联网   gui   云计   proc   ati   nand   trap   

原文地址:https://blog.51cto.com/14615175/2508924

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!