目录 大数据 大数据的行业与技术趋势 大数据学习路线 FusionInsight大数据开发学习总结（1） FusionInsight大数据开发 HDFS应用开发（2） 软件设计 软考知识分析 面向对象设计-自查 计算机组成原理和体系结构—自查 自检!!!操作系统基本原理 软考自查!!!数据库系统 软 ...
分类：
其他好文 时间：
2019-06-12 13:53:18
阅读次数：
152
对大数据开发技术感兴趣的小伙伴对数据挖掘技术有多少了解呢?本篇文章大数据小编就给喜欢大数据开发的小伙伴分享一下常用的数据挖掘技术，希望对小伙伴们有所帮助。1、统计技术数据挖掘涉及的科学领域和技术很多，如统计技术。统计技术对数据集进行挖掘的主要思想是：统计的方法对给定的数据集合假设了一个分布或者概率模型(例如一个正态分布)然后根据模型采用相应的方法来进行挖掘。在这里还是要推荐下我自己建的大数据学习交
分类：
其他好文 时间：
2019-06-12 12:29:58
阅读次数：
96
一：scala简介 官网：https://www.scala-lang.org/ Scala语言很强大，集成了面向对象和函数式编程的特点。 运行在JVM（jdk）。 大数据中为什么学习scala? spark是scala语言编写。 python写spark 挺好的 java写spark 很糟糕(代码 ...
分类：
编程语言 时间：
2019-06-11 22:15:54
阅读次数：
153
HDFS安装-完全分布式 1、 先决条件 a) 三台机器（以上） b) 每台机器时间一致，相差30秒以内。 c) 必须有主机名和ip映射。 d) 必须有JDK1.7,并且JDK的环境变量必须配置好。 i. rpm -ivh jdk-7u79-linux-x64.rpm 安装jdk ii. 配置环境变 ...
分类：
其他好文 时间：
2019-06-11 20:56:09
阅读次数：
174
大数据学习第五天 ulimit 查看进程最大文件描述符创建数 -a all详细信息 nginx_config 文件记录 #user nobody ngx_work进程属主 worker_processes 单核进程数 worker_connections 最大连接数 nginx单连接双文件描述符 一 ...
分类：
其他好文 时间：
2019-06-11 20:49:08
阅读次数：
157
大数据学习第四天 pstree 查看当前进程结构 source 加载文件 在当前bash . 在当前bash运行脚本 bash 相当于浏览器加cmd chomd +x 把文件变为可执行文件 #! /路径 在文件首行指定运行编译/解释器 不写时默认bash #! 注释的行会在第一次读取时直接运行 yu ...
分类：
其他好文 时间：
2019-06-09 18:19:42
阅读次数：
104
案例一：统计网站访问量（实时统计） 实时流式计算框架：storm 1)spout 数据源，接入数据源 本地文件如下 编写spout程序： 2)splitbolt 业务逻辑处理 切分数据 拿到网址 3)bolt 累加次数求和 4)Driver 使用字段分组 运行结果如下： 总共190条数据。统计完成之 ...
分类：
Web程序 时间：
2019-06-07 12:34:28
阅读次数：
117
大数据学习第三天 tar 解压gz安装包 -zxvf yum install 软件名 下载软件 rpm 安装rpm文件 -qa 查看所有已安装rpm文件 yum 网络安装 clean all 清除所有缓存文件 makecache 重建依赖关系文件 /etc/yum.repos.d/ 目录中的依赖文件 ...
分类：
其他好文 时间：
2019-06-05 22:14:56
阅读次数：
113
一：Storm概述 网址：http://storm.apache.org/ ApacheStorm是一个免费的开源分布式实时计算系统。Storm可以轻松可靠地处理无限数据流，实现Hadoop对批处理所做的实时处理。Storm非常简单，可以与任何编程语言一起使用，并且使用起来很有趣！ Storm有许多 ...
分类：
其他好文 时间：
2019-06-05 19:40:42
阅读次数：
124
一：Kafka概述 离线部分： Hadoop->离线计算(hdfs / mapreduce) yarn zookeeper->分布式协调（动物管理员） hive->数据仓库（离线计算 / sql）easy coding flume->数据采集 sqoop->数据迁移mysql->hdfs/hive ...
分类：
其他好文 时间：
2019-06-04 09:20:50
阅读次数：
124
