一、JDK1.8的安装 安装Oracle-java-installer 设置系统默认jdk 二、下载安装配置Hadoop3.0 source /etc/profile ...
分类：
其他好文 时间：
2018-01-03 22:41:02
阅读次数：
637
集群架构 Hadoop的安装其实就是HDFS和YARN集群的配置，从下面的架构图可以看出，HDFS的每一个DataNode都需要配置NameNode的位置。同理YARN中的每一个NodeManager都需要配置ResourceManager的位置。 NameNode和ResourceManager的 ...
分类：
其他好文 时间：
2017-12-16 11:02:11
阅读次数：
218
了解神经网络原理的同学们应该都知道，隐藏层越多，最终预测结果的准确度越高，但是计算量也越大，在上一篇的基础上，我们手动添加一个隐藏层，代码如下（主要参考自多层感知机 — 从0开始）： 有变化的地方，都加了注释，主要改动点有5个： 1. 手动添加了1个隐藏层，该层有256个节点 2. 多了一层，所以参 ...
分类：
其他好文 时间：
2017-12-14 04:12:53
阅读次数：
255
from __future__ import print_function import mxnet as mx from mxnet import nd, autograd from mxnet import gluon import numpy as np mx.random.seed(1) c... ...
分类：
其他好文 时间：
2017-12-01 11:33:57
阅读次数：
214
简要介绍了SparkSQL与Hive on Spark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。架构Spark的架构如下图所示，主要包含四大组件：Driver、Master、Worker和Execut... ...
分类：
数据库 时间：
2017-11-26 18:40:39
阅读次数：
260
写了一个简单的示例来说明ListView的用法：给定一个单词，下面有四个含义，找出正确的一个，无论是否成功，则会跳转到下一个单词；主要用到的知识有： findViewById()、 ListView、 AdapterView、 匿名内部类、 ArrayList的一些用法：下面主要看代码，代码里面注释 ...
分类：
移动开发 时间：
2017-11-16 20:52:05
阅读次数：
192
python中常用的模块 time： 1）time.localtime([secs])：将一个时间戳转换为当前时区的struct_time。secs参数未提供，则以当前时间为准。 2）time.gmtime([secs])：和localtime()方法类似，gmtime()方法是将一个时间戳转换为U ...
分类：
编程语言 时间：
2017-11-02 14:21:30
阅读次数：
139
接上回，hadoop的配置文件都在下载的压缩包目录中的etc/hadoop/中 hadoop-env.sh有个地方配置java_home 其他常用的设置文件有： core-site.xml yarn-site.xml mapred-site.xml hdfs-site.xml 主机的hdfs-sit ...
分类：
其他好文 时间：
2017-10-24 00:11:24
阅读次数：
110
shuffle磁盘IO时间长 设置spark.local.dir为多个磁盘，并设置磁盘的IO速度快的磁盘，通过增加IO来优化shuffle性能 map|reduce数量大，造成shuffle小文件数目多 spark.shuffle.consolidateFiles为true，来合并shuffle中间 ...
分类：
其他好文 时间：
2017-10-06 10:38:25
阅读次数：
216
