# -*- coding: utf-8 -*- import random def bubble_sort(seq): n = len(seq) for i in range(n-1): print(seq) for j in range(n-1-i): if seq[j] > seq[j+1]: ... ...
分类：
编程语言 时间：
2019-07-10 23:10:54
阅读次数：
217
2.5 RDD 中的函数传递 在实际开发中我们往往需要自己定义一些对于 RDD 的操作，那么此时需要主要的 是，初始化工作是在 Driver 端进行的，而实际运行程序是在 Executor 端进行的，这就涉及 到了跨进程通信，是需要序列化的。下面我们看几个例子： 2.6 RDD 依赖关系 2.6.1 ...
分类：
其他好文 时间：
2019-07-07 09:25:51
阅读次数：
129
tensorflow变量定义和赋值没有python那么简单，需要在session中run才能拿到结果importtensorflowastfw=tf.Variable([[1.0,2.0]])print(w)#<tf.Variable‘Variable:0‘shape=(1,2)dtype=float32_ref>x=tf.Variable([[1.0],[0.5]])print(x)
分类：
其他好文 时间：
2019-07-01 00:51:10
阅读次数：
123
一、简介 hive运行的本质就是将hql语句，转换为一组操作符 operator。这里的 operator 代表 mapreduce操作和hdfs的操作，是hive执行hql语句的最小单位。 二、几个典型语句的分析 1、join 2、group by 3、order by shuffle 的排序，二 ...
分类：
其他好文 时间：
2019-06-30 18:45:07
阅读次数：
122
1.画出你们的大数据架构，然后针对架构提问，如何做到精准一次、小文件规避等2.为什么会产生小文件3.为什么Hadoop不怕数据量大，却怕文件小4.你能告诉我路径占不占元数据内存，如果占，占多少5.小文件会产生什么样的问题，产生的问题会对你们的集群产生什么样的影响6.画出Yarn工程流程7.mr和sp ...
分类：
其他好文 时间：
2019-06-21 09:29:38
阅读次数：
185
1. 使用Random模块，需要导入 import random 2. 随机生成一个整数：random.randint(1,6)：会随机生成一个1-6中的任意一个数 3. 随机生成一个大写字母：random.uniform（1,10）：会随机生成1-10中的任意一个小数 4.random.simpl ...
分类：
其他好文 时间：
2019-06-13 23:30:08
阅读次数：
227
[TOC] Spatial signals Temporal signals Sequence Sequence embedding [b,seq_len,feature_len] 1个句子10个单词每个单词4个意思，[1,10,4] e.g. I like it. [b,100,1] [price ...
分类：
其他好文 时间：
2019-06-01 21:32:58
阅读次数：
238
一、hive在执行sql时会以mapreduce的方式对数据进行接入和处理，其主要包含以下几个阶段：1.hive首先根据sql语句中的表从hdfs文件中获取数据，对数据文件进行split操作，使其可以一行一行将所需数据读入内存；2.map函数将内存中的数据按照key值进行映射，形成一行一行的key-value值，比如用户表中的性别字段，内存中map处理后的记录如下：3.在实际应用中会有多台机器参与
分类：
数据库 时间：
2019-05-31 18:05:41
阅读次数：
210
1、传输jdk和Hadoop压缩包 2、解压jdk和hadoop压缩包 3、配置jdk环境和hadoop环境并生效 4、单机模式配置hadoop -env.sh：本地模式没有HDFS和Yarn，配置JDK后MapReduce能够运行java程序。 5、Hadoop伪分布式模式配置 一、5个配置文件 ...
分类：
其他好文 时间：
2019-05-26 17:51:23
阅读次数：
140
package cn.kgc.demo.ddz;import java.util.*;public class Paixing { public static void main(String[] args) { // hashMap集合来存储key，牌型。 HashMap<Integer ,Str ...
分类：
其他好文 时间：
2019-05-18 19:17:06
阅读次数：
127
