中安威士云数据库安全审计系统是中安威士（北京）科技有限公司自主研发的一款针对云数据库的安全管理工具。为用户提供在云环境下对数据库的安全审计，以实现对云数据库所面临的风险进行评估，对云数据库的操作内容进行全面审计等。产品由相互关联，且保护能力依次递增的系列功能模块构成。核心功能模块包括：敏感数据发现、 ...
分类：
数据库 时间：
2019-04-23 17:46:22
阅读次数：
167
J 为了满足日益增长的业务变化，京东的京麦团队在京东大数据平台的基础上，采用了hadoop等热门的开源大数据计算引擎，打造了一款为京东运营和产品提供决策性的数据类产品-北斗平台。 一、Hadoop的应用业务分析 大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及 ...
分类：
其他好文 时间：
2019-04-23 15:43:25
阅读次数：
177
一、使用MapReduce的方式进行词频统计 （1）在hadoop根目录下创建input输入文件夹，这和在HDFS用户目录下创建input文件夹是两件不同的事情。 （2）在input文件夹中创建两个测试文件file1.txt和file2.txt。 知识点延伸: （3）调用MapReduce程序对in ...
分类：
其他好文 时间：
2019-04-07 00:20:34
阅读次数：
261
[hadoop@hadoop001 hive-1.1.0-cdh5.7.0]$ hivewhich: no hbase in (/home/hadoop/app/hive-1.1.0-cdh5.7.0/bin:/home/hadoop/app/hadoop-2.8.1/bin:/usr/java/j ...
分类：
编程语言 时间：
2019-04-04 09:43:55
阅读次数：
700
什么是函数式编程 与面向对象编程（Object oriented programming）和过程式编程（Procedural programming）并列的编程范式。 最主要的特征是，函数是第一等公民。 强调将计算过程分解成可复用的函数，典型例子就是map方法和reduce方法组合而成 MapRed ...
分类：
Web程序 时间：
2019-04-02 17:00:08
阅读次数：
192
第1章 HDFS概述 1.1 HDFS产出背景及定义 1.2 HDFS优缺点 1.3 HDFS组成架构 1.4 HDFS文件块大小（面试重点） 第2章 HDFS的Shell操作（开发重点） 1．基本语法 bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实... ...
分类：
其他好文 时间：
2019-04-02 09:20:50
阅读次数：
267
1． Hadoop安装包目录结构 bin：Hadoop最基本的管理脚本和使用脚本的目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop。 etc：Hadoop配置文件所在的目录，包括core-site,xml、hdfs-site.xml、mapred-si ...
分类：
其他好文 时间：
2019-03-30 14:59:29
阅读次数：
183
一、Yarn集群概述及搭建 1.Mapreduce程序运行在多台机器的集群上，而且在运行是要使用很多maptask和reducertask，这个过程中需要一个自动化任务调度平台来调度任务，分配资源，这个平台就是Yarn！ 2.Yarn提交任务的流程： 当我们向Yarn集群提交任务后，Yarn通过Re ...
分类：
其他好文 时间：
2019-03-24 09:20:14
阅读次数：
127
mapred-site.xml <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> yarn-site.xml <property> <name>yarn.nodemanager.aux-s ...
分类：
其他好文 时间：
2019-03-21 00:50:19
阅读次数：
154
Error:(37, 47) java: 无法访问org.apache.hadoop.mapred.JobConf 找不到org.apache.hadoop.mapred.JobConf的类文件 出现此异常，就是缺少相关的依赖包，你检查一下以下四个依赖包是否齐全： hadoop-mapreduce- ...
分类：
编程语言 时间：
2019-03-19 12:02:20
阅读次数：
565
