这个软件，既可以对文件夹杀毒，也可以对某个指定的文件进行杀毒。可以根据不同文件的特点，为不同的文件提供不同的杀毒方式。图片文件和文本文件的杀毒方式是有差异的。 文件夹中包含文件和文件夹，在文件夹中可以包含文件也可以包含文件夹。我们将文件夹成为容器， 不同类型的各种文件是容器的成员，也成为叶子，一个文 ...
分类：
其他好文 时间：
2017-06-08 00:13:40
阅读次数：
217
SparkMLlib回归算法之决策树 （一），决策树概念 1，决策树算法（ID3，C4.5 ，CART）之间的比较： 1，ID3算法在选择根节点和各内部节点中的分支属性时，采用信息增益作为评价标准。信息增益的缺点是倾向于选择取值较多的属性，在有些情况下这类属性可能不会提供太多有价值的信息。 2 ID ...
分类：
编程语言 时间：
2017-05-24 17:07:43
阅读次数：
344
namespace 文本操作_查看文件和文件夹的信息{ class Program { static void Main(string[] args) { //1.创建文件对象 并指定文件的相对路径 //FileInfo fileInfo = new FileInfo("TextFile1.txt" ...
分类：
其他好文 时间：
2017-05-14 23:45:23
阅读次数：
271
一、stage 的处理过程 1、从下图可以看出stage是通过递归的形式，从开始依次提交每个stage，直到ResultStage。 2、生成task的主要代码 3、提交到taskScheduler 4、 二、每个stage生成的task的个数 从以上的几幅图不难发现task的数量其实只与rdd的p ...
分类：
其他好文 时间：
2017-05-10 14:41:45
阅读次数：
169
本节内容 1.概览 1.1 Spark SQL 1.2 DatSets和DataFrame2.动手干活 2.1 契入点：SparkSession 2.2 创建DataFrames 2.3 非强类型结果集操作 2.4 程序化执行SQL查询 2.5 全局临时视图 2.6 创建DataSets 2.7 与 ...
分类：
数据库 时间：
2017-05-07 23:11:50
阅读次数：
527
python代码： 执行SparkStreaming： spark/bin/spark-submit --jars spark-streaming-kafka-0-8-assembly_2.11-2.1.0.jar ReadFromKafkaStreaming.py 其中spark-streamin ...
分类：
编程语言 时间：
2017-05-01 20:54:28
阅读次数：
326
Hive库数据导入导出 1、新建表data hive (ebank)> create table data(id int,name string) > ROW FORMAT DELIMITED > FIELDS TERMINATED BY'\t' > stored as textfile; OK T ...
分类：
其他好文 时间：
2017-04-08 14:03:10
阅读次数：
181
一、常用Actoin算子 (reduce 、collect 、count 、take 、saveAsTextFile 、 countByKey 、foreach ) collect：从集群中将所有的计算结果获取到本地内存，然后展示 take：从集群中将一部分的计算结果获取到本地内存，然后展示 rdd ...
分类：
其他好文 时间：
2017-03-23 14:40:27
阅读次数：
163
初识spark，需要对其API有熟悉的了解才能方便开发上层应用。本文用图形的方式直观表达相关API的工作特点，并提供了解新的API接口使用的方法。例子代码全部使用python实现。 1. 数据源准备 准备输入文件： 启动pyspark： 使用textFile创建RDD: 查看RDD分区与数据： 2. ...
