文件类: java.io.File 基本方法; geName: 获取文件名称 getPath: 获取文件路径 length: 获取文件大小 isDirectory: 判断这个东西是不是一个目录 isFile: 判断这个东西是不是一个文件 listFiles: 获取当前这个路径下面所有的文件和文件夹 ...
分类：
编程语言 时间：
2017-05-31 20:14:26
阅读次数：
288
流处理 1.1简介 流处理是针对流式数据的实时计算。它具有实时持续、来源众多、不关注存储等特点。典型的应用场景有互联网业务的日志数据处理、金融领域的银行股票数据处理等。 1.2 处理流程 传统数据处理流程是用户发起查询请求，请求被翻译成数据库查询语句，最终通过数据户将查询结果返回给用户。此时用户是主 ...
分类：
其他好文 时间：
2017-05-31 11:54:50
阅读次数：
344
1.Mysql中可用存储过程和函数来实现复杂逻辑处理，两者的对比如下：存储过程作为可执行文件，编译一次放在数据库中，函数又返回值。可设定使用权限。 存储过程中可使用游标，声明变量。用call调用。 2.Hive可用udf（user defined function）来实现复杂逻辑处理 编辑Pytho... ...
分类：
数据库 时间：
2017-05-24 17:05:54
阅读次数：
209
加一个源点和汇点，把每头牛拆成两个点，不拆点的话可能会出现多对食物与饮料被一个牛享用的情况，拆点后流量为1，不能同时通过了 然后用最大流处理，每个链接边都是1 #include<map> #include<set> #include<cmath> #include<queue> #include<s ...
分类：
其他好文 时间：
2017-05-22 16:55:18
阅读次数：
178
一、安装 二、简介 Scrapy主要包括了以下组件： 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler)用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决 ...
分类：
其他好文 时间：
2017-05-22 00:12:14
阅读次数：
241
IO流 1.流的分类： 依照数据流向的不同：输入流 输出流 依照处理数据的单位的不同：字节流(处理二进制文件) 字符流（处理的文本文件） 依照角色的不同：节点流（直接作用于文件的） 处理流(作用于节点流或处理流) 2.IO的体系 抽象基类 >>节点流（文件流） >> 缓冲流（处理流的一种） Inpu ...
分类：
其他好文 时间：
2017-05-14 21:56:39
阅读次数：
227
1. 什么是流 Java中的流是对字节序列的抽象，我们可以想象有一个水管，只不过现在流动在水管中的不再是水，而是字节序列。和水流一样，Java中的流也具有一个“流动的方向”，通常可以从中读入一个字节序列的对象被称为输入流；能够向其写入一个字节序列的对象被称为输出流。 2. 字节流 Java中的字节流 ...
分类：
编程语言 时间：
2017-05-10 18:50:45
阅读次数：
192
本节内容 1.流式处理系统背景 1.1 技术背景 1.2 Spark技术很火 2.流式处理技术介绍 2.1流式处理技术概念 2.2流式处理应用场景 2.3流式处理系统分类 3.流式处理技术关键技术 3.1流式处理系统管道构建 3.2流式处理系统关键技术 3.3用户行为分析系统介绍 4.问题答疑 5. ...
分类：
其他好文 时间：
2017-05-07 21:59:48
阅读次数：
334
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。抓取网页的一般方法是，定义一个入口页面 ...
分类：
其他好文 时间：
2017-05-07 11:37:23
阅读次数：
191
一、Spark Streaming的介绍??Spark Streaming是Spark 核心API的扩展，可实现实时数据流的可扩展，高吞吐量，容错流处理。 数据可以从诸如Kafka，Flume，Kin...
分类：
其他好文 时间：
2017-05-05 01:05:21
阅读次数：
348
