一、相关知识回顾 分布式文件存储 信息源： 购买信息元（对海量数据清洗） 自营提供（限于大公司） 爬虫、抓包 信息格式：文件、文本、sql、json 分布式计算 离线批处理 MapReduce spark 实时数据流 storm spark Sqoop数据迁移：hdfs mysql flume数据上 ...
分类：
其他好文 时间：
2020-02-19 10:28:03
阅读次数：
94
本文知识点 隧道代理的使用流程 代码样例 进阶学习 前提条件: 隧道代理的订单，可以 免费试用 。联系他们的客服开通试用 使用流程 获取隧道信息 设置代理，进行验证 开始爬取 代理验证采用用户名密码的方式。这种验证很方便，简洁。 代码样例 先把代码贴出来，再一步一步按要求来。大家先copy过去，代码 ...
分类：
其他好文 时间：
2020-02-19 01:14:26
阅读次数：
279
1.1.1 map端连接-CompositeInputFormat连接类 （1）使用CompositeInputFormat连接类需要满足三个条件： 1）两个数据集都是大的数据集，不能用缓存文件的方式。 2）数据集都是按照相同的键进行排序； 3）数据集有相同的分区数，同一个键的所有记录在同一个分区中 ...
分类：
其他好文 时间：
2020-02-19 01:08:59
阅读次数：
59
还是先用Fiddler（设置过滤器、自动断点、捕获通信），截获以下内容： POST http://192.168.132.80/docs/docs/UploadDoc.jsp HTTP/1.1 Accept: text/html, application/xhtml+xml, */* Referer ...
分类：
其他好文 时间：
2020-02-18 20:25:29
阅读次数：
65
三类方程的导出 1. 弦振动方程和定解条件 物理模型 长为 l 的柔软的、均匀细弦，拉紧后 在垂直于弦线的外力作用下做微小横振动（弦的运动发生在同一平面内，且弦上各点的位移与平衡位置垂直），求在不同时刻弦线的形状。 弦振动方程 通过建立如上坐标系，我们得到在任意时刻$t$ ，弦线上各点的位移为$$u ...
分类：
其他好文 时间：
2020-02-18 18:32:54
阅读次数：
62
element ui使用 1. 创建项目 ：安装模块到项目目录下 ： g 的意思是将模块安装到全局，具体安装到磁盘哪个位置，要看 npm config prefix 的位置 ： save 的意思是将模块安装到项目目录下，并在 package 文件的 dependencies 节点写入依赖， S 为该 ...
分类：
其他好文 时间：
2020-02-18 12:44:04
阅读次数：
78
public ReturnModel GetStudent(string json) { ParamsModel model = JsonConvert.DeserializeObject<ParamsModel>(json); //连接对象 using (SqlConnection conn = ...
分类：
其他好文 时间：
2020-02-18 09:38:52
阅读次数：
58
被.pro文件中的相对路径给整糊涂了，仔细研究后，原来.pro文件中有两种相对路径。 一种情况下./表示.pro文件所在的目录 另一种情况下./表示构建生成目录 INCLUDEPATH SOURCE FORM HEADERS 这些变量中使用的./指的是.pro文件所在的目录 而DESTDIR OBJ ...
分类：
其他好文 时间：
2020-02-17 16:13:19
阅读次数：
109
1.1.1 map端连接- DistributedCache分布式缓存小数据集 当一个数据集非常小时，可以将小数据集发送到每个节点，节点缓存到内存中，这个数据集称为边数据。用map函数将小数据集中的数据按键聚合到大的数据集中，输出连接数据集，进行连接操作。 （1） 分布式缓存指定缓存文件 执行命令行 ...
分类：
系统相关 时间：
2020-02-17 01:12:34
阅读次数：
106
开发环境: Windows操作系统开发工具： MyEclipse/Eclipse+Jdk+mysql数据库运行效果图： 源码及原文链接：https://javadao.xyz/forum.php?mod=viewthread&tid=36 ...
分类：
编程语言 时间：
2020-02-17 01:00:29
阅读次数：
332
