爬取北京市信件内容: 下载webmagic-0.7-libs.tar.gz压缩包,解压缩。没有压缩包可以加QQ:893225523 通过Filezilla上传到/home/hadoop/下载 sudo tar -zxf ~/下载/webmagic-0.7.3-all.tar.gz -C /data/ ...
分类:
其他好文 时间:
2020-02-14 19:03:24
阅读次数:
108
在Windows系统和Linux系统之间互传文件 本教程大量实验都是在Linux虚拟机上完成,因此,需要掌握如何把Windows系统中 的文件上传到Linux系统,以及如何把Linux系统中的文件下载到Windows系统中。 首先,到本教程官网的“下载专区”中的“软件”目录中,下载FTP软件File ...
分类:
其他好文 时间:
2020-02-06 12:32:32
阅读次数:
146
安装mavenubuntu中没有自带安装maven,需要手动安装maven。 在终端执行如下命令创建一个文件夹sparkapp2作为应用程序根目录 在 ./sparkapp2/src/main/java 下建立一个名为 SimpleApp.java 的文件(vim ./sparkapp2/src/m ...
分类:
其他好文 时间:
2020-02-04 14:09:48
阅读次数:
64
安装sbtsbt是一款Spark用来对scala编写程序进行打包的工具,下载地址https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.11/sbt-launch.jar 下载后,执行如下命令拷贝至 ...
分类:
其他好文 时间:
2020-02-03 13:34:38
阅读次数:
100
使用 Spark Shell 编写代码 启动Spark Shell: 加载txt文件: 简单的RDD操作: //获取RDD文件textFile的第一行内容textFile.first() //获取RDD文件textFile所有项的计数textFile.count() //抽取含有“Spark”的行, ...
分类:
其他好文 时间:
2020-02-02 13:35:21
阅读次数:
101
数据结构之数组 大 O 表示法 用大 0 表示法表示运行时间 至于 二分查找等的代码,在 Java学习日记数组篇可见。 小结 有序数组可以用二分查找 线性查找需要的时间 与 数组中数据项的个数成正比 二分查找需要的时间与 数组中数据项的个数的对数成正比 O(1) 意味着一个操作执行了 常量 的时间 ...
分类:
其他好文 时间:
2020-01-29 19:35:16
阅读次数:
66
今天出去玩了,好不快活,只好在晚上默默补习Java。今天学习了final关键字,抽象类以及接口的概念,还是很有意思的。现在这些东西只是知道是个什么东西,我需要一个项目去强化它们。 final关键字 在我初次尝试Java的时候,我想定义一个常量,自然而然地使用了"const",也自然而然地报错了,然后 ...
分类:
编程语言 时间:
2020-01-17 22:59:18
阅读次数:
90
我的jAVA算法学习日记 · 贪心算法 · leetcode 455 #题目 假设你是一位很棒的家长,想要给你的孩子们一些小饼干。但是,每个孩子最多只能给一块饼干。对每个孩子 i ,都有一个胃口值 gi ,这是能让孩子们满足胃口的饼干的最小尺寸;并且每块饼干 j ,都有一个尺寸 sj 。如果 sj ...
分类:
编程语言 时间:
2020-01-14 16:09:37
阅读次数:
91
1、ES7版本变化 废弃了type,没有类型的概念; 废弃TransportClient,只能使用restclient。 2、Maven依赖 连接客户端主要有Rest Low Level Client和Rest High Level Client两种可以使用,两者的主要区别在于: Rest Low ...
分类:
编程语言 时间:
2019-12-16 22:19:42
阅读次数:
286
前言 Vue.js是一个提供MVVM数据双向绑定的库,其核心思想无非就是: 数据驱动 组件系统 数据驱动 Vue.js 的核心是一个响应的数据绑定系统,它让数据与DOM保持同步非常简单。在使用 jQuery 手工操作 DOM时,我们的代码常常是命令式的、重复的与易错的。Vue.js 拥抱数据驱动的视 ...
分类:
其他好文 时间:
2019-12-14 14:13:14
阅读次数:
113