1．spark-shell交互式编程 （1） 该系总共有多少学生 scala> val lines = sc.textFile("file:///usr/local/spark/sparklab/Data01.txt") lines: org.apache.spark.rdd.RDD[String] ...
分类：
其他好文 时间：
2020-02-07 22:19:06
阅读次数：
182
利用pc编写python爬取大学排名的数据，如图： import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: r = requests.get(url, timeout=30) r.rais ...
分类：
编程语言 时间：
2020-02-07 22:17:53
阅读次数：
89
想念Linux下compiz的热角，基于 "taviso/hotcorner" 改写了一个超级小的hotcorner应用，upx压缩后体积只有37k，占用也足够低： 运行后，鼠标点击屏幕左上角即可切换任务视图。Ctrl+Alt+C退出。要开机启动放到如下文件夹即可： 下载：https://files ...
分类：
微信 时间：
2020-02-07 22:17:26
阅读次数：
183
"G Xor MST" 题解 最小异或生成树 先把所有二进制数上Trie树，然后为了使得异或最小，根据异或的性质，trie树的左右子树都应该自己先连成一个连通块，然后在两个连通块内找到两个数使得异或值最小，这样就能进行连通了。 左右子树的话递归下去处理，在计算两个子树上异或值最小的时候用启发式合并， ...
分类：
其他好文 时间：
2020-02-07 22:16:54
阅读次数：
84
如果想了解JVM内存模型，首先我们要知道JVM是什么？JVM全称 Java Virtual Machine ，即Java虚拟机，是用于运行Java程序编译后的字节码文件。 JVM最常见的三种有： 1.Sun公司的 HotSpot，是目前使用最广泛的Java虚拟机。 2.BEA公司的 JRockit， ...
分类：
其他好文 时间：
2020-02-07 22:16:38
阅读次数：
68
一、数字型（int） Python可以处理任意大小的正负整数，但是实际中跟我们计算机的内存有关，在32位机器上，整数的位数为32位，取值范围为-2**31～2**31-1，在64位系统上，整数的位数为64位，取值范围为-2**63～2**63-1。对于int类型，需要掌握的方法不多，看下面的几个例子 ...
分类：
编程语言 时间：
2020-02-07 22:16:24
阅读次数：
80
四 资源控制器 一、什么是控制器 Kubernetes 中内建了很多 controller（控制器），这些相当于一个状态机，用来控制 Pod 的具体状态和行为 二、控制器类型 ① ReplicationController 和 ReplicaSet ② Deployment ③ DaemonSet ...
分类：
Web程序 时间：
2020-02-07 22:16:07
阅读次数：
110
初始化实例属性 虽然我们可以自由地给一个实例绑定各种属性，但是，现实世界中，一种类型的实例应该拥有相同名字的属性。例如，Person类应该在创建的时候就拥有 name、gender 和 birth 属性，怎么办？ 在定义 Person 类时，可以为Person类添加一个特殊的__init__()方法 ...
分类：
编程语言 时间：
2020-02-07 22:15:38
阅读次数：
96
生成器 定义： 生成器是在存在内存中的公式(专业点叫算法); 举例： list1=(i for i in range(5)) 和 list2=[ i for i in range(5)] 可以看出list1是generator object对象内存地址(函数或计算公式)；而list2在内存中是实实在 ...
分类：
其他好文 时间：
2020-02-07 22:15:21
阅读次数：
90
第一 学习一门新技术前，先要搞清楚为什么要学习它？没这个技术前我们是怎么干活的？有了它以后我们又是怎么干活的？它带来了哪些改变？其实问这些问题，就是为了了解该技术解决或者简化了那个问题域的问题，又是采用了什么方式达到了这样的效果。 第二 接下来就要实际使用一下该技术的核心的功能，强化对它的认识。方式 ...
分类：
其他好文 时间：
2020-02-07 22:15:04
阅读次数：
90
类间散布矩阵只能用均值求，类内均值和全局均值,： 我理解mi 应该是矩阵，每个元素是一个特征？否则怎么会有转置。 ...
分类：
其他好文 时间：
2020-02-07 22:14:10
阅读次数：
65
今天学习SparkSQL方面的知识 该模型允许你使用SQL或者DataFrame或DataSet进行关系型查询 Spark SQL划分为四个子项目: Catalyst (sql/catalyst) - 解析关系操作算子和表达式的语法树的实现框架 Execution (sql/core) - 代表pl ...
分类：
其他好文 时间：
2020-02-07 22:13:50
阅读次数：
85
从服务器里下载一个RPM,下载完成后安装可一直提示rpmReadSignature错误，导致无法安装。原来只要在get之前使用一个binary指令就可以解决。报错信息如下：[root@uga-hotel~]#rpm-ivhandroid-tools-20130123git98d0789-5.el7.x86_64.rpm错误：android-tools-20130123git98d0789-5.el
分类：
系统相关 时间：
2020-02-07 21:08:39
阅读次数：
165
先判断当前发送请求的页面的url是否属于本网站，如果是，正常返回图片，如果不是直接禁止 如何判断当前请求的页面url？在请求头里面有一个referer用来标识上一次是哪个网址过来的。 如何解决？ 利用爬虫直接将所有的资源下载到本地（爬虫慎用） 修改请求头参数 ...
分类：
其他好文 时间：
2020-02-07 21:08:26
阅读次数：
100
角色分配：环境部署所有虚拟机均已关闭防火墙以及selinux核心防护功能实操建工作目录存放二进制软件包[root@master~]#cd/[root@master/]#mkdirk8s安装ETCD数据库（三副本机制）master（下载ca证书创建、管理工具cfssl）[root@masterk8s]#curl-Lhttps://pkg.cfssl.org/R1.2/cfssl_linux-amd6
分类：
其他好文 时间：
2020-02-07 21:08:13
阅读次数：
95
自定义分页器，用于django在后端查询出来的数据，展示到前端页面，以分页的形式展示出来。 1、将封装好的代码，写入py文件中，例如： 2、导入后端，将查询的数据交给自定义分页器处理，然后再返回给前端 3、前端渲染 ...
分类：
其他好文 时间：
2020-02-07 21:07:41
阅读次数：
74
