为什么要写这篇博客？ 首先，对于spark项目，强烈建议搭建，用Intellij IDEA（Ultimate版本），如果你还有另所爱好尝试Scala IDEA for Eclipse，有时间自己去玩玩。但最好追随大流。 对于hadoop项目，强烈建议用eclipse。 其次，出于有博友给我留言的索求 ...
分类：
编程语言 时间：
2018-05-31 13:43:53
阅读次数：
273
小编收集了一些较为高效的Python爬虫框架。分享给大家。1.ScrapyScrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。项目地址：https://scrapy.org/2.PySpiderpyspider 是一个用python实现的功能强大的网络爬虫系统，能
分类：
编程语言 时间：
2018-05-31 13:44:08
阅读次数：
201
1、先上图 原图：test1.png mask图：test-mask.png 结果图：mask.png 2、代码部分 ...
分类：
编程语言 时间：
2018-05-31 13:45:19
阅读次数：
896
目前，我国沪深A股上市公司的数量为3524家[2018/05/31],如果能够从某个财经网站上批量获取这些公司的基本信息，将对研究工作起到一定帮助。进行这项工作之前，先让我们梳理一下我们的数据及其来源。 第一，我们需要哪些公司基本信息？ 根据巨潮资讯网提供的数据，公司基本信息包含公司全称、英文名称、 ...
分类：
编程语言 时间：
2018-05-31 13:45:58
阅读次数：
1369
不多说，直接上干货！ 见 http://www.runoob.com/python/python-tutorial.html ...
分类：
编程语言 时间：
2018-05-31 14:37:40
阅读次数：
183
雪花算法(snowflake)：用于生成分布式ID（纯数字，时间顺序）,订单编号等 自增ID：记录可以根据ID号进行推测出来，对于数据敏感场景不宜使用。 GUID：采用无意义字符串，数据量增大时造成访问过慢，且不宜排序。 雪花算法描述： + 最高位是符号位，始终为0，不可用。 + 41位的时间序列， ...
分类：
编程语言 时间：
2018-05-31 14:37:59
阅读次数：
2176
一、异常值检验 异常值大概包括缺失值、离群值、重复值,数据不一致。 1、基本函数 summary可以显示每个变量的缺失值数量. 2、缺失值检验 关于缺失值的检测应该包括：缺失值数量、缺失值比例、缺失值与完整值数据筛选。 [plain] view plain copy #缺失值解决方案 sum(com ...
分类：
编程语言 时间：
2018-05-31 14:39:30
阅读次数：
304
C_struct中的长度可变数组(Flexible array member) Flexible array member is a feature introduced in the C99 standard of the C programming language (in particular ...
分类：
编程语言 时间：
2018-05-31 14:40:08
阅读次数：
897
在unity解析json时，由于此次的数据嵌套层数比较多，不想用原生的json解析方法 https://docs.unity3d.com/Manual/PluginInspector.html 这是unity的官方放置路径的文档 在Assets中创建一个Plugins文件夹，如果是64位电脑则创建一 ...
分类：
编程语言 时间：
2018-05-31 14:40:16
阅读次数：
253
多线程实现的两种方式： 继承Thread类 实现Runnable接口 这两种方式都必须重写run()方法。 当多线程对同一个对象操作时，必须实现Runnable接口，而不能继承Thread类。因为继承Thread类实现多线程时，操作的是不同的对象。 1 Runnable r=new Runnable ...
分类：
编程语言 时间：
2018-05-31 14:40:25
阅读次数：
248
1.逗号运算符的结果是，最后那个式子的结果 2.逗号运算符是优先级最低的，比等号的运算符优先级还低 ...
分类：
编程语言 时间：
2018-05-31 14:42:38
阅读次数：
251
声明：以下内容参考了博客园LarryZeal的Spring Boot 官方文档学习（一）入门及使用 ，欲了解真货，请移步至彼。 SpringBoot 也算AI吧，它根据您架构中引用的依赖，自动化地按默认方案帮您完成了Spring那些复杂繁琐的配置工作。为了让您不会看低此 AI 水平，还特地喊出了“约 ...
分类：
编程语言 时间：
2018-05-31 14:44:17
阅读次数：
272
import os def rename_func(path): for file in os.listdir(path): fileNew = file.lower() print("Old:", file, "New", fileNew) if(fileNew != file): os.rena... ...
分类：
编程语言 时间：
2018-05-31 14:44:57
阅读次数：
143
之前项目中使用spring data jpa时，遇到删除记录的需求时，主要利用spring data中自带的delete()方法处理，最近在dao层使用delete sql语句时报错，代码如下： [java] view plain copy @Query(value = "delete parcel ...
分类：
编程语言 时间：
2018-05-31 14:46:06
阅读次数：
352
一、JAVA基础篇-概念 1.简述你所知道的Linux： Linux起源于1991年，1995年流行起来的免费操作系统，目前， Linux是主流的服务器操作系统， 广泛应用于互联网、云计算、智能手机（Android）等领域。由于Java主要用于服务器端的开发，因此Java应用的部署环境有很多为Lin ...
分类：
编程语言 时间：
2018-05-31 14:46:49
阅读次数：
227
问题背景：想把一个时间直接转成字符串格式 通过查api发现有个toLocaleString()，根据本地时间格式，把 Date 对象转换为字符串 但是默认是12小时制，会带这种上午下午，所以肯定不需要，继续查，发现可以配置 这样就转成我需要的格式啦。 JS的日期对象方法，可以看下：JavaScrip ...
分类：
编程语言 时间：
2018-05-31 14:47:19
阅读次数：
261
在原文件上进行部分内容的替换，主要用到seek（）函数和truncate（）函数实现，直接上代码： ...
分类：
编程语言 时间：
2018-05-31 14:48:48
阅读次数：
252
1.编程语言简单分类 高级语言最早的机器语言 汇编语言 高级语言：C语言,python,java,C++,C#,object-c 2.python是一门什么样的语言？编译型，解释型，静态语言，动态语言，强类型定义语言和弱类型定义语言。编译和解释的区别：使用的方法不同解释型：脚本运行 3.python ...
分类：
编程语言 时间：
2018-05-31 15:30:26
阅读次数：
244
规则 1 ：英文字母从 A 到 Z 排列，不区分大小写。如，输入： Type 输出： epTy规则 2 ：同一个英文字母的大小写同时存在时，按照输入顺序排列。如，输入： BabA 输出： aABb规则 3 ：非英文字母的其它字符保持原来的位置。如，输入： By?e 输出： Be?y思路：用一个lis... ...
分类：
编程语言 时间：
2018-05-31 15:30:42
阅读次数：
261
