DRF请求响应组件 1.请求模块 1、drf的request是在wsgi的request基础上再次封装 2、wsgi的request作为drf的request一个属性：_request 3、新的request对旧的request做了完全兼容 4、新的request对数据解析更规范化：所有的拼接参数都 ...
分类：
其他好文 时间：
2019-11-20 19:13:51
阅读次数：
75
Hive的文件存储格式： textFile textFile为默认格式 存储方式：行存储 缺点：磁盘开销大；数据解析开销大；压缩的text文件，hive无法进行合并和拆分 sequencefile 二进制文件，以<key,value>的形式序列化到文件中 存储方式：行存储 优点：可分割、压缩，一般选 ...
分类：
其他好文 时间：
2019-11-20 15:23:52
阅读次数：
51
*解析网页数据的仓库 用Beatifulsoup基于lxml包lxml包基于html和xml的标记语言的解析包。可以去解析网页的内容，把我们想要的提取出来。 第一步、导入两个包，项目中必须包含beautifulsoup4和lxml 第二步、先去获取网页的数据 def get_html(): url= ...
分类：
编程语言 时间：
2019-11-11 12:32:15
阅读次数：
123
zookeeper做为配置中心如何设置，如何存储数据解析
分类：
其他好文 时间：
2019-11-10 21:20:22
阅读次数：
114
package com.ygkj.test; import java.io.*; import java.net.*; public class Test20171226 { private static final int PORT=9000; private static final Strin... ...
分类：
其他好文 时间：
2019-11-10 17:35:13
阅读次数：
75
https://my.oschina.net/u/3419586/blog/2964047 背景：在用Feign Client 接口调用，由于jackson对null等特殊值处理存在异常，故改用fastjson解析数据 操作步骤：1.增加文件FeignConfig，注入Bean，修改默认Feign默 ...
分类：
Web程序 时间：
2019-10-30 11:48:36
阅读次数：
464
Scrapy框架的使用,五大核心组件,实现分布式,增量式爬虫,反爬机制 ...
分类：
其他好文 时间：
2019-10-27 18:32:27
阅读次数：
65
js 是解释型语言逐行逐行输出，优点：跨平台，缺点：速度稍慢。 js 是弱类型语言 首先弄清楚强类型语言是什么意思，强类型语言变量声明有很多种而JS 变量声明只有var一种。为变量赋值时会自动判断类型并进行转换。 js 里创建 变量的语法 var a = 1; //意思是开辟了一个空间来存取 1这个 ...
分类：
其他好文 时间：
2019-10-26 18:52:04
阅读次数：
100
为了更好地进行上位机开发，特意开发了一款上位机配置管理一体化软件，该软件集成配置、通信及上层接口为一体，统一进行多线程通信及数据解析，可以快速进行上位机开发，已实际运用在多个项目，并稳定运行超过1年时间。 功能如下： 【1】上位机配置 【2】上位机通信 【3】上层接口 软件截图： ...
分类：
其他好文 时间：
2019-10-22 18:39:36
阅读次数：
262
目录 1. 概念讲解 2. 多任务异步协程理解 3.基于aiohttp模块异步网络请求实现数据爬取及数据解析 一、需要了解的概念 特殊函数：如果async修饰了一个函数的定义，那么该函数就变成了一个特殊函数， 特殊之处：特殊函数被调用后函数内部实现语句不会被立即执行 该函数调用之后会返回一个协程对象 ...
分类：
编程语言 时间：
2019-10-22 13:07:45
阅读次数：
124
