我这里是MapReduce导出的数据，MapReduce导出的数据中，Key和Value之间用制表符分隔的，可以直接作为表格型数据进行操作，复制一下导出的数据 1. 首先在Matlab工作区创建一个元胞型的变量 2. 然后复制导出的数据 3. 在变量区选择，粘贴Excel数据，就创建好了 如图所示 ...
分类：
其他好文 时间：
2020-06-26 22:08:29
阅读次数：
80
1、简单的抓取网页 from urllib import requestreq=request.Request("http://www.baidu.com")response=request.urlopen(req)html=response.read()html=html.decode("utf- ...
分类：
编程语言 时间：
2020-06-26 21:59:22
阅读次数：
62
一、流处理 1.1 静态数据处理 在流处理之前，数据通常存储在数据库，文件系统或其他形式的存储系统中。应用程序根据需要查询数据或计算数据。这就是传统的静态数据处理架构。Hadoop 采用 HDFS 进行数据存储，采用 MapReduce 进行数据查询或分析，这就是典型的静态数据处理架构。 1.2 流 ...
分类：
其他好文 时间：
2020-06-26 20:02:43
阅读次数：
49
1、hive的企业级调优 1.1 Fetch抓取（鸡肋） Fetch抓取是指，==Hive中对某些情况的查询可以不必使用MapReduce计算== 例如：select * from employee; 在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制 ...
分类：
其他好文 时间：
2020-06-26 18:44:35
阅读次数：
56
一、HTML、CSS、JS 二、jQuery、vue.js、bootstrap 三、web框架学习（flask、django） 四、web前端实战项目案例（京东PC端首页以及移动端首页） web基础、http协议、python自定义web服务器 ajax==json、ajax基础、ajax的开发实例 ...
分类：
其他好文 时间：
2020-06-26 18:26:54
阅读次数：
50
在上一篇文章《锁的类型以及加锁原理》主要总结了 MySQL 锁的类型和模式以及基本的加锁原理，今天我们就从原理走向实战，分析常见 SQL 语句的加锁场景。了解了这几种场景，相信小伙伴们也能举一反三，灵活地分析真实开发过程中遇到的加锁问题。 如下图所示，数据库的隔离等级，SQL 语句和当前数据库数据会 ...
分类：
数据库 时间：
2020-06-26 18:21:05
阅读次数：
58
主要思路如下： 用户登录login获取token 拿着token请求用户信息，同时后端返回一个路由表 前端解析后动态添加路由表，同时存储到本地localstorage 刷新页面或者退出登录或者登录过期等时，会进行相应的判断，重新渲染路由 1、在src/router文件夹下新建_import.js，用 ...
分类：
其他好文 时间：
2020-06-26 16:43:49
阅读次数：
177
项目在多环境迭代开发过程中，数据库的表结构不断变更，在部署时，往往会出现数据库表结构未及时变更导致出现问题，耗费在表结构上的时间相当多，上线过程持续痛苦，代码有 GIT/SVN 来控制，数据库中的表版本也可以做到版本控制，本文讲解通过 flyway 的方式来管理数据库版本变动。 本文首发个人技术博客 ...
分类：
其他好文 时间：
2020-06-26 16:42:57
阅读次数：
138
# 1、爬取58二手房信息import requests from lxml import etree #需求：爬取58二手房中的房源信息 if __name__ == '__main__': #爬取到页面源码数据 url ="https://bj.58.com/ershoufang/" # 进行U ...
分类：
其他好文 时间：
2020-06-26 14:37:33
阅读次数：
72
记录最后一次对中型2C企业级项目的容器化改造 hello, 好久不见，之前文章记录了一个实战的2C分布式项目的改造过程，结果如下： 其中Redis并未完成容器化改造（目前是主机单点），本文记录将Redis升级到容器化Redis-Sentinel集群。 升级思路： 《Docker-compose搭建R ...
分类：
其他好文 时间：
2020-06-25 21:33:13
阅读次数：
42
