万万没想到,促使我填坑的居然是学习HBase,之前听分享的时候知道它是一个kv型的数据库就没有多了解,现在才开始学习。 hbase和bigtable很像,入门看起来也不太难#flag #下面是对于我看的一个介绍的翻译and理解: hbase的结构组件 物理上,hbase是一个三种服务构成的主从式的结 ...
分类:
其他好文 时间:
2018-07-20 23:03:24
阅读次数:
221
数据库种类: 关系型数据库: mysql 专注于数据安全 和功能 ,存取时 会有表的结构化操作解析sql语句 丢给磁盘存取 取出,结构化成表 常用关系型数据库产品介绍oracle数据库Oracle前身叫SDL、由Larry Ellison和两个变成任意在1977创办,他们开发了主机的拳头产品,在市场 ...
分类:
数据库 时间:
2018-07-20 22:30:25
阅读次数:
201
写的第一个爬虫,基本思路: 定义 pageMax 方法 获取整体数据信息,最大页数 定义 request的方法获取单页数据 定义parse方法分析单页数据,提取items,存储在生成器yield中 定义search方法循环获取数据,保存在本地 另外,通过history文件记录抓取历史 saveImg ...
分类:
其他好文 时间:
2018-07-20 11:28:33
阅读次数:
125
转自:https://my.oschina.net/freegeek/blog/324410 1、redis持久化,来自官方说明 如何选择使用哪种持久化方式? 一般来说, 如果想达到足以媲美 PostgreSQL 的数据安全性, 你应该同时使用两种持久化功能。 如果你非常关心你的数据, 但仍然可以承 ...
分类:
其他好文 时间:
2018-07-20 11:19:13
阅读次数:
176
知识点:之前讲的udp协议传输数据安全性地,不可靠不稳定,tcp协议传输数据安全可靠,因为它们的通讯机制是不一样的。udp是用户数据报文传输,也就是直接丢一个数据包给另外一个程序,就好比寄信给别人,信丢了你也不知道,tcp传输需要先和服务端建立连接,当客户端与服务器连接时,服务器会给出应答,我俩连上 ...
分类:
其他好文 时间:
2018-07-20 01:17:54
阅读次数:
147
一 遍历单个域名 网页爬虫,就是对目标网页进行捉取,然后遍历到数据信息,然后有链接的继续遍历,如此回调。 第一步:将页面的所有链接获取 运行效果图 发现会存在些没用用的数据,有些href的值只是作为页面块的跳转,我们可以使用正则表达式进行优化过滤掉,只获取带有HTML结尾的链接 第二步:递归获取网页 ...
分类:
编程语言 时间:
2018-07-19 13:46:45
阅读次数:
161
XML文件系统 一、TinyXml Object Model简介: 1.TiXmlBase: 所有tinyxml中的对象的公共基类,实现了一些公共的操作,比如字符编码转换等,另外还定义了一些公共的数据结构,比如错误类型等。 2.TiXmlNode: 是DOM树中结点元素的基类型,它定义了DOM树结点 ...
分类:
其他好文 时间:
2018-07-18 19:14:41
阅读次数:
260
数组 一、一维数组 1、数组的定义方式 数据类型[] 数组名 = new 数据类型[元素个数或数组长度]; 拆分: 2、一维数组内存图解: 3、定义数组和访问数组中的元素: 4、各种数据类型的数组默认初始化值: 5、元素赋值方式: 6、数组的静态初始化方式: 1)、类型[] 数组名 = new 类型 ...
分类:
编程语言 时间:
2018-07-18 19:09:51
阅读次数:
176
粉友们,下班了没? 世界杯已然告一段落,如果你还在为输球导致下个月吃土而愤愤不平的话,那么现实是:2018的大半年已经过去了,请问你要上交老板的年中数据分析报表做好了吗?如果你还在为这年中复杂庞大的数据信息整合制作而感到焦灼不安的话,那么这个消息,也许可以让你忘记它们... 粉友们是不是想问,这么浩 ...
分类:
其他好文 时间:
2018-07-18 14:05:27
阅读次数:
164
一、定义 浅拷贝:创建一个新对象,它包含的是对原始对象中所包含想的引用。(若引用的方式修改其中一个对象,另外一个也会跟着改变) 深拷贝:创建一个新对象,并递归的赋值它所包含的对象。(修改其中一个,另外一个是不会跟着变化的) 二、应用 浅拷贝:1.完全切片方法 2.工厂函数,如 list() 3. c ...
分类:
编程语言 时间:
2018-07-18 13:56:49
阅读次数:
110