HDFS解决大数据存储的问题 HDFS优点 高容错性 数据自动保存多个副本 副本丢失后自动恢复 适合批处理 移动计算而非数据 数据位置暴露给计算框架 适合大数据处理 GB、TB、甚至PB级数据 百万规模以上的文件数据量 10K+结点 可构建在廉价机器上（为啥-->因为有高容错性，即使机器挂了数据也不 ...
分类：
其他好文 时间：
2017-09-06 23:51:28
阅读次数：
160
#coding:utf-8 import urllib legal_person_string = "%E6%B3%95%E5%AE%9A%E4%BB%A3%E8%A1%A8%E4%BA%BA" legal_person_string = legal_person_string.decode("gb... ...
分类：
Web程序 时间：
2017-09-06 14:25:23
阅读次数：
154
GBK编码，一个汉字占两个字节。汉字在GB家族中是双字节 UTF-16编码，通常汉字占两个字节，CJKV扩展B区、扩展C区、扩展D区中的汉字占四个字节（一般字符的Unicode范围是U+0000至U+FFFF，而这些扩展部分的范围大于U+20000，因而要用两个UTF-16）。 UTF-8编码是变长 ...
分类：
其他好文 时间：
2017-09-05 18:59:27
阅读次数：
118
用 python 处理一个文本文件时，如果想要删除其中的某一行，常规的思路是先把文件读入内存，在内存中修改后再写入源文件。 这对于小文件来说当然没问题，但是如果要处理一个很大的文本，比如GB级别的文本时，这种方法不仅需要占用很大内存，而且一次性读入内存时耗费时间，还有可能导致内存溢出。 所以，需要用 ...
分类：
其他好文 时间：
2017-09-03 18:45:42
阅读次数：
185
一、查看SSD云盘 sudo fdisk -l Disk /dev/vda: 42.9 GB, 42949672960 bytes, 83886080 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physic ...
分类：
系统相关 时间：
2017-08-26 15:56:58
阅读次数：
244
系统环境： 型号名称： MacBook Pro型号标识符： MacBookPro11,4处理器名称： Intel Core i7处理器速度： 2.8 GHz处理器数目： 1核总数： 4L2 缓存（每个核）： 256 KBL3 缓存： 6 MB内存： 16 GB 软件版本： IntelliJ IDEA ...
分类：
其他好文 时间：
2017-08-21 19:38:55
阅读次数：
946
GB2312 收录简化汉字及符号、字母、日文假名等共7445个图形字符，其中汉字占6763个 每个符号都用两个字节表示，每个字节均采用七位编码表示，习惯上 第一个字节是高字节，第二个字节是低字节 GB2312的编码范围为2121H-777EH，与ASCII有重叠，通行方法是将GB码两个字节的最高位置 ...
分类：
其他好文 时间：
2017-08-19 12:59:21
阅读次数：
570
用 python 处理一个文本时，想要删除其中中某一行，常规的思路是先把文件读入内存，在内存中修改后再写入源文件。 但如果要处理一个很大的文本，比如GB级别的文本时，这种方法不仅需要占用很大内存，而且一次性读入内存时耗费时间，还有可能导致内存溢出。 所以，需要用另外一个思路去处理。 我们可以使用 o ...
分类：
编程语言 时间：
2017-08-18 17:04:14
阅读次数：
175
1.pycharm使用 快速搜索栏，蛮重要的 2.字符串格式化 %s 字符串类型 %d数值类型 3.编码和二进制 1位 bit1字节 byte 1字节=8位 1千字节 kb 1024字节=1kb1兆 MB 1024kb = 1兆1G GB 1024MB = 1GBascii 码 ：用8位表示一个字符 ...
分类：
编程语言 时间：
2017-08-17 18:31:24
阅读次数：
154
