小白版 在没看到大神文件处理操作的时候,我处理文件操作的代码风格都是如下 # 读取小文件 with open('file_path','rb') as f: content = f.read() # TODO 逻辑处理... # 读取大文件 with open('file_path','rb') a ...
分类：
其他好文 时间：
2020-07-23 16:35:39
阅读次数：
75
本篇主要讲述： 1 压缩的介绍 2 压缩的格式 3 tar命令的使用 4 zip命令的使用 1、压缩的介绍 1.1 归档的含义 将许多零散的文件整理为一个文件； 文件总的大小基本不变； 1.2压缩的含义 按某种算法减小文件所占用空间的大小； 恢复时按对应的逆向算法解压； 由于 1 Byte = 8 ...
分类：
其他好文 时间：
2020-07-19 17:44:51
阅读次数：
70
1.5 CombineTextInputFormat案例实操 1．需求 将输入的大量小文件合并成一个切片统一处理。 （1）输入数据 准备4个小文件 （2）期望 期望一个切片处理4个文件 2．实现过程 （1）不做任何处理，运行1.6节的WordCount案例程序，观察切片个数为4。 （2）在Wordc ...
分类：
其他好文 时间：
2020-07-17 09:33:01
阅读次数：
73
web容器 apache nginx lighttpd 比较 apache 高并发时消耗系统资源相对多一些 基于传统的select模型 扩展库，DSO方法 nginx 基于异步IO模型，（epoll，kqueue），性能强，能够支持上万并发 对小文件支持很好，性能很高（限静态小文件1M） 扩展库必须 ...
分类：
Web程序 时间：
2020-07-16 18:33:44
阅读次数：
148
文章目录前言vscode使用vscode的安装vscode 的插件配置PythonfilesizeBracket Pair ColorizerAnaconda Extension Packpip install pylintpip install yapf配置git前言vscode编辑器个人感觉非常 ...
分类：
编程语言 时间：
2020-07-13 18:36:50
阅读次数：
69
从源头上解决，在上传到HDFS之前，就将多个小文件归档 使用tar命令 带上参数-zcvf 示例： tar -zcvf xxx.tar.gz 小文件列表 如果小文件已经上传到HDFS了，可以使用在线归档 使用hadoop archive命令 示例： hadoop archive -archiveNa ...
分类：
其他好文 时间：
2020-07-11 17:00:14
阅读次数：
76
一、Cookie的作用 Cookie通常用来存储有关用户信息的一条数据，可以用来标识登录用户，Cookie存储在客户端的浏览器上。在大多数浏览器中，每个Cookie都存储为一个小文件。Cookie表示为键/值对的形式，可以利用键来读取、写入或删除Cookie。 在ASP.NET Core中也可以使用 ...
一、小文件概述 小文件通常指文件大小要比HDFS块大小还要小很多的文件（在hadoop1.x版本的时候可以通过dfs.blocksize来设置，默认块大小为64M；在hadoop2.x版本的时候，则需要通过dfs.block.size设置，且默认大小为128M） 如果存在大量小文件，则会对整个存储系 ...
分类：
其他好文 时间：
2020-06-30 22:57:46
阅读次数：
191
HDFS是什么：一种分布式文件管理系统 HDFS使用场景：适合一次写入，多次读出的场景，且不支持文件的修改 高容错性：当副本丢失时，自动增加副本 数据规模：GB，TB，PB 文件规模：百万 不适合快速访问 不适合大量的小文件：无法高效存储，会占用大量的namenode内存，寻址时间会大于读取时间 不 ...
分类：
其他好文 时间：
2020-06-24 19:30:01
阅读次数：
45
一、什么是cookie 是由服务器端生成，发送给客户端(一般指浏览器)，浏览器将cookie以键值对的形式保存到某个目录下的文本文件内。下次请求该网站时就把cookie发送回服务器。（cookie就是一个小文件，浏览器对其大小一般限制在4k,用来记录一些信息（一般用作标识）） 二、cookie的作用 ...
分类：
其他好文 时间：
2020-06-19 20:37:24
阅读次数：
55
