码迷,mamicode.com
首页 >  
搜索关键字:小文件    ( 1027个结果
Hive ORC File Format
背景 早在2013年1月,ORC(Optimized Row Columnar)出现,作为大规模加速Apache Hive和提高存储在Apache Hadoop中的数据的存储效率的计划的一部分。重点是为了提升处理速度和减小文件占用磁盘大小。 目前有很多公司已经大规模使用ORC了,比如Facebook ...
分类:其他好文   时间:2020-05-21 16:21:16    阅读次数:76
一次讲清Ext3文件系统的限制
虽然现在基本上都用xfs或者btrfs,但是某些情况下,由于某些原因,还是会用到ext3.但是ext3缺有一个坑,就是文件或目录不能太多,究竟是怎么样回事呢,本文就尝试一次讲清。 先说结论: 1、受文件系统inode限制,如果小文件过多,可能由于inode耗尽无法新建 2、某一目录下文件和子目录总计 ...
分类:其他好文   时间:2020-05-19 14:40:35    阅读次数:80
前端JS下载文件总结
Data URLs Data URLs: 即前缀为data: 协议的URL,其允许内容创建者向文档中嵌入小文件。 例如:可以直接在HTML中的img元素直接使用Data URLs ; data:[<mediatype>][;base64],<data> mediatype: 是个 MIME 类型的字 ...
分类:Web程序   时间:2020-05-18 19:06:13    阅读次数:88
01 . 分布式存储之FastDFS简介及部署
FastDFS 介绍 FastDFS 是一个 C 语言实现的开源轻量级分布式文件系统,作者余庆(happyfish100),支持 Linux、 FreeBSD、 AID 等 Unix 系统,解决了大数据存储和读写负载均衡等问题,适合存储 4KB~500MB 之间的小文件,如图片网站、短视频网站、文档 ...
分类:其他好文   时间:2020-05-10 16:43:20    阅读次数:70
ASP Folder 对象
Folder 对象用来返回有关指定文件夹的信息。 Folder 对象 Folder 对象用于返回有关指定文件夹的信息。 如需操作 Folder 对象,我们需要通过 FileSystemObject 对象来创建 Folder 对象的实例。首先,创建一个 FileSystemObject 对象,然后通过 ...
分类:Web程序   时间:2020-05-10 15:04:08    阅读次数:73
ppython实现上传文件到OSS
基础环境 小文件上传 分片上传 ...
分类:编程语言   时间:2020-05-07 10:53:17    阅读次数:101
SpringCloud大文件上传解决方案支持分片断点上传
1 背景 用户本地有一份txt或者csv文件,无论是从业务数据库导出、还是其他途径获取,当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候,首先要将本地文件上传至ODPS,普通的小文件通过浏览器上传至服务器,做一层中转便可以实现,但当这份文件非常大到了10GB级别,我们就需要思考另一种 ...
分类:编程语言   时间:2020-05-06 18:02:50    阅读次数:116
从程序员到阿里技术总监之路
第一步:高级研发工程师开始 掌握技术基础 技术语言基础和高级知识,常用算法、常用工具、框架原理、代码运行周期、内存回收机制等等,类似这些基础知识。 第二步:技术主管 需要掌握一定的项目管理常识,掌握一定的架构基础: 分布式缓存 小文件存储 熟练掌握数据性能 整体性能评估 怎么做容错 常用的框架底层设 ...
分类:其他好文   时间:2020-05-06 01:35:17    阅读次数:259
从源码看Spark读取Hive表数据小文件和分块的问题
前言 有同事问到,Spark读取一张Hive表的数据Task有一万多个,看了Hive表分区下都是3MB~4MB的小文件,每个Task只处理这么小的文件,实在浪费资源浪费时间。而我们都知道Spark的Task数由partitions决定,所以他想通过repartition(num)的方式来改变分区数, ...
分类:其他好文   时间:2020-05-03 12:43:20    阅读次数:54
013.Ansible Playbook include
一 include 当项目越大,tasks越多的时候。如果将多有的task写入一个playbook中,可读性很差,就需要重新组织playbook 可以把一个playbook分成若干份晓得palybook文件,在主配置文件中,把小文件引入进来,就是include include tasks [root ...
分类:其他好文   时间:2020-05-02 20:44:25    阅读次数:68
1027条   上一页 1 ... 5 6 7 8 9 ... 103 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!