FastDFS是一个c语言编写的一个开源的轻量级分布式文件系统，它对文件进程管理，功能包括：文件存储，文件同步，文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题，特别适合以文件为载体的在线服务，如相册网站，视频网站等等，FastDFS为互联网量身定制，充分考虑了冗余备份，负载均衡，现行扩容等，并注重高可用，高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文
分类：
其他好文 时间：
2020-03-29 09:14:01
阅读次数：
98
我们在协助某AI客户排查一个UFS文件存储的性能case时发现，其使用的Pytorch训练IO性能和硬件的IO能力有很大的差距（后面内容有具体性能对比数据）。让我们感到困惑的是：UFS文件存储，我们使用fio自测可以达到单实例最低10Gbps带宽、IOPS也可达到2w以上。该AI客户在高IOPS要求的AI单机小模型训练场景下，或者之前使用MXNet、TensorFlow框架时，IO都能跑到UFS理
分类：
其他好文 时间：
2020-03-28 09:14:38
阅读次数：
119
第10章 文件读取： ''' 函数open() 接受一个参数：要打开的文件的名称。使用绝对路径，可读取系统任何地方的文件。就目前而言，最简单的做法是，要么将数据文件存储在程序文件所在的目录，要么将其存储在程序文件所在目录下的一个文件夹中。 关键字with 在不再需要访问文件后将其关闭。 read() ...
分类：
编程语言 时间：
2020-03-27 19:41:28
阅读次数：
61
数据存储 文本文件—TXT、JSON、CSV 关系型数据库—MySQL 非关系型数据库—MongoDB、Redis 文件打开 open()，第二个参数设置文件打开方式 ※ r：只读，文件指针在文件开头 ※ rb：二进制只读，文件指针在文件开头 ※ r+：读写方式，文件指针在文件开头 ※ w：写入，如 ...
分类：
Web程序 时间：
2020-03-27 17:11:24
阅读次数：
111
本文主要解决CitrixXenDesktop环境中，如果存在同一个用户使用多种类型的虚拟桌面或虚拟App的时候，个人配置文件的隔离和保存问题。
分类：
其他好文 时间：
2020-03-26 10:53:21
阅读次数：
113
MongoDB是一个基于分布式文件存储的数据库，由C++语言编写。旨在为WEB应用提供可可扩展的高性能数据库存储解决方案。 被称为NoSQL（Not Only SQL ），意为不仅仅是SQL 是由Carlo Storzzi最早开发的个轻量、开源、不兼容SQL功能的关系型数据库。 2009年，NoSQ ...
分类：
数据库 时间：
2020-03-25 23:08:55
阅读次数：
79
3.Partition Replication原则 Kafka高效文件存储设计特点 Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。 通过索引信息可以快速定位message和确定response的最大大小。 通过 ...
分类：
其他好文 时间：
2020-03-25 21:12:05
阅读次数：
54
1.什么是FastDFS FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储，文件同步，文件访问（文件上传下载）等，他解决了大容量存储和负载均衡的问题，特别适合以文件为载体的在线服务，如相册网站，视频网站等 FastDFS充分考虑了冗余备份，负载均衡，线性扩容等机制 ...
分类：
其他好文 时间：
2020-03-25 10:46:12
阅读次数：
72
前言 本篇文章主要介绍的是SpringBoot实现文件上传下载。 GitHub源码链接位于文章底部。 创建maven项目，在pom文件中添加依赖 application.yml文件中添加配置 文件存储路径可以修改，文件上传的大小限制这里设置的100M controller层 在controller文 ...
分类：
编程语言 时间：
2020-03-18 18:44:21
阅读次数：
51
本文内容介绍python和如下数据存储交互的基本使用： 文件存储：TXT、JSON、CSV 关系型数据库：Mysql（pymysql模块） 非关系型数据库：MongoDB（pymongo模块）、Redis（redis模块） 1. 文本存储；简单实例，爬取知乎话题、答者和回答内容保存到txt文件中 # ...
分类：
其他好文 时间：
2020-03-17 19:17:27
阅读次数：
99
