上个月参加了一个云存储的技术讨论会。这一个月里,陆续收到几位同学讨论大数据保存和处理的邮件。今天是周末,索性把这个月的交流内容整理写下来,供各位参考。 目前大数据存储有两种方案可供选择:行存储和列存储。业界对两种存储方案有很多争持,集中焦点是: 谁能够更有效地处理海量数据,且兼顾安全、可靠、完整性。 ...
分类:
其他好文 时间:
2018-12-19 12:57:10
阅读次数:
178
前提 相信大家都用过网盘,比如国外有 Google Drive、Dropbx、OneDrive等,国内有 百度云盘、坚果云等,这些都是公共网盘,由于公司业务需要,想架设公司自己用的私有网盘。 目前市面上,稳定、成熟的私有云存储方案有: Seafile:国内团队开发的一个国际化开源云存储项目ownCl ...
分类:
其他好文 时间:
2018-12-15 21:05:34
阅读次数:
273
1——Kubernetes 1.13发布 2——Kubernetes首次出现重大安全漏洞 3——Docker和微软公司推出云原生应用的部署规范 4——谷歌推出beta版本的Cloud SCC ...
分类:
Web程序 时间:
2018-12-13 11:35:57
阅读次数:
209
在本地编写日志 用户可以使用base_log_folder设置在airflow.cfg指定日志文件夹。 默认情况下,它位于AIRFLOW_HOME目录中。 此外,用户可以提供远程位置,以便在云存储中存储日志和日志备份。 在Airflow Web UI中,本地日志优先于远程日志。 如果找不到或访问本地 ...
分类:
其他好文 时间:
2018-11-29 19:56:55
阅读次数:
312
2018.2~2018.6 萤石图片分析(人形检测,身份证识别)项目 核心成员 简介:萤石图片分析项目是为互联网平台提供线上的图片分析服务,用户上传图片到云存储,下派给服务器分析, 通过智能分析算法对图片进行智能分析,并将结果返回给用户。 职责:主要负责身份证识别项目的组件和引擎开发,以及后期算法更 ...
分类:
其他好文 时间:
2018-11-29 11:15:59
阅读次数:
174
VMware做的工作就是更多的集成、简化。这就是VMware真正的价值。
分类:
移动开发 时间:
2018-11-27 17:04:13
阅读次数:
252
docker数据卷应用场景在多个容器之间共享数据,多个容器可以同时以只读或者读写的方式挂载统一个数据卷,从而共享数据卷中的数据当宿主机不能保证一定存在某一个目录或一些固定的文件路径时,使用数据卷可以规避这种限制带来的问题当想把容器中的数据存储在宿主机之外的地方时,比如远程主机上和云存储上当你需要把容器数据在不同宿主机之间备份、恢复或迁移时,数据卷是很好的选择数据覆盖问题如果挂载一个空的数据卷到容器
分类:
其他好文 时间:
2018-11-26 20:02:03
阅读次数:
265
很多时候,我们的网站上传图片时并没有根据内容进行文件夹分类,甚至会直接存储到阿里云的OSS或是七牛云等云存储上。这样,当我们需要打包图片时,就需要从数据库找寻分类图片,通过CURL进行下载。我最近刚刚完成了一个这样的任务,觉得会比较常用,就把程序放到了github上分享给大家,希望大家能够喜欢。 d ...
分类:
编程语言 时间:
2018-11-17 19:07:17
阅读次数:
379
摘要: Seafile 是一款安全、高性能的开源网盘(云存储)软件。Seafile 提供了主流网盘(云盘)产品所具有的功能,包括文件同步、文件共享等。在此基础上,Seafile 还提供了高级的安全保护功能以及群组协作功能。由于 Seafi ...Seafile 是一款安全、高性能的开源网盘(云存储) ...
分类:
其他好文 时间:
2018-11-14 01:09:20
阅读次数:
545