码迷,mamicode.com
首页 > 其他好文 > 详细

技术方案:Go 实现的存储服务器,文件系统,Key-Value 存储(特别是Rclone)

时间:2017-02-15 22:13:32      阅读:503      评论:0      收藏:0      [点我收藏+]

标签:man   google   awesome   optional   服务   UI   可扩展   trick   方式   

存储服务器(Storage Server)

Go 实现的存储服务器

  • minio - Minio 是一个与 Amazon S3 APIs 兼容的开源对象存储服务器,分布式存储方案
  • rclone - “用于云存储的 Rsync” - Google Drive, Amazon Drive, S3, Dropbox, Backblaze B2, One Drive, Swift, Hubic, Cloudfile…
  • camlistore - Camlistore 是你的个人存储系统:一种存储、同步、共享、建模和备份内容的方式
  • torus - CoreOS 的现代分布式存储系统
  • s3git - 云存储的 Git。用于数据的分布式版本控制系统
  • rook - 开放、云本地和通用的分布式存储

Key-Value 存储(Key-Value Store)

Go 实现的 Key-Value 存储

  • etcd - 可靠的分布式 key-value 存储,用于分布式系统的最关键数据
  • go-cache - Go 语言实现的一个内存中的缓存框架,实现 Key-Value 的序列存储,适用于单台机器应用程序
  • biscuit - Biscuit 用于 AWS 基础架构建设时多区域 HA key-value 存储
  • diskv - 支持磁盘的 key-value 存储

文件系统(File System)

Go 实现的文件系统

  • git-lfs - 用于大文件版本控制的 Git 扩展
  • seaweedfs - SeaweedFS 是一个用于小文件的简单且高度可扩展的分布式文件系统
  • fsnotify - Go 实现的跨平台文件系统监控库
  • goofys - Go 实现的高性能,POSIX-ish Amazon S3 文件系统
  • go-systemd - systemd 的 Go 语言绑定版(包括socket activation, journal, D-Bus, 和 unit files)
  • gcsfuse - 用于与 Google 云存储交互的用户空间文件系统
  • svfs - 基于 Openstack 的虚拟文件系统

https://my.oschina.net/editorial-story/blog/838672

http://awesome-go.com/

------------------------------------------------------------------------------------------------------

Rclone is a command line program to sync files and directories to and from

  • Google Drive
  • Amazon S3
  • Openstack Swift / Rackspace cloud files / Memset Memstore
  • Dropbox
  • Google Cloud Storage
  • Amazon Drive
  • Microsoft One Drive
  • Hubic
  • Backblaze B2
  • Yandex Disk
  • The local filesystem

Features

  • MD5/SHA1 hashes checked at all times for file integrity
  • Timestamps preserved on files
  • Partial syncs supported on a whole file basis
  • Copy mode to just copy new/changed files
  • Sync (one way) mode to make a directory identical
  • Check mode to check for file hash equality
  • Can sync to and from network, eg two different cloud accounts
  • Optional encryption (Crypt)
  • Optional FUSE mount (rclone mount)

Links

 

http://rclone.org/

技术方案:Go 实现的存储服务器,文件系统,Key-Value 存储(特别是Rclone)

标签:man   google   awesome   optional   服务   UI   可扩展   trick   方式   

原文地址:http://www.cnblogs.com/findumars/p/6403359.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!