Bigfile-go 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Bigfile-go 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票

软件简介

基本介绍

Bigfile 是使用 Golang 开发的一个文件传输管理系统,支持通过 HTTP APIRPC 调用以及 FTP 客户端管理文件。它构建于许多优秀的开源项目之上,基于数据库实现了一个虚拟的文件组织系统,在 Bigfile 中您可以看到熟悉的文件夹和文件,这种实现方式也是我们权限控制的基础。在底层,Bigfile 将任何文件切分成 1 MB 的文件块存储, 我们称之为 Chunk ,每个 Chunk 依据 sha256 算法计算 Hash 值相互区分,相同的 Chunk 只会被存储一次。 我们用一张图来展示 Bigfile 的设计架构图:

Bigfile 是一个多应用系统,您可以创建多个应用,我们称之为 APP ,每个 APP 都有自己的空间, APP 之间相互隔离,互不干扰,互不侵犯。为了安全起见,我们不希望把应用密钥暴露给任何使用某个应用的人,因此每个 APP 应该创建具有某个权限的 Token 去操作文件。您可以限制 Token 仅仅能访问某个目录,设置失效时间,可用次数,只读访问以及限制使用 IP。我们也提供 HTTPS ,FTPS 以及带有双端验证功能的 RPC 服务,操作简单,使用方便,您唯一要做的使用我们提供的命令行工具生成证书,并且在启动服务的时候指定证书即可。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
暂无内容
发表了博客
2016/02/02 15:18

常用脚本之文件,bigfile

#!/usr/bin/env python #coding_utf-8 import os import time def create_file_size(size):     size *= 1024 * 1024     print size     local_time = time.strftime("%Y%m%d%H%M%S", time.localtime())     file_name = str(local_time) + ".txt"     with open(file_name, '...

0
0
发表了博客
2019/10/08 11:41

go bigfile (文件传输管理系统)前端分片上传demo

BIGFILE Github地址: https://github.com/bigfile/bigfile 欢迎大家前来issue & star BIGFILE 中文文档地址:https://learnku.com/docs/bigfile/1.0 BIGFILE基本介绍 Bigfile 是使用 Golang 开发的一个文件传输管理系统,支持通过 HTTP API,RPC 调用以及 FTP 客户端管理文件。它构建于许多优秀的开源项目之上,基于数据...

0
0
发表于程序人生专区
04/17 16:19

【DB笔试面试239】在Oracle中,什么是大文件表空间(Bigfile Tablespace)?

Q 题目如下所示: 在Oracle中,什么是大文件表空间(Bigfile Tablespace)? A 答案如下所示: Oracle表空间是逻辑结构的最高层次,而物理层面的Oracle数据库是通过一系列的文件构成。表空间与数据文件的关系是一...

0
0
发表了博客
2019/11/08 10:36

如何创建ORACLE大文件表空间

SQL>CREATE BIGFILE TABLESPACE 表名 datafile 'd:\ndo\ddo\表名.DBF‘ SIZE 500M AUTOEXTEND ON; SQL>Create Bigfile tablespace bf_images_xp datafile 'e:\datacenter\bf\bf_images_xp.dbf' size 500M Autoextend on; //说明如下: //创建一个大表空间,名称为:bf_images_xp,数据文件为e:\datacenter\bf\bf_images_xp...

0
0
发表于DevOps专区
2019/02/25 21:42

Linux 运维2月25日 5.1 - 5.4

目录 监控Linux系统状态1-4 监控Linux系统状态 查看系统负载: w/uptime 最后面三个数字表示1分钟,5分钟,15分钟平均有多少个进程占用CPU 占用CPU的进程可以是Running,也可以是Waiting 某一时刻1颗CPU只能有一个...

0
0
发表于云计算专区
2015/12/03 00:08

java.io.IOException: Bad connect ack with firstBad

hadoop2.5.2 上传文件时报错:java.io.IOException: Bad connect ack with firstBadLink as 192.168.209.102:50010

0
0
发表于DevOps专区
2019/02/25 19:43

通过建站学运维1901-23任务

5.1监控Linux系统状态 查看系统负载: w/uptime 最后面三个数字表示1分钟,5分钟,15分钟 平均有多少个进程占用CPU 占用CPU的进程可以是Running,也可以是Waiting 某一时刻1颗CPU只能有一个进程在使用其资源 top命...

0
0
发表于运维专区
2019/01/21 15:35

Linux中的工作管理(Job Control )

以前使用Linux老是会不小心按下Ctrl + z,然后就出现看不懂的情况,以为程序突然就没了,今天专门研究了下Linux下的几个快捷键和工作管理。 其中找到一篇很不错的文章,大部分是里面转载的。 原文地址:http://bl...

0
3
03/21 16:55

大压缩文件对Impala查询性能的影响

Hadoop/HDFS/MapReduce/Impala被设计用于存储和处理大量文件的场景,比如TB或者PB级别数据量的文件。大量小文件对查询性能有很大的影响,因为NameNode要保存大量的HDFS文件元数据,一次性查询很多分区或者文件的话...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
16 收藏
分享
返回顶部
顶部