局域网发布共享文件

GPL
Python
跨平台
2014-10-02
疯狂的小企鹅

xml-rpc实现的文件共享

这个项目取材与http://www.the5fire.com/python-project8-xml-rpc.html 。是python基础教程中的十个例子中的第八个。主要的实现原理如下:

每一个客户端都是一个节点。每一个节点,都启动一个 xml-rpc服务器。在 xml-rpc服务器中,维护着一个所有节点的集合。原文的例子,功能太少,只能下载。后来我加了一个ls 命令,可以查看包括自己的和所有节点的文件。原项目中的节点列表,必须是手动给出的,相当麻烦,是通过一个叫urlfile的文件来维护的。在我的这个项 目中,维护 节点的信息是通过程序自己学习到的。每当一个节点启动的时候,该节点就会把自己的xml-rpc服务器的访问url,通过udp广播的方式,广播给某一个 端口。同时每一个节点,只要它启动后,会监听某一个端口上的,有关xml-rpc服务器的访问url的监听。只要收到信息,就把它写入到节点列表中。通过 fetch下载文件时,如果发现了异常,则从节点列表中删除它。

现在假如有两个节点(启动了client.py文件的机器) a和b,a中的节点列表中有b,同样b中也有,当a尝试着fetch 一个文件时,如果没有在a中查找到的话,则会去找b,但是b中的节点列表是a,b会去找a。。。。。这样就形成了阻塞。原项目中,是通过一个url列表来 维护的。但是这个项目中,a机器对于自己的url是localhost,b也是localhost,但是对于a来讲b就不是localhost。所以我的 项目中,是通过维护一个secret列表来判断,下一个要查找的节点是不是已经被查过了。但是同时得先知道下一个节点的secret值,但是如果下一节点 就是上一个节点的话,还是会有阻塞,所以把xml-rpc做成多线程就很必要了。新构建一个类class ThreadRPC(ThreadingMixIn, SimpleXMLRPCServer) 。这样ThreadRPC就变成了多线程的SimpleXMLRPCServer。

本来文件的传输是使用了xml-rpc。后来我把它独立出来了。单独作为一个文件传输服务,TranServer。这个文件传输,不使用xml- rpc,而是直接用socket。用了SocketServer框架。本来是想用asynchat的。但是后来发现,这个异步框架,有点蛋疼。比如说它的 push方法。是会把数据放到叫producer_fifo的fifo数据结构中。这个做会出现一个大问题。我读本地的文件速度远远快于发送的数度,当体 积大的时候,更是如此。所以使用push传输,会发现内存占用越来越大,越来越大。。。如果不使用push,而是使用send,会发现数据不同步.鉴于这 些问题,所以我没有采用异步,而是使用了多线程的SocketServer, ThreadingMixIn

配置文件

[global]

# 监听节点的端口

listen_port = 1111

# 数据传送的端口

data_port = 1234

# 要共享的目录

share_dir = /tmp/a

使用方法

启动节点 : python client.py

获取文件列表: ls

下载文件: fetch xxx

查看文件内容: cat xxx [要查看的前n位]

更新记录

2014-10-2:

在源项目的基础上,增加列出共享文件列表功能,增加了节点自动学习功能,不需要手工指定节点。

2014-10-3

修改节点前的通信内容,本来是文件内容,现在改成目标地址,类似于递归查询变成了迭代查询,减少没必要的网络流量。增加支持非文本文件的共享

增加了大文件分块传输

2014-10-6

修改了文件传输模式,本来是用xml-rpc来read,然后本地write。现在直接使用socket(使用了SocketServer框架)来实现,节约了大量质量(原来是用xml-rpc),速度也快喽。可控性也更强了。

2014-10-7

增加了cat命令 准确来说,更像是head命令

2014-10-11

修复中文文件出错


加载中

评论(0)

暂无评论

暂无资讯

暂无问答

ubuntu软件中心打不开No module named 'apt_pkg'

故事的起源:最近看了《黑客与画家》,决定要学个动态语言,但lisp难点,ruby又是鬼子搞的,所以选了python。ubuntu12.10里python的默认版本是2.7,但我看最新的是3.3,于是,更新癖再犯,各...

2013/04/12 23:01
4.8K
2
linux run aapt error

1. 运行aapt: bash: ./aapt: /lib/ld-linux.so.2: bad ELF interpreter: No such file or directory 2. 安装glibc.i686 yum install glibc.i686 3.再次运行aapt aapt: error while loading ...

2018/04/27 15:41
154
0
virt-manager无法启动的问题

virt-manager无法启动,出现如下问题 [root@lactsys Desktop]# virt-manager Traceback (most recent call last): File "/usr/share/virt-manager/virt-manager.py", line 383, in <module> ...

2013/08/07 15:49
6.2K
0
Deepin 添加PPA源问题

>sudo add-apt-repository ppa:××××× 显示 >You are about to add the following PPA to your system: >.... > More info: ..... >Press [ENTER] to continue or ctrl-c to cancel addi...

2013/03/25 23:48
395
0
msys2 执行gdb时 出现 ImportError: No module named libstdcxx.v6.printers

zero@zero-PC MSYS ~ $ gdb GNU gdb (GDB) 7.11.1 Copyright (C) 2016 Free Software Foundation, Inc. License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html> Th...

2018/11/22 11:01
17
0
MacOS install mysqlclinet-python

在MacOS上直接使用pip install mysqlclient 会出现如下错误: Installing initially failed dependencies… [pipenv.exceptions.InstallError]: File "/Users/livenuxchau/Library/Python/3....

05/20 15:10
27
0
django 1366, "Incorrect string value

在django settings.py文件中配置好了mariadb,在执行数据迁移时: python3 manage.py makemigrations python3 manage.py migrate 出现了如下报错: Traceback (most recent call last): File "...

08/26 17:31
5
0
vim中的酷盘API操作

linux平台下,实现了vim中对酷盘API的操作,可以完成对酷盘中文件的处理 本文中只给出了简陋的接口,但已能满足我个人的基本需求 本文中前期处理需要web浏览器的支持,同时要求系统支持curl ...

2014/10/16 00:14
67
0
Install Eclipse 3.7 Indigo and configure Eclipse

Install Eclipse 3.7 Indigo and configure Eclipse for Python

2014/04/22 21:18
189
0
python 扩展包安装工具 pip

今天才知道这个工具 很好用啊 pip install Scrapy 4 down vote Install distribute as per the instructions at http://pypi.python.org/pypi/distribute . Make sure you specify the full...

2013/04/19 21:56
99
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部