FastDFS搭建文件管理系统

1.什么是FastDFS?

        FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

2.FastDFS架构

        FastDFS架构包括 Tracker server和Storage server。客户端请求Tracker server进行文件上传、下载,通过Tracker server调度最终由Storage server完成文件上传和下载。

Tracker server作用是负载均衡和调度,通过Tracker server在文件上传时可以根据一些策略找到Storage server提供文件上传服务。可以将tracker称为追踪服务器或调度服务器。

Storage server作用是文件存储,客户端上传的文件最终存储在Storage服务器上,Storage server没有实现自己的文件系统而是利用操作系统 的文件系统来管理文件。可以将storage称为存储服务器


        服务端两个角色:

        Tracker:管理集群,tracker也可以实现集群。每个tracker节点地位平等。

收集Storage集群的状态。FastDFS集群中的Tracker server可以有多台,Tracker server之间是相互平等关系同时提供服务,Tracker server不存在单点故障。客户端请求Tracker server采用轮询方式,如果请求的tracker无法提供服务则换另一个tracker。

        Storage:实际保存文件,Storage分为多个组,每个组之间保存的文件是不同的。每个组内部可以有多个成员,组成员内部保存的内容是一样的,组成员的地位是一致的,没有主从的概念。Storage集群采用了分组存储方式。storage集群由一个或多个组构成,集群存储总容量为集群中所有组的存储容量之和。一个组由一台或多台存储服务器组成,组内的Storage server之间是平等关系,不同组的Storage server之间不会相互通信,同组内的Storage server之间会相互连接进行文件同步,从而保证同组内每个storage上的文件完全一致的。一个组的存储容量为该组内存储服务器容量最小的那个,由此可见组内存储服务器的软硬件配置最好是一致的。

采用分组存储方式的好处是灵活、可控性较强。比如上传文件时,可以由客户端直接指定上传到的组也可以由tracker进行调度选择。一个分组的存储服务器访问压力较大时,可以在该组增加存储服务器来扩充服务能力(纵向扩容)。当系统容量不足时,可以增加组来扩充存储容量(横向扩容)。

3.文件上传的流程


        客户端上传文件后存储服务器将文件ID返回给客户端,此文件ID用于以后访问该文件的索引信息。文件索引信息包括:组名,虚拟磁盘路径,数据两级目录,文件名。例如:

        组名:文件上传后所在的storage组名称,在文件上传成功后有storage服务器返回,需要客户端自行保存。

        虚拟磁盘路径:storage配置的虚拟路径,与磁盘选项store_path*对应。如果配置了store_path0则是M00,如果配置了store_path1则是M01,以此类推。

        数据两级目录:storage服务器在每个虚拟磁盘路径下创建的两级目录,用于存储数据文件。

        文件名:与文件上传时不同。是由存储服务器根据特定信息生成,文件名包含:源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

4.文件下载的流程


        tracker根据请求的文件路径即文件ID 来快速定义文件。比如请求下边的文件:

        1.通过组名tracker能够很快的定位到客户端需要访问的存储服务器组是group1,并选择合适的存储服务器提供客户端访问。  

        2.存储服务器根据“文件存储虚拟磁盘路径”和“数据文件两级目录”可以很快定位到文件所在目录,并根据文件名找到客户端需要访问的文件。

5.FastDFS安装

5.1FastDFS--tracker安装

5.1.1FastDFS安装环境       

         FastDFS是C语言开发,建议在linux上运行,本教程使用Centos7作为安装环境。

        安装FastDFS需要先将官网下载的源码进行编译,编译依赖gcc环境,如果没有gcc环境,需要安装gcc:

        yum install gcc-c++

5.1.2安装libfastcommon

        下载:下载libfastcommon

        将libfastcommon.zip复制到linux系统的/usr/local目录下并解压:unzip libfastcommon.zip

        cd libfastcommon

        ./make.sh

        ./make.sh install

5.1.3安装libevent

        FastDFS依赖libevent库,需要安装:

        yum -y install libevent

5.1.4tracker编译安装

        将fastdfs.zip拷贝至/usr/local/下并解压:

        unzip fastdfs.zip

        cd fastdfs

       编译: ./make.sh

       安装:./make.sh install

5.1.5配置

        cd  /etc/fdfs

        拷贝一份新的tracker配置文件:

        cp tracker.conf.sample tracker.conf

        修改tracker.conf

        vim tracker.conf

        base_path=/home/yuqing/FastDFS   

        改为:

        base_path=/home/FastDFS

5.1.6启动tracker

        /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

5.2安装FastDFS--storage

在安装tracker时已经安装了libevent与libfastcommon两个库。编译安装tracker时也已经把storage一同编译安装了。

 5.2.1配置storage

        cd  /etc/fdfs

        拷贝一份新的storage配置文件:

        cp storage.conf.sample storage.conf

        修改storage.conf

        vim storage.conf

        group_name=group1

        base_path=/home/yuqing/FastDFS改为:        base_path=/home/FastDFS

        store_path0=/home/yuqing/FastDFS改为:        store_path0=/home/FastDFS/fdfs_storage

        #如果有多个挂载磁盘则定义多个store_path,如下

        #store_path1=.....

        #store_path2=......

        tracker_server=192.168.xx.xx:22122#配置tracker服务器:IP

        #如果有多个则配置多个tracker

        tracker_server=192.168.xx.xx:22122

5.2.2启动storage

        /usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

6.上传图片测试

        FastDFS安装成功可通过/usr/bin/fdfs_test测试上传、下载等操作。 

        修改/etc/fdfs/client.conf   

        base_path=/home/fastdfs

        tracker_server=192.168.xx.xx:22122

        使用格式:

        /usr/bin/fdfs_test客户端配置文件地址upload上传文件

        比如将/home下的图片上传到FastDFS中:

        /usr/bin/fdfs_test /etc/fdfs/client.conf upload /root/picture.jpeg

        http://192.168.xx.xxx/group1/M00/00/00/wKgghFwqIqaAJKEWAAE8SA5LkVU02_big.jpeg就是文件的下载路径。

        对应stroage服务器上的/home/FastDFS/fdfs_storage/data/00/00/wKgghFwqIqaAJKEWAAE8SA5LkVU02_big.jpeg文件。

        由于现在还没有和nginx整合无法使用http下载。

7.FastDFS和nginx整合

7.1FastDFS-nginx-module

        下载FastDFS-nginx-module 

        将FastDFS-nginx-module.zip传至/usr/local/下 并解压

        unzip fastdfs-nginx-module.zip

        cd FastDFS-nginx-module/src

        修改config文件将/usr/local/路径改为/usr/

        将FastDFS-nginx-module/src下的mod_fastdfs.conf拷贝至/etc/fdfs/下              

        cp mod_FastDFS.conf /etc/fdfs/

        并修改mod_FastDFS.conf的内容:

        vim /etc/fdfs/mod_FastDFS.conf

        base_path=/home/FastDFS

        tracker_server=192.168.xx.xx:22122

        #tracker_server=192.168.xx.xx:22122(多个tracker配置多行)

        url_have_group_name=true  #url中包含group名称

        store_path0=/home/FastDFS/fdfs_storage #指定文件存储路径

        将libfdfsclient.so拷贝至/usr/lib下

        cp /usr/lib64/libfdfsclient.so /usr/lib/

        创建nginx/client目录

        mkdir -p /var/temp/nginx/client

 7.2安装nginx

        添加FastDFS-nginx-module模块

        ./configure \

        --prefix=/usr/local/nginx \

        --pid-path=/var/run/nginx/nginx.pid \

        --lock-path=/var/lock/nginx.lock \

        --error-log-path=/var/log/nginx/error.log \

        --http-log-path=/var/log/nginx/access.log \

        --with-http_gzip_static_module \

        --http-client-body-temp-path=/var/temp/nginx/client \

        --http-proxy-temp-path=/var/temp/nginx/proxy \

        --http-fastcgi-temp-path=/var/temp/nginx/fastcgi \

        --http-uwsgi-temp-path=/var/temp/nginx/uwsgi \

        --http-scgi-temp-path=/var/temp/nginx/scgi \

        --add-module=/usr/local/fastdfs-nginx-module/src

        编译:make

        安装:make install

7.3nginx配置文件

      cd /usr/local/nginx

       在nginx.conf方件中添加server:

        server {

                listen       80;

                server_name  192.168.xx.xx;

                location /group1/M00/{

                        #root /home/FastDFS/fdfs_storage/data;

                        ngx_fastdfs_module;

                }

        }

          说明:

        server_name指定本机ip

        location /group1/M00/:group1为nginx 服务 FastDFS的分组名称,M00是FastDFS自动生成编号,对应store_path0=/home/FastDFS/fdfs_storage,如果FastDFS定义store_path1,这里就是M01

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,530评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 86,403评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,120评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,770评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,758评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,649评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,021评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,675评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,931评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,659评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,751评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,410评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,004评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,969评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,042评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,493评论 2 343

推荐阅读更多精彩内容