一、 SCST简介
SCST是Generic SCST Target Subsystem for Linux(Linux通用SCSI目标子系统)的简称,它是Linux SCSI目标子系统的一种实现,为Linux内核和SCST Target Driver之间提供了一个统一的接口,同时提供了Linux内核与存储后端的句柄连接,用来连接真实或模拟的存储后端与目标驱动程序。SCST服务由SCST、iSCSI-SCST和scstadmin三个部分构成:
1. SCST
SCST在Linux内核层和SCSI目标驱动层之间提供统一的、持久的接口,它尽可能地简化了目标驱动的开发。SCST支持如下5种I/O模式:
(1).pass-through:此模式下,initiators的SCSI命令将不被修改地直接传给Target端的SCSI硬件。
(2).fileio:默认情况下SCST的导出模式是fileio,它允许使用文件系统上的文件或者块设备作为虚拟的SCSI设备或光驱。Fileio模式可以充分利用Linux的cache。NV_CACHE是fileio的一种模式,它可以提供最好的性能。
(3).blockio:绕开系统的page-cache(页面缓存)直接bio。该模式适用于后端存储设备比较高端或者不需要caching的应用或者需要大量块级吞吐的环境。
(4).user space:在SCST环境中使用用户空间的虚拟SCSI设备模拟执行。
(5).performance:不与底层的SCSI设备发生实际的数据传输,只提供直接的性能改进措施。
2.iSCSI-SCST
目标驱动,与设备驱动程序一起工作。主要负责接收主机命令,维护目标端和启动段的传输通道,并根据命令处理状态向主机返回信息。在Initiator看来,Target就是一个专属的SCSI Host,将用户分配的LUN或DISK映射成为远程可访问的虚拟设备。
目前为止SCST支持的Target驱动包括:iSCSI-SCST、FC Target、FCoE Target、SAS、InfiniBand和并行的SCSI设备。
Target驱动作为存储操作系统中不可或缺的组成部分,其性能直接影响到系统的性能和用户体验,因此,大多数高性能的Target驱动,都工作在内核态,SCST Target的驱动也不例外,这样的设计减少了系统调用,提高了资源利用率,支持的数据吞吐率也自然就比较高。
3. scstadmin
scstadmin是SCST的配置和管理脚本,它可以接受命令行输入或者直接读取SCST的配置文件(/etc/scst.conf)来管理scst。
二、 SCST补丁及Cent OS内核编译
由于SCST Target驱动是工作在内核态的,我们首先需要做的就是将SCST补丁打包进内核并对内核进行重新编译。在此我们使用CentOS6.3(Kernel版本2.6.32-279)作为SCST的Target端。
1. 准备工作
(1).完全安装Cent OS 6.3
在安装过程中需要将镜像中所有的安装包全部选中,以免内核无法正常编译。安装完成后将防火墙关闭。
(2).下载Cent OS内核源码包与SCST服务所需要的安装包。
Cent OS 6.3内核源码包下载地址:http://vault.centos.org/6.3/os/Source/SPackages/
SCST安装包下载地址:http://sourceforge.net/projects/scst/files/
(3).获取Linux Kernel源码包:
从CentOS官网上下载完kernel-2.6.32-279.el6.src.rpm后,在Linux系统下右键单击然后选择“Open with Archive Manager”打开rpm包,将linux-2.6.32-279.el6.tar.bz2复制到/usr/src/kernels下。
(4).放置SCST安装包
在/root下新建scst文件夹,然后将iscssi-scst-3.0.0.tar.bz2、scst-3.0.0.tar.bz2、scstadmin-3.0.0.tar.bz2放到/root/scst下,并使用tar命令解压:
#cd /root/scst
#tar –xvf iscssi-scst-3.0.0.tar.bz2
#tar –xvf scst-3.0.0.tar.bz2
#tar –xvf scstadmin-3.0.0.tar.bz2
(5).挂载HDD作为虚拟空间
#mkdir /mnt/vdisk1
#mkdir /mnt/vdisk2
#fdisk /dev/sdb(新建分区)
#mkfs.ext3 –T largefile /dev/sdb1(格式化新分区)
#mount /dev/sdb1 /mnt/vdisk1(挂载分区)
#chmod –R 777 /mnt/vdisk1(赋予读写权限)
#fdisk /dev/sdc
#mkfs.ext3 –T largefile /dev/sdc1
#mount /dev/sdb1 /mnt/vdisk2
#chmod –R 777 /mnt/vdisk2
2.补丁&编译内核
(1).解压Linux内核源码包并打补丁(注:打补丁时不能有error出现)
#cd /usr/src/kernels
#tar –xvf linux-2.6.32-279.el6.tar.bz2
#cd linux-2.6.32-279.el6
#patch –p1 < /root/scst/iscsi-scst-3.0.0/kernel/patches/rhel/put_page_callback-2.6.32-279.patch
#patch –p1 < /root/scst/scst-3.0.0/kernel/rhel/scst_exec_req_fifo-2.6.32.patch
(2).编译内核(注:内核编译过程中不能有任何error出现)
#make menuconfig
1) Networking supportàNetworking options -> Enable “TCP/IP zero-copy transfer completion notification” (只有当SCST补丁成功打进kernel中时这个选项才会出现)
2) File systems -> Enable “XFS Quota support”, “XFS POSIX ACL support” and “XFS Realtime subvolume support”
3) Enable loadable module support -> Disable “Module signature verification”
4) Cryptographic API -> Disable “In-kernel signature checker”
5) Exit and save your new kernel configuration
#make(根据Server配置,此过程需要1~3个小时)
#make modules
#make modules_install
#make install
内核编译完成后要重新启动机器,并且选择新内核进入Cent OS6.3。
三、SCST服务
1. SCST安装
先安装scst,然后再安装iscsi-scst与scstadmin,顺序不能乱,不然会报错。
#cd /root/scst/scst-3.0.0
#make all
#make install
#cd ../iscsi-scst-3.0.0
#make all
#make install
#cd ../scstadmin-3.0.0
#make all
#make install
2. 配置scst.conf文件
从/root/scst/iscsi-scst-3.0.0/etc下将SCST的配置文件scst.conf拷贝到/etc目录下,然后将配置增加到scst.conf中,修改后的scst.conf文件如下:
HANDLER vdisk_fileio {
DEVICE disk01 {
filename /dev/sdb1
nv_cache 1
}
DEVICE disk02 {
filename /dev/sdc1
nv_cache 1
}
}
TARGET_DRIVER iscsi {
enabled 1
TARGET iqn.2006-10.net.vlnb:tgt {
LUN 0 disk01
LUN 1 disk02
enabled 1
}
}
3. SCST服务开启
#chkconfig –add scst
#chkconfig –level 2345 scst on
#chkconfig –list scst(可以看到scst服务配置情况:scst 0:off 1:off 2:on 3:on 4:on 5:on 6:off)
#service scst start
当Scst服务成功开启后,通过lsmod可以看到scst相关的模块:
#lsmod | grep scst
iscsi_scst 81078 4
scst_vdisk 73016 0
scst 1631446 2 iscsi_scst,scst_vdisk
libcrc32c 1246 2 iscsi_scst,scst_vdisk
四、Initiator连接
示例为在Windows Server 2008R2下通过系统自带的iSCSI Initiator工具(Control Pannel -> iSCSI Initiator)来进行iSCSI功能的连接,如下图所示,在Target中输入scst server的IP地址后点击Quick Connect,即可自动连接iSCSI server,我们可以发现在Disk Management中出现了新的HDD,这个新的HDD就是iSCSI server虚拟出来的。
Reference:
1.SCST官方网址:http://scst.sourceforge.net/
2.SCST, a SCSI Target Framework :http://events.linuxfoundation.org/sites/events/files/slides/lcna15_bvanassche.pdf