基本概念及操作

常用快捷键

image.png

image.png

image.png

man 1 ls

所有的手册页遵循一个常见的布局，为了通过简单的 ASCII 文本展示而被优化，而这种情况下可能没有任何形式的高亮或字体控制。一般包括以下部分内容：
NAME（名称） 该命令或函数的名称，接着是一行简介。
SYNOPSIS（概要） 对于命令，正式的描述它如何运行，以及需要什么样的命令行参数。对于函数，介绍函数所需的参数，以及哪个头文件包含该函数的定义。
DESCRIPTION（说明） 命令或函数功能的文本描述。
EXAMPLES（示例） 常用的一些示例。
SEE ALSO（参见） 相关命令或函数的列表。
也可能存在其它部分内容，但这些部分没有得到跨手册页的标准化。常见的例子包括：OPTIONS（选项），EXIT STATUS（退出状态），ENVIRONMENT（环境），BUGS（程序漏洞），FILES（文件），AUTHOR（作者），REPORTING BUGS（已知漏洞），HISTORY（历史）和 COPYRIGHT（版权）。
软件安装

sudo apt-get update
sudo apt-get install sysvbanner

用户及文件权限管理

查看用户

who am i

who mom likes

who -m

who 命令其它常用参数

image.png

sudo adduser lilei

ls /home

su -l lileiwho am i
whoami
pwd

退出当前用户跟退出终端一样，可以使用 exit 命令或者使用快捷键 Ctrl+D。
用户组
在 Linux 里面每个用户都有一个归属（用户组），用户组简单地理解就是一组用户的集合，它们共享一些资源和权限，同时拥有私有资源，就跟家的形式差不多，你的兄弟姐妹（不同的用户）属于同一个家（用户组），你们可以共同拥有这个家（共享资源），爸妈对待你们都一样（共享权限），你偶尔写写日记，其他人未经允许不能查看（私有资源和权限）。当然一个用户是可以属于多个用户组的，正如你既属于家庭，又属于学校或公司。

groups lilei

其中冒号之前表示用户，后面表示该用户所属的用户组。这里可以看到 lilei用户属于 lilei用户组，每次新建用户如果不指定用户组的话，默认会自动创建一个与用户名相同的用户组（差不多就相当于家长的意思）。
默认情况下在 sudo 用户组里的可以使用 sudo 命令获得 root 权限。

cat /etc/group | sort

cat /etc/group | grep -E "lilei"

/etc/group 的内容包括用户组（Group）、用户组口令、GID（组 ID） 及该用户组所包含的用户（User），每个用户组一条记录。
如果用户的 GID 等于用户组的 GID，那么最后一个字段 user_list 就是空的，这里的 GID 是指用户默认所在组的 GID，可以使用 id 命令查看。
默认情况下新创建的用户是不具有 root 权限的，也不在 sudo 用户组，可以让其加入 sudo 用户组从而获取 root 权限：

su -l lilei
sudo ls

使用 usermod 命令可以为用户添加用户组，同样使用该命令你必需有 root 权限，你可以直接使用 root 用户为其它用户添加用户组，或者用其它已经在 sudo 用户组的用户使用 sudo 命令获取权限来执行该命令。

su - jachin

当然也可以通过 sudo passwd shiyanlou 进行设置，或者你直接关闭当前终端打开一个新的终端。

groups lilei
sudo usermod -G sudo lilei
groups lilei

然后再切换回 lilei 用户，现在就可以使用 sudo 获取 root 权限了。

sudo ls /

删除用户和用户组

sudo deluser lilei --remove-home

使用 --remove-home 参数在删除用户时候会一并将该用户的工作目录一并删除。如果不使用那么系统会自动在 /home 目录为该用户保留工作目录。
删除用户组可以使用 groupdel 命令，倘若该群组中仍包括某些用户，则必须先删除这些用户后，才能删除群组。

ls -l

image.png

image.png

关于文件类型，这里有一点你必需时刻牢记 Linux 里面一切皆文件，正因为这一点才有了设备文件（ /dev 目录下有各种设备文件，大都跟具体的硬件设备相关）这一说。 socket：网络套接字。pipe 管道。软链接文件：链接文件是分为两种的，另一种当然是“硬链接”（硬链接不常用，而软链接等同于 Windows 上的快捷方式)
读权限，表示你可以使用 cat <file name> 之类的命令来读取某个文件的内容；写权限，表示你可以编辑和修改某个文件的内容；
执行权限，通常指可以运行的二进制程序文件或者脚本文件，如同 Windows 上的 exe 后缀的文件，不过 Linux 上不是通过文件后缀名来区分文件的类型。你需要注意的一点是，一个目录同时具有读权限和执行权限才可以打开并查看内部文件，而一个目录要有写权限才允许在其中创建其它文件，这是因为目录文件实际保存着该目录里面的文件的列表等信息。
所属用户组权限，是指你所在的用户组中的所有其它用户对于该文件的权限，比如，你有一个 iPad，那么这个用户组权限就决定了你的兄弟姐妹有没有权限使用它破坏它和占有它。
链接到该文件所在的 inode 结点的文件名数目，以 inode 结点大小为单位来表示的文件大小，你可以给 ls 加上 -lh 参数来更直观的查看文件的大小。

ls -a

显示除了 .（当前目录）和 ..（上一级目录）之外的所有文件，包括隐藏文件（Linux 下以 . 开头的文件为隐藏文件）。

ls -al

查看某一个目录的完整属性，而不是显示目录里面的文件属性

ls -dl

显示所有文件大小，并以普通人类能看懂的方式呈现

ls -asSh

变更文件所有者

su -l lilei
pwd
touch iphone11
ls -alh iphone11

cd /home/lilei
ls iphone11
sudo chown jachin iphone11
ls -alh iphone11

修改文件权限
如果你有一个自己的文件不想被其他用户读、写、执行，那么就需要对文件的权限做修改。
二进制数字表示

image.png

echo "echo \"hello shiyanlou\"" > iphone11
chmod 600 iphone11
ls -alh iphone11
su -l lilei
echo "hello" >iphone11
cat iphone11

加减赋值操作

chmod go-rw iphone11
ls -alh

g、o 还有 u 分别表示 group（用户组）、others（其他用户） 和 user（用户），+ 和 - 分别表示增加和去掉相应的权限。

Linux 目录结构及文件基本操作

Linux 目录结构
Linux 的目录与 Windows 的目录的区别，一种不同是体现在目录与存储介质（磁盘，内存，DVD 等）的关系上，以往的 Windows 一直是以存储介质为主的，主要以盘符（C 盘，D 盘...）及分区来实现文件管理，然后之下才是目录，目录就显得不是那么重要，除系统文件之外的用户文件放在任何地方任何目录也是没有多大关系。所以通常 Windows 在使用一段时间后，磁盘上面的文件目录会显得杂乱无章（少数善于整理的用户除外吧）。然而 UNIX/Linux 恰好相反，UNIX 是以目录为主的，Linux 也继承了这一优良特性。 Linux 是以树形目录结构的形式来构建整个系统的，可以理解为树形目录是一个用户可操作系统的骨架。虽然本质上无论是目录结构还是操作系统内核都是存储在磁盘上的，但从逻辑上来说 Linux 的磁盘是“挂在”（挂载在）目录上的，每一个目录不仅能使用本地磁盘分区的文件系统，也可以使用网络上的文件系统。举例来说，可以利用网络文件系统（Network File System，NFS）服务器载入某特定目录等。
FHS 标准
FHS 定义了两层规范，第一层是， / 下面的各个目录应该要放什么文件数据，例如 /etc 应该放置设置文件，/bin 与 /sbin 则应该放置可执行文件等等。第二层则是针对 /usr 及 /var 这两个目录的子目录来定义。例如 /var/log 放置系统日志文件，/usr/share 放置共享数据等等。

image.png

tree /

image.png

cd /usr/local/bin/

cd ../../../usr/local/bin/

新建文件
使用 touch 命令创建空白文件，关于 touch 命令，其主要作用是来更改已有文件的时间戳的（比如，最近访问时间，最近修改时间），但其在不加任何参数的情况下，只指定一个文件名，则可以创建一个指定文件名的空白文件（不会覆盖已有同名文件）。

touch test

使用 mkdir（make directories）命令可以创建一个空目录，也可同时指定创建目录的权限属性。

mkdir mydir

使用 -p 参数，同时创建父目录（如果不存在该父目录），如下我们同时创建一个多级目录（这在安装软件、配置安装路径时非常有用）：

mkdir -p father/son/grandson

若当前目录已经创建了一个 test 文件，再使用 mkdir test 新建同名的文件夹，系统会报错文件已存在。若当前目录存在一个 test 文件夹，则 touch 命令，则会更改该文件夹的时间戳而不是新建文件。
复制
使用 cp 命令（copy）复制一个文件到指定目录。

cp test father/son/grandson/

要成功复制目录需要加上 -r 或者 -R 参数，表示递归复制。

cd /home/shiyanlou
mkdir family
cp -r father family

** 删除**
使用 rm（remove files or directories）命令删除一个文件：

rm test

有时候你会遇到想要删除一些为只读权限的文件，直接使用 rm 删除会显示一个提示，忽略这提示，直接删除文件，可以使用 -f 参数强制删除：

rm -f test

跟复制目录一样，要删除一个目录，也需要加上 -r 或 -R 参数：

rm -r family

遇到权限不足删除不了的目录也可以和删除文件一样加上 -f 参数：

rm -rf family

移动文件与文件重命名
使用 mv（move or rename files）命令移动文件（剪切）。

mkdir Documents
touch file1
mv file1 Documents

mv 命令除了能移动文件外，还能给文件重命名。

mv file1 myfile

要实现批量重命名，mv 命令就有点力不从心了，我们可以使用一个看起来更专业的命令 rename 来实现。不过它要用 perl 正则表达式来作为参数。

touch file{1..5}.txt
rename 's/\.txt/\.c/' *.txt
rename 'y/a-z/A-Z/' *.c

rename 是先使用第二个参数的通配符匹配所有后缀为 .txt 的文件，然后使用第一个参数提供的正则表达式将匹配的这些文件的 .txt 后缀替换为 .c。
查看文件
使用 cat，tac 和 nl 命令查看文件
前两个命令都是用来打印文件内容到标准输出（终端），其中 cat 为正序显示，tac 为倒序显示。
标准输入输出：当我们执行一个 shell 命令行时通常会自动打开三个标准文件，即标准输入文件（stdin），默认对应终端的键盘、标准输出文件（stdout）和标准错误输出文件（stderr），后两个文件都对应被重定向到终端的屏幕，以便我们能直接看到输出内容。进程将从标准输入文件中得到输入数据，将正常输出数据输出到标准输出文件，而将错误信息送到标准错误文件中。

cp /etc/passwd passwd
cat passwd

加上 -n 参数显示行号：

cat -n passwd

nl 命令，添加行号并打印，这是个比 cat -n 更专业的行号打印命令。

-b : 指定添加行号的方式，主要有两种：
    -b a:表示无论是否为空行，同样列出行号("cat -n"就是这种方式)
    -b t:只列出非空行的编号并列出（默认为这种方式）
-n : 设置行号的样式，主要有三种：
    -n ln:在行号字段最左端显示
    -n rn:在行号字段最右边显示，且不加 0
    -n rz:在行号字段最右边显示，且加 0
-w : 行号字段占用的位数(默认为 6 位)

使用 more 和 less 命令分页查看文件
more 和 less 就是天生用来"阅读"一个文件的内容的，比如说 man 手册内部就是使用的 less 来显示内容。其中 more 命令比较简单，只能向一个方向滚动，而 less 为基于 more 和 vi （一个强大的编辑器，我们有单独的课程来让你学习）开发，功能更强大。less 的使用基本和 more 一致。

more passwd

打开后默认只显示一屏内容，终端底部显示当前阅读的进度。可以使用 Enter 键向下滚动一行，使用 Space 键向下滚动一屏，按下 h 显示帮助，q 退出。
使用 head 和 tail 命令查看文件
只查看文件的头几行（默认为 10 行，不足 10 行则显示全部）和尾几行。

tail /etc/passwd

甚至更直接的只看一行， 加上 -n 参数，后面紧跟行数：

tail -n 1 /etc/passwd

参数 -f，这个参数可以实现不停地读取某个文件的内容并显示。这可以让我们动态查看日志，达到实时监视的目的。
查看文件类型
可以使用 file 命令查看文件的类型：

file /bin/ls

说明这是一个可执行文件，运行在 64 位平台，并使用了动态链接文件（共享库）。
与 Windows 不同的是，如果你新建了一个 shiyanlou.txt 文件，Windows 会自动把它识别为文本文件，而 file 命令会识别为一个空文件。
编辑文件
在 Linux 下面编辑文件通常我们会直接使用专门的命令行编辑器比如（emacs，vim，nano）。
快速地入门，可以直接使用 Linux 内部的 vim 学习教程，输入如下命令即可开始：

vimtutor

环境变量与文件查找

环境变量
所谓变量就是计算机中用于记录一个值（不一定是数值，也可以是字符或字符串）的符号，而这些符号将用于不同的运算处理中。通常变量与值是一对一的关系，可以通过表达式读取它的值并赋值给其它变量，也可以直接指定数值赋值给任意变量。
变量的作用域即变量的有效范围（比如一个函数中、一个源文件中或者全局范围），在该范围内只能有一个同名变量。一旦离开则该变量无效，如同不存在这个变量一般。
使用 declare 命令创建一个变量名为 tmp 的变量：

declare tmp

也可以不用 declare 预声明一个变量，直接即用即创建，这里只是告诉你 declare 的作用，这在创建其它指定类型的变量（如数组）时会用到。
使用 = 号赋值运算符，将变量 tmp 赋值为 shiyanlou。Shell 中的赋值操作，= 两边不可以输入空格，否则会报错。
读取变量的值，使用 echo 命令和 符号用于表示引用一个变量的值）：

echo $tmp

并不是任何形式的变量名都是可用的，变量名只能是英文字母、数字或者下划线，且不能以数字作为开头。
环境变量的作用域比自定义变量的要大，如 Shell 的环境变量作用于自身和它的子进程。在所有的 UNIX 和类 UNIX 系统中，每个进程都有其各自的环境变量设置，且默认情况下，当一个进程被创建时，除了创建过程中明确指定的话，它将继承其父进程的绝大部分环境设置。Shell 程序也作为一个进程运行在操作系统之上，而我们在 Shell 中运行的大部分命令都将以 Shell 的子进程的方式运行。

image.png

当前 Shell 进程私有用户自定义变量，如上面我们创建的 tmp 变量，只在当前 Shell 中有效。Shell 本身内建的变量。从自定义变量导出的环境变量。

image.png

image.png

temp=shiyanlou
export temp_env=shiyanlou
env|sort>env.txt
export|sort>export.txt
set|sort>set.txt

vimdiff env.txt export.txt set.txt

关于哪些变量是环境变量，可以简单地理解成在当前进程的子进程有效则为环境变量，否则不是（有些人也将所有变量统称为环境变量，只是以全局环境变量和局部环境变量进行区分，我们只要理解它们的实质区别即可）。为了与普通变量区分，通常我们习惯将环境变量名设为大写。
按变量的生存周期来划分，Linux 变量可分为两类：
永久的：需要修改配置文件，变量永久生效；
临时的：使用 export 命令行声明即可，变量在关闭 shell 时失效。
/etc/bashrc（有的 Linux 没有这个文件） 和 /etc/profile ，它们分别存放的是 shell 变量和环境变量。还有要注意区别的是每个用户目录下的一个隐藏文件：

cd /home/shiyanlou
ls -a

.profile 只对当前用户永久生效。因为它保存在当前用户的 Home 目录下，当切换用户时，工作目录可能一并被切换到对应的目录中，这个文件就无法生效。而写在 /etc/profile 里面的是对所有用户永久生效，所以如果想要添加一个永久生效的环境变量，只需要打开 /etc/profile，在最后加上你想添加的环境变量就好啦。
命令的查找路径与顺序
命令是通过环境变量 PATH 来进行搜索的。

echo $PATH

通常这一类目录下放的都是可执行文件，当我们在 Shell 中执行一个命令时，系统就会按照 PATH 中设定的路径按照顺序依次到目录中去查找，如果存在同名的命令，则执行先找到的那个。

cd /home/shiyanlou
touch hello_shell.sh
vim hello_shell.sh

#!/bin/bash

for ((i=0; i<10; i++));do
    echo "hello shell"
done

exit 0

chmod 755 hello_shell.sh

添加自定义路径到“ PATH ”环境变量
我们可以这样添加自定义路径：

PATH=$PATH:/home/shiyanlou/mybin

这里一定要使用绝对路径。
在每个用户的 home 目录中有一个 Shell 每次启动时会默认执行一个配置脚本，以初始化环境，包括添加一些用户自定义环境变量等等。
在每个用户的 home 目录中有一个 Shell 每次启动时会默认执行一个配置脚本，以初始化环境，包括添加一些用户自定义环境变量等等，配置文件为 .bashrc。它们在 etc 下还都有一个或多个全局的配置文件，不过我们一般只修改用户目录下的配置文件。

cat /etc/shells

我们可以简单地使用下面命令直接添加内容到 .bashrc 中：

echo "PATH=$PATH:/home/shiyanlou/mybin" >> .bashrc

>> 表示将标准输出以追加的方式重定向到一个文件中，注意前面用到的 > 是以覆盖的方式重定向到一个文件中，使用的时候一定要注意分辨。在指定文件不存在的情况下都会创建新的文件。
修改和删除已有变量
变量的修改有以下几种方式：

image.png

echo $mypath
mypath=${mypath%/home/shiyanlou/mybin}
mypath=${mypath%*/mybin}

可以使用 unset 命令删除一个环境变量：

unset mypath

如何让环境变量立即生效
可以使用 source 命令来让其立即生效

source .bashrc

source 命令还有一个别名就是 .，上面的命令如果替换成 . 的方式就该是：

. .bashrc

在使用 . 的时候，需要注意与表示当前路径的那个点区分开。
搜索文件
与搜索相关的命令常用的有 whereis，which，find 和 locate。
whereis 简单快速

whereis who
whereis find

whereis find 找到了三个路径，两个可执行文件路径和一个 man 在线帮助文件所在路径，这个搜索很快，因为它并没有从硬盘中依次查找，而是直接从数据库中查询。
whereis 只能搜索二进制文件（-b），man 帮助文件（-m）和源代码文件（-s）。如果想要获得更全面的搜索结果可以使用 locate 命令。
locate 快而全
使用 locate 命令查找文件也不会遍历硬盘，它通过查询 /var/lib/mlocate/mlocate.db 数据库来检索信息。不过这个数据库也不是实时更新的，系统会使用定时任务每天自动执行 updatedb 命令来更新数据库。所以有时候你刚添加的文件，它可能会找不到，需要手动执行一次 updatedb 命令，这个命令也不是内置的命令，在部分环境中需要手动安装，然后执行更新。

sudo apt-get update
sudo apt-get install locate
sudo updatedb

它可以用来查找指定目录下的不同文件类型，如查找 /etc 下所有以 sh 开头的文件：

locate /etc/sh

它不只是在 /etc 目录下查找，还会自动递归子目录进行查找。
查找 /usr/share/ 下所有 jpg 文件：

locate /usr/share/\*.jpg

要添加 * 号前面的反斜杠转义，否则会无法找到。
如果想只统计数目可以加上 -c 参数，-i 参数可以忽略大小写进行查找，whereis 的 -b、-m、-s 同样可以使用。
which 小而精
which 本身是 Shell 内建的一个命令，我们通常使用 which 来确定是否安装了某个指定的程序，因为它只从 PATH 环境变量指定的路径中去搜索命令并且返回第一个搜索到的结果。也就是说，我们可以看到某个系统命令是否存在以及执行的到底是哪一个地方的命令。

which man
which nginx
which ping

find 精而细
find 它不但可以通过文件类型、文件名进行查找而且可以根据文件的属性（如文件的时间戳，文件的权限等）进行搜索。

sudo find /etc/ -name interfaces

这条命令表示去 /etc/ 目录下面 ，搜索名字叫做 interfaces 的文件或者目录。这是 find 命令最常见的格式， find 的第一个参数是要搜索的地方。命令前面加上 sudo 是因为jachin 只是普通用户，对 /etc 目录下的很多文件都没有访问的权限，如果是 root 用户则不用使用。
find 命令的路径是作为第一个参数的， 基本命令格式为 find [path][option] [action] 。
与时间相关的命令参数：

image.png

以 -mtime 参数举例：
-mtime n：n 为数字，表示为在 n 天之前的“一天之内”修改过的文件
-mtime +n：列出在 n 天之前（不包含 n 天本身）被修改过的文件
-mtime -n：列出在 n 天之内（包含 n 天本身）被修改过的文件
-newer file：file 为一个已存在的文件，列出比 file 还要新的文件名

image.png

find ~ -mtime 0

列出用户家目录下比 /etc 目录新的文件：

find ~ -newer /etc

寻找文件
找到 sources.list 文件

sudo find /etc -name sources.list

把文件所有者改为自己（jachin）

sudo chown shiyanlou /etc/apt/sources.list

把权限修改为仅仅只有自己可读可写

sudo chmod 600 /etc/apt/sources.list

文件打包与解压缩

image.png

zip -r -q -o shiyanlou.zip /home/shiyanlou/Desktop
du -h shiyanlou.zip
file shiyanlou.zip

-r 参数表示递归打包包含子目录的全部内容，-q 参数表示为安静模式，即不向屏幕输出信息，-o，表示输出文件，需在其后紧跟打包输出文件名。后面使用 du 命令查看打包后文件的大小。
设置压缩级别为 9 和 1（9 最大，1 最小），重新打包：

zip -r -9 -q -o shiyanlou_9.zip /home/shiyanlou/Desktop -x ~/*.zip
zip -r -1 -q -o shiyanlou_1.zip /home/shiyanlou/Desktop -x ~/*.zip

1 表示最快压缩但体积大，9 表示体积最小但耗时最久。最后那个 -x 是为了排除我们上一次创建的 zip 文件，否则又会被打包进这一次的压缩文件中，注意：这里只能使用绝对路径，否则不起作用。
再用 du 命令分别查看默认压缩级别、最低、最高压缩级别及未压缩的文件的大小：

du -h -d 0 *.zip ~ | sort

-h， --human-readable
-d， --max-depth（所查看文件的深度）
使用 -e 参数可以创建加密压缩包：

zip -r -e -o shiyanlou_encryption.zip /home/shiyanlou/Desktop

如果你想让你在 Linux 创建的 zip 压缩文件在 Windows 上解压后没有任何问题，那么你还需要对命令做一些修改：

zip -r -l -o shiyanlou.zip /home/shiyanlou/Desktop

加上 -l 参数将 LF(换行) 转换为 CR+LF(回车+换行) 来达到以上目的。
使用 unzip 命令解压缩 zip 文件

unzip shiyanlou.zip

使用安静模式，将文件解压到指定目录：

unzip -q shiyanlou.zip -d ziptest

指定目录不存在，将会自动创建。如果你不想解压只想查看压缩包的内容你可以使用 -l 参数：

unzip -l shiyanlou.zip

使用 unzip 解压文件时我们同样应该注意兼容问题，不过这里我们关心的不再是上面的问题，而是中文编码的问题，通常 Windows 系统上面创建的压缩文件，如果有有包含中文的文档或以中文作为文件名的文件时默认会采用 GBK 或其它编码，而 Linux 上面默认使用的是 UTF-8 编码，如果不加任何处理，直接解压的话可能会出现中文乱码的问题（有时候它会自动帮你处理），为了解决这个问题，我们可以在解压时指定编码类型。
使用 -O（英文字母，大写 o）参数指定编码类型：

unzip -O GBK 中文压缩文件.zip

tar 打包工具
tar 原本只是一个打包工具，只是同时还是实现了对 7z、gzip、xz、bzip2 等工具的支持，这些压缩工具本身只能实现对文件或目录（单独压缩目录中的文件）的压缩，没有实现对文件的打包压缩，所以我们也无需再单独去学习其他几个工具，tar 的解压和压缩都是同一个命令，只需参数不同。

tar -P -cf shiyanlou.tar /home/shiyanlou/Desktop

P 保留绝对路径符，-c 表示创建一个 tar 包文件，-f 用于指定创建的文件名，注意文件名必须紧跟在 -f 参数之后，还可以加上 -v 参数以可视的的方式输出打包的文件。
解包一个文件（-x 参数）到指定路径的已存在目录（-C 参数）：

mkdir tardir
tar -xf shiyanlou.tar -C tardir

只查看不解包文件 -t 参数：

tar -tf shiyanlou.tar

保留文件属性和跟随链接（符号链接或软链接），有时候我们使用 tar 备份文件当你在其他主机还原时希望保留文件的属性（-p 参数）和备份链接指向的源文件而不是链接本身（-h 参数）：

tar -cphf etc.tar /etc

在创建 tar 文件的基础上添加 -z 参数，使用 gzip 来压缩文件：

tar -czf shiyanlou.tar.gz /home/shiyanlou/Desktop

解压 *.tar.gz 文件：

tar -xzf shiyanlou.tar.gz

要使用其它的压缩工具创建或解压相应文件只需要更改一个参数即可：

image.png

文件系统操作与磁盘管理

查看磁盘和目录的容量

df

物理主机上的 /dev/sda1 是对应着主机硬盘的分区，后面的数字表示分区号，数字前面的字母 a 表示第几块硬盘（也可能是可移动磁盘），你如果主机上有多块硬盘则可能还会出现 /dev/sdb，/dev/sdc 这些磁盘设备都会在 /dev 目录下以文件的存在形式。
1K-blocks示以磁盘块大小的方式显示容量，后面为相应的以块大小表示的已用和可用容量。

df -h

使用 du 命令查看目录的容量

du     # 默认同样以块的大小展示
du -h    # 加上 `-h` 参数，以更易读的方式展示
du -h -d 0 ~    # 只查看 1 级目录的信息
du -h -d 1 ~    # 查看 2 级
du -h # 同 --human-readable 以 K，M，G 为单位，提高信息的可读性。
du -a # 同 --all 显示目录中所有文件的大小。
du -s # 同 --summarize 仅显示总计，只列出最后加总的值。

简单的磁盘管理
创建虚拟磁盘
dd 命令用于转换和复制文件，不过它的复制不同于 cp。在 Linux 上，硬件的设备驱动（如硬盘）和特殊设备文件（如 /dev/zero 和 /dev/random）都像普通文件一样，只是在各自的驱动程序中实现了对应的功能，dd 也可以读取文件或写入这些文件。dd 也可以用在备份硬件的引导扇区、获取一定数量的随机数据或者空数据等任务中。dd 程序也可以在复制时处理数据，例如转换字节序、或在 ASCII 与 EBCDIC 编码间互换。dd 默认从标准输入中读取，并写入到标准输出中，但可以用选项 if（input file，输入文件）和 of（output file，输出文件）改变。
用 dd 命令从标准输入读入用户的输入到标准输出或者一个文件中：

root@ubuntu:/home/jachin# dd of=test bs=10 count=1
hello shiyanlou
1+0 records in
1+0 records out
10 bytes copied, 9.89634 s, 0.0 kB/s
root@ubuntu:/home/jachin# anlou
anlou: command not found
root@ubuntu:/home/jachin# du -b test
10      test
root@ubuntu:/home/jachin# cat test
hello shiyroot@ubuntu:/home/jachin#

上述命令从标准输入设备读入用户输入（缺省值，所以可省略）然后输出到 test 文件，bs（block size）用于指定块大小（缺省单位为 Byte，也可为其指定如 K，M，G 等单位），count 用于指定块数量。指定只读取总共 10 个字节的数据，当我输入了 hello shiyanlou 之后加上空格回车总共 16 个字节（一个英文字符占一个字节）内容，显然超过了设定大小。使用 du 和 cat 10 个字节，而其他的多余输入将被截取并保留在标准输入。
将输出的英文字符转换为大写再写入文件：

root@ubuntu:/home/jachin# dd if=/dev/stdin of=test bs=10 count=1 conv=ucase
shiyanlou
1+0 records in
1+0 records out
10 bytes copied, 10.4515 s, 0.0 kB/s
root@ubuntu:/home/jachin# cat test
SHIYANLOU

从 /dev/zero 设备创建一个容量为 256M 的空文件：

root@ubuntu:/home/jachin# dd if=/dev/zero of=virtual.img bs=1M count=256
256+0 records in
256+0 records out
268435456 bytes (268 MB, 256 MiB) copied, 10.3474 s, 25.9 MB/s
root@ubuntu:/home/jachin# du -h virtual.img
256M    virtual.img

将我们的虚拟磁盘镜像格式化为 ext4 文件系统：

root@ubuntu:/home/jachin# mkfs.ext4 virtual.img
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 262144 1k blocks and 65536 inodes
Filesystem UUID: eb7c8b89-67b5-4246-88a9-87527d8119bb
Superblock backups stored on blocks:
        8193, 24577, 40961, 57345, 73729, 204801, 221185

Allocating group tables: done
Writing inode tables: done
Creating journal (8192 blocks): done
Writing superblocks and filesystem accounting information: done

可以看到实际 mkfs.ext4 是使用 mke2fs 来完成格式化工作的。
用户在 Linux/UNIX 的机器上打开一个文件以前，包含该文件的文件系统必须先进行挂载的动作，此时用户要对该文件系统执行 mount 的指令以进行挂载。该指令通常是使用在 USB 或其他可移除存储设备上，而根目录则需要始终保持挂载的状态。又因为 Linux/UNIX 文件系统可以对应一个文件而不一定要是硬件设备，所以可以挂载一个包含文件系统的文件到目录树。
Linux/UNIX 命令行的 mount 指令是告诉操作系统，对应的文件系统已经准备好，可以使用了，而该文件系统会对应到一个特定的点（称为挂载点）。挂载好的文件、目录、设备以及特殊文件即可提供用户使用。

mount

输出的结果中每一行表示一个设备或虚拟设备，每一行最前面是设备名，然后是 on 后面是挂载点，type 后面表示文件系统类型，再后面是挂载选项（比如可以在挂载时设定以只读方式挂载等等）。
挂载我们创建的虚拟磁盘镜像到 /mnt 目录：

mount -o loop -t ext4 virtual.img /mnt
# 也可以省略挂载类型，很多时候 mount 会自动识别
# 以只读方式挂载
mount -o loop --ro virtual.img /mnt
# 或者 mount -o loop,ro virtual.img /mnt

使用 umount 命令卸载已挂载磁盘

umount /mnt/

在类 UNIX 系统中，/dev/loop（或称 vnd （vnode disk）、lofi（循环文件接口））是一种伪设备，这种设备使得文件可以如同块设备一般被访问。
在使用之前，循环设备必须与现存文件系统上的文件相关联。这种关联将提供给用户一个应用程序接口，接口将允许文件视为块特殊文件（参见设备文件系统）使用。因此，如果文件中包含一个完整的文件系统，那么这个文件就能如同磁盘设备一般被挂载。
这种设备文件经常被用于光盘或是磁盘镜像。通过循环挂载来挂载包含文件系统的文件，便使处在这个文件系统中的文件得以被访问。这些文件将出现在挂载点目录。如果挂载目录中本身有文件，这些文件在挂载后将被禁止使用。

# 查看硬盘分区表信息
sudo fdisk -l

输出结果中开头显示了我主机上的磁盘的一些信息，包括容量扇区数，扇区大小，I/O 大小等信息。
/dev/sda1，/dev/sda2 为主分区分别安装了 Windows 和 Linux 操作系统，/dev/sda3 为交换分区（可以理解为虚拟内存），/dev/sda4 为扩展分区其中包含 /dev/sda5，/dev/sda6，/dev/sda7，/dev/sda8 四个逻辑分区，因为主机上有几个分区之间有空隙，没有对齐边界扇区，所以分区之间不是完全连续的。

# 进入磁盘分区模式
sudo fdisk virtual.img

在进行操作前我们首先应先规划好我们的分区方案，这里我将在使用 128M（可用 127M 左右）的虚拟磁盘镜像创建一个 30M 的主分区剩余部分为扩展分区包含 2 个大约 45M 的逻辑分区。
操作完成后输入 p 查看结果如下:

image.png

使用 losetup 命令建立镜像与回环设备的关联

sudo losetup /dev/loop0 virtual.img
# 如果提示设备忙你也可以使用其它的回环设备，"ls /dev/loop*"参看所有回环设备
# 解除设备关联
sudo losetup -d /dev/loop0

然后再使用 mkfs 格式化各分区（前面我们是格式化整个虚拟磁盘镜像文件或磁盘），不过格式化之前，我们还要为各分区建立虚拟设备的映射。

sudo apt-get install kpartx
sudo kpartx -av /dev/loop0
# 取消映射
sudo kpartx -dv /dev/loop0

接着再是格式化，我们将其全部格式化为 ext4：

sudo mkfs.ext4 -q /dev/mapper/loop0p1
sudo mkfs.ext4 -q /dev/mapper/loop0p5
sudo mkfs.ext4 -q /dev/mapper/loop0p6

格式化完成后在 /media 目录下新建四个空目录用于挂载虚拟磁盘：

mkdir -p /media/virtualdisk_{1..3}

# 挂载磁盘分区
sudo mount /dev/mapper/loop0p1 /media/virtualdisk_1
sudo mount /dev/mapper/loop0p5 /media/virtualdisk_2
sudo mount /dev/mapper/loop0p6 /media/virtualdisk_3
# 卸载磁盘分区
sudo umount /dev/mapper/loop0p1
sudo umount /dev/mapper/loop0p5
sudo umount /dev/mapper/loop0p6

df -h

Linux下的帮助命令

内建命令与外部命令
内建命令实际上是 shell 程序的一部分，其中包含的是一些比较简单的 Linux 系统命令，这些命令是写在 bash 源码的 builtins 里面的，由 shell 程序识别并在 shell 程序内部完成运行，通常在 Linux 系统加载运行时 shell 就被加载并驻留在系统内存中。而且解析内部命令 shell 不需要创建子进程，因此其执行速度比外部命令快。比如：history、cd、exit 等等。
外部命令是 Linux 系统中的实用程序部分，因为实用程序的功能通常都比较强大，所以其包含的程序量也会很大，在系统加载时并不随系统一起被加载到内存中，而是在需要时才将其调入内存。虽然其不包含在 shell 中，但是其命令执行过程是由 shell 程序控制的。外部命令是在 Bash 之外额外安装的，通常放在/bin，/usr/bin，/sbin，/usr/sbin 等等。比如：ls、vi 等。
简单来说就是：一个是天生自带的天赋技能，一个是后天得来的附加技能。我们可以使用　 type 命令来区分命令是内建的还是外部的。

type exit
type vim
type ls

help 命令
help 命令是用于显示 shell 内建命令的简要帮助信息，帮助信息中显示有该命令的简要说明以及一些参数的使用以及说明。
外部命令基本上都有一个参数 --help，这样就可以得到相应的帮助，看到你想要的东西了。

ls --help

man 命令

man ls

man 没有内建与外部命令的区分，因为 man 工具是显示系统手册页中的内容，也就是一本电子版的字典，这些内容大多数都是对命令的解释信息，还有一些相关的描述。通过查看系统文档中的 man 也可以得到程序的更多相关信息和 Linux 的更多特性。

image.png

info ls

是 GNU 的超文本帮助系统，能够更完整的显示出 GNU 信息。info 工具可显示更完整的　 GNU 　工具信息。
Linux任务计划crontab
crontab 命令从输入设备读取指令，并将其存放于 crontab 文件中，以供之后读取和执行。通常，crontab 储存的指令被守护进程激活，crond 为其守护进程，crond 常常在后台运行，每一分钟会检查一次是否有预定的作业需要执行。
通过 crontab 命令，我们可以在固定的间隔时间执行指定的系统指令或 shell 脚本。时间间隔的单位可以是分钟、小时、日、月、周的任意组合。

# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name command to be executed

启动 rsyslog，以便我们可以通过日志中的信息来了解我们的任务是否真正的被执行了。

sudo service rsyslog start

sudo cron －f &

第一次启动会出现这样一个画面，这是让我们选择编辑的工具，选择第二个基本的 vim 就可以了。

image.png

在文档的最后一排加上这样一排命令，该任务是每分钟我们会在/home/shiyanlou 目录下创建一个以当前的年月日时分秒为名字的空白文件

*/1 * * * * touch /home/jachin/$(date +\%Y\%m\%d\%H\%M\%S)

“ % ” 在 crontab 文件中，有结束命令行、换行、重定向的作用，前面加 ” \ ” 符号转义，否则，“ % ” 符号将执行其结束命令行或者换行的作用，并且其后的内容会被做为标准输入发送给前面的命令。
查看我们添加了哪些任务：

crontab -l

虽然我们添加了任务，但是如果 cron 的守护进程并没有启动，它根本都不会监测到有任务，当然也就不会帮我们执行，我们可以通过以下 2 种方式来确定我们的 cron 是否成功的在后台启动，默默的帮我们做事，若是没有就得执行上文准备中的第二步了。

ps aux | grep cron
pgrep cron

可以看到任务在创建之后，执行了几次，生成了一些文件，且每分钟生成一个：

ll

可以查看到执行任务命令之后在日志中的信息反馈：

sudo tail -f /var/log/syslog

当我们并不需要这个任务的时候我们可以使用这么一个命令去删除任务：

crontab -r

们可以看出我们删除之后再查看任务列表，系统已经显示该用户并没有任务。

crontab -l

每个用户使用 crontab -e 添加计划任务，都会在 /var/spool/cron/crontabs 中添加一个该用户自己的任务文档，这样目的是为了隔离。

ll /var/spool/cron/crontabs/

如果是系统级别的定时任务，只需要使用 sudo 编辑 /etc/crontab 文件就可以。
cron 服务监测时间最小单位是分钟，所以 cron 会每分钟去读取一次 /etc/crontab 与 /var/spool/cron/crontabs 里面的內容。
在 /etc 目录下，cron 相关的目录有下面几个：

ll /etc/ | grep cron

/etc/cron.daily，目录下的脚本会每天执行一次，在每天的 6 点 25 分时运行；
/etc/cron.hourly，目录下的脚本会每个小时执行一次，在每小时的 17 分钟时运行；
/etc/cron.monthly，目录下的脚本会每月执行一次，在每月 1 号的 6 点 52 分时运行；
/etc/cron.weekly，目录下的脚本会每周执行一次，在每周第七天的 6 点 47 分时运行；
系统默认执行时间可以根据需求进行修改。
备份日志
为jachin 用户添加计划任务
每天凌晨 3 点的时候定时备份 alternatives.log 到 /home/jachin/tmp/ 目录
命名格式为 年-月-日，比如今天是 2017 年 4 月 1 日，那么文件名为 2017-04-01

sudo cron -f &
   crontab -e # 添加
   0 3 * * * sudo rm /home/jachin/tmp/*
   0 3 * * * sudo cp /var/log/alternatives.log
 /home/jachin/tmp/$(date +\%Y-\%m-\%d)

命令执行顺序控制与管道

顺序执行多条命令
简单的顺序执行你可以使用 ; 来完成。
有选择的执行命令
比如上一条命令执行成功才继续下一条，或者不成功又该做出其它什么处理，比如我们使用 which 来查找是否安装某个命令，如果找到就执行该命令，否则什么也不做

which cowsay>/dev/null && cowsay -f head-in ohch~

&& 就是用来实现选择性执行的，它表示如果前面的命令执行结果（不是表示终端输出的内容，而是表示命令执行状态的结果）返回 0 则执行后面的，否则不执行。
shell 中的这两个符号除了也可用于表示逻辑与和或之外，就是可以实现这里的命令执行顺序的简单控制。|| 在这里就是与 && 相反的控制效果，当上一条命令执行结果为 ≠0($?≠0) 时则执行它后面的命令：

which cowsay>/dev/null || echo "cowsay has not been install, please run 'sudo apt-get install cowsay' to install"

which cowsay>/dev/null && echo "exist" || echo "not exist"

image.png

ls -al /etc

ls -al /etc | less

** cut 命令，打印每一行的某一字段**
打印 /etc/passwd 文件中以 : 为分隔符的第 1 个字段和第 6 个字段分别表示用户名和其家目录：

cut /etc/passwd -d ':' -f 1,6

打印 /etc/passwd 文件中每一行的前 N 个字符：

# 前五个（包含第五个）
cut /etc/passwd -c -5
# 前五个之后的（包含第五个）
cut /etc/passwd -c 5-
# 第五个
cut /etc/passwd -c 5
# 2 到 5 之间的（包含第五个）
cut /etc/passwd -c 2-5

grep 命令，在文本中或 stdin 中查找匹配字符串
我们搜索/home/jachin目录下所有包含"jachin"的文本文件，并显示出现在文本中的行号：

grep -rnI "jachin" ~

-r 参数表示递归搜索子目录中的文件，-n 表示打印匹配项行号，-I 表示忽略二进制文件。
也可以在匹配字段中使用正则表达式:

# 查看环境变量中以 "yanlou" 结尾的字符串
export | grep ".*yanlou$"

其中$就表示一行的末尾。
wc 命令，简单小巧的计数工具
wc 命令用于统计并输出一个文件中行、单词和字节的数目，比如输出 /etc/passwd 文件的统计信息：

wc /etc/passwd

# 行数
wc -l /etc/passwd
# 单词数
wc -w /etc/passwd
# 字节数
wc -c /etc/passwd
# 字符数
wc -m /etc/passwd
# 最长行字节数
wc -L /etc/passwd

对于西文字符来说，一个字符就是一个字节，但对于中文字符一个汉字是大于 2 个字节的，具体数目是由字符编码决定的。
结合管道来操作一下，下面统计 /etc 下面所有目录数：

ls -dl /etc/*/ | wc -l

sort 排序命令
将输入按照一定方式排序，然后再输出，它支持的排序有按字典排序，数字排序，按月份排序，随机排序，反转排序，指定特定字段进行排序等等。
默认为字典排序：

cat /etc/passwd | sort

反转排序：

cat /etc/passwd | sort -r

按特定字段排序：

cat /etc/passwd | sort -t':' -k 3

-t参数用于指定字段的分隔符，这里是以":"作为分隔符；-k 字段号用于指定对哪一个字段进行排序。这里/etc/passwd文件的第三个字段为数字，默认情况下是以字典序排序的，如果要按照数字排序就要加上-n参数：

cat /etc/passwd | sort -t':' -k 3 -n

uniq 去重命令
过滤重复行
可以使用 history 命令查看最近执行过的命令（实际为读取 ${SHELL}_history 文件），不过你可能只想查看使用了哪个命令而不需要知道具体干了什么，那么你可能就会要想去掉命令后面的参数然后去掉重复的命令：

history | cut -c 8- | cut -d ' ' -f 1 | uniq

然后经过层层过滤，你会发现确是只输出了执行的命令那一列，不过去重效果好像不明显，仔细看你会发现它确实去重了，只是不那么明显，之所以不明显是因为 uniq 命令只能去连续重复的行，不是全文去重，所以要达到预期效果，我们先排序：

history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq
# 或者
history | cut -c 8- | cut -d ' ' -f 1 | sort -u

输出重复行

# 输出重复过的行（重复的只输出一个）及重复次数
history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq -dc
# 输出所有重复的行
history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq -D

简单的文本处理

tr 命令
tr 命令可以用来删除一段文本信息中的某些文字。或者将其进行转换。

image.png

# 删除 "hello shiyanlou" 中所有的'o'，'l'，'h'
$ echo 'hello shiyanlou' | tr -d 'olh'
# 将"hello" 中的ll，去重为一个l
$ echo 'hello' | tr -s 'l'
# 将输入文本，全部转换为大写或小写输出
$ echo 'input some text here' | tr '[:lower:]' '[:upper:]'
# 上面的'[:lower:]' '[:upper:]'你也可以简单的写作'[a-z]' '[A-Z]'，当然反过来将大写变小写也是可以的

col 命令
col 命令可以将Tab换成对等数量的空格键，或反转这个操作。

image.png

# 查看 /etc/protocols 中的不可见字符，可以看到很多 ^I ，这其实就是 Tab 转义成可见字符的符号
cat -A /etc/protocols
# 使用 col -x 将 /etc/protocols 中的 Tab 转换为空格，然后再使用 cat 查看，你发现 ^I 不见了
cat /etc/protocols | col -x | cat -A

join 命令
这个命令就是用于将两个文件中包含相同内容的那一行合并在一起。

image.png

# 创建两个文件
echo '1 hello' > file1
echo '1 shiyanlou' > file2
join file1 file2
# 将 /etc/passwd 与 /etc/shadow 两个文件合并，指定以':'作为分隔符
sudo join -t':' /etc/passwd /etc/shadow
# 将 /etc/passwd 与 /etc/group 两个文件合并，指定以':'作为分隔符，分别比对第4和第3个字段
sudo join -t':' -1 4 /etc/passwd -2 3 /etc/group

paste 命令
它是在不对比数据的情况下，简单地将多个文件合并一起，以Tab隔开。

image.png

echo hello > file1
echo shiyanlou > file2
echo www.shiyanlou.com > file3
paste -d ':' file1 file2 file3
paste -s file1 file2 file3

数据流重定向

echo 'hello shiyanlou' > redirect
echo 'www.shiyanlou.com' >> redirect
cat redirect

stdin（标准输入，对应于你在终端的输入），stdout（标准输出，对应于终端的输出），stderr（标准错误输出，对应于终端的输出）。

image.png

文件描述符：文件描述符在形式上是一个非负整数。实际上，它是一个索引值，指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时，内核向进程返回一个文件描述符。在程序设计中，一些涉及底层的程序编写往往会围绕着文件描述符展开。但是文件描述符这一概念往往只适用于 UNIX、Linux 这样的操作系统。
将 cat 的连续输出（heredoc 方式）重定向到一个文件：

mkdir Documents
cat > Documents/test.c <<EOF
#include <stdio.h>

int main()
{
    printf("hello world\n");
    return 0;
}

EOF

将一个文件作为命令的输入，标准输出作为命令的输出：

cat Documents/test.c

将 echo 命令通过管道传过来的数据作为 cat 命令的输入，将标准输出作为命令的输出：

echo 'hi' | cat

将 echo 命令的输出从默认的标准输出重定向到一个普通文件：

echo 'hello shiyanlou' > redirect
cat redirect

标准错误重定向
标准输出和标准错误都被指向伪终端的屏幕显示，所以我们经常看到的一个命令的输出通常是同时包含了标准输出和标准错误的结果的。

# 使用cat 命令同时读取两个文件，其中一个存在，另一个不存在
cat Documents/test.c hello.c
# 你可以看到除了正确输出了前一个文件的内容，还在末尾出现了一条错误信息
# 下面我们将输出重定向到一个文件
cat Documents/test.c hello.c > somefile

# 将标准错误重定向到标准输出，再将标准输出重定向到文件，注意要将重定向到文件写到前面
cat Documents/test.c hello.c >somefile  2>&1
# 或者只用bash提供的特殊的重定向符号"&"将标准错误和标准输出同时重定向到文件
cat Documents/test.c hello.c &>somefilehell

使用 tee 命令同时重定向到多个文件

echo 'hello shiyanlou' | tee hello

永久重定向
exec 命令的作用是使用指定的命令替换当前的 Shell，即使用一个进程替换当前进程，或者指定新的重定向：

# 先开启一个子 Shell
sh
# 使用exec替换当前进程的重定向，将标准输出重定向到一个文件
exec 1>somefile
# 后面你执行的命令的输出都将被重定向到文件中，直到你退出当前子shell，或取消exec的重定向（后面将告诉你怎么做）
ls
exit
cat somefile

创建输出文件描述符
在 Shell 中有 9 个文件描述符。
查看当前 Shell 进程中打开的文件描述符：

cd /dev/fd/;ls -Al

sh
exec 3>somefile
# 先进入目录，再查看，否则你可能不能得到正确的结果，然后再回到上一次的目录
cd /dev/fd/;ls -Al;cd -
# 注意下面的命令>与&之间不应该有空格，如果有空格则会出错
echo "this is test" >&3
cat somefile
exit

关闭文件描述符

exec 3>&-
cd /dev/fd;ls -Al;cd -

完全屏蔽命令的输出
在类 UNIX 系统中，/dev/null，或称空设备，是一个特殊的设备文件，它通常被用于丢弃不需要的输出流，或作为用于输入流的空文件，这些操作通常由重定向完成。读取它则会立即得到一个 EOF。
屏蔽命令的输出：

cat Documents/test.c 1>/dev/null 2>&1

使用 xargs 分割参数列表
xargs 是一条 UNIX 和类 UNIX 操作系统的常用命令。它的作用是将参数列表转换成小块分段传递给其他命令，以避免参数列表过长的问题。
这个命令在有些时候十分有用，特别是当用来处理产生大量输出结果的命令如 find，locate 和 grep 的结果

cut -d: -f1 < /etc/passwd | sort | xargs echo

将 /etc/passwd 文件按 : 分割取第一个字段排序后，使用 echo 命令生成一个列表。
历史命令
结果包含三行内容，每行内容都是出现的次数和命令名称，如“100 ls”

wget https://labfile.oss.aliyuncs.com/courses/1/data1
cat data1 |cut -c 8-|sort|uniq -dc|sort -rn -k1 |head -3 > /home/shiyanlou/result

正则表达式基础

正则表达式，又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法（英语：Regular Expression，在代码中常简写为 regex、regexp 或 RE），计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。
一个正则表达式通常被称为一个模式（pattern），为用来描述或者匹配一系列符合某个句法规则的字符串。
选择
| 竖直分隔符表示选择，例如 boy|girl 可以匹配 boy 或者 girl。
数量限定
数量限定除了 * 还有 + 加号 ? 问号，如果在一个模式中不加数量限定符则表示出现一次且仅出现一次：
+ 表示前面的字符必须出现至少一次(1 次或多次)，例如 goo+gle 可以匹配 gooogle，goooogle 等；
? 表示前面的字符最多出现一次（0 次或 1 次），例如，colou?r，可以匹配 color 或者 colour;
* 星号代表前面的字符可以不出现，也可以出现一次或者多次（0 次、或 1 次、或多次），例如，0*42 可以匹配 42、042、0042、00042 等。
范围和优先级
() 圆括号可以用来定义模式字符串的范围和优先级，这可以简单的理解为是否将括号内的模式串作为一个整体。例如，gr(a|e)y 等价于 gray|grey，（这里体现了优先级，竖直分隔符用于选择 a 或者 e 而不是 gra 和 ey），(grand)?father 匹配 father 和 grandfather（这里体现了范围，? 将圆括号内容作为一个整体匹配）。

image.png

image.png

image.png

image.png

image.png

 cat <<EOF >test
> shiyanlou
> www.shiyanlou.com
> C
> linux
> dat_struct
> python
> Mysql
> shell
> EOF
grep -c shiyanlou test
grep -i -n c test
grep -v shell test
grep shell test

查找 /etc/group 文件中以 shiyanlou 为开头的行

grep 'shiyanlou' /etc/group
grep '^shiyanlou' /etc/group

数量

# 将匹配以'z'开头以'o'结尾的所有字符串
echo 'zero\nzo\nzoo' | grep 'z.*o'
# 将匹配以'z'开头以'o'结尾，中间包含一个任意字符的字符串
echo 'zero\nzo\nzoo' | grep 'z.o'
# 将匹配以'z'开头，以任意多个'o'结尾的字符串
echo 'zero\nzo\nzoo' | grep 'zo*'

选择

# grep默认是区分大小写的，这里将匹配所有的小写字母
echo '1234\nabcd' | grep '[a-z]'
# 将匹配所有的数字
echo '1234\nabcd' | grep '[0-9]'
# 将匹配所有的数字
echo '1234\nabcd' | grep '[[:digit:]]'
# 将匹配所有的小写字母
echo '1234\nabcd' | grep '[[:lower:]]'
# 将匹配所有的大写字母
echo '1234\nabcd' | grep '[[:upper:]]'
# 将匹配所有的字母和数字，包括0-9，a-z，A-Z
echo '1234\nabcd' | grep '[[:alnum:]]'
# 将匹配所有的字母
echo '1234\nabcd' | grep '[[:alpha:]]'

image.png

之所以要使用特殊符号，是因为上面的 [a-z] 不是在所有情况下都管用，这还与主机当前的语系有关，即设置在 LANG 环境变量的值，zh_CN.UTF-8 的话 [a-z]，即为所有小写字母，其它语系可能是大小写交替的如，"a A b B...z Z"，[a-z] 中就可能包含大写字母。所以在使用 [a-z] 时请确保当前语系的影响，使用 [:lower:] 则不会有这个问题。

# 排除字符
echo 'geek\ngood' | grep '[^o]'

要通过 grep 使用扩展正则表达式需要加上 -E 参数，或使用 egrep。

# 只匹配"zo"
echo 'zero\nzo\nzoo' | grep -E 'zo{1}'
# 匹配以"zo"开头的所有单词
echo 'zero\nzo\nzoo' | grep -E 'zo{1,}'

# 匹配"www.shiyanlou.com"和"www.google.com"
echo 'www.shiyanlou.com\nwww.baidu.com\nwww.google.com' | grep -E 'www\.(shiyanlou|google)\.com'
# 或者匹配不包含"baidu"的内容
echo 'www.shiyanlou.com\nwww.baidu.com\nwww.google.com' | grep -Ev 'www\.baidu\.com'

sed
用于过滤和转换文本的流编辑器。
sed 命令基本格式：

sed [参数]... [执行命令] [输入文件]...
# 形如：
$ sed -i 's/sad/happy/' test # 表示将test文件中的"sad"替换为"happy"

image.png

sed 执行命令格式：

[n1][,n2]command
[n1][~step]command

其中一些命令可以在后面加上作用范围，形如：

sed -i 's/sad/happy/g' test # g 表示全局范围
sed -i 's/sad/happy/4' test # 4 表示指定行中的第四个匹配字符串

其中 n1,n2 表示输入内容的行号，它们之间为 , 逗号则表示从 n1 到 n2 行，如果为 ~ 波浪号则表示从 n1 开始以 step 为步进的所有行；command 为执行动作，下面为一些常用动作指令：

image.png

cp /etc/passwd ~
# 打印2-5行
nl passwd | sed -n '2,5p'
# 打印奇数行
nl passwd | sed -n '1~2p'

行内替换

# 将输入文本中"shiyanlou" 全局替换为"hehe"，并只打印替换的那一行，注意这里不能省略最后的"p"命令
sed -n 's/shiyanlou/hehe/gp' passwd

删除某行

nl passwd | grep "shiyanlou"
# 删除第30行
sed -i '30d' passwd

awk
AWK 是一种用于处理文本的编程语言工具。

whereis awk
ll /usr/bin/awk
ll /usr/bin/mawk

awk 所有的操作都是基于 pattern(模式)—action(动作)对来完成的，如下面的形式：

pattern {action}

其中 pattern 通常是表示用于匹配输入的文本的“关系式”或“正则表达式”，action 则是表示匹配后将执行的动作。awk 处理文本的方式，是将文本分割成一些“字段”，然后再对这些字段进行处理，默认情况下，awk 以空格作为一个字段的分割符，不过这不是固定的，你可以任意指定分隔符。
awk 命令基本格式

awk [-F fs] [-v var=value] [-f prog-file | 'program text'] [file...]

其中 -F 参数用于预先指定前面提到的字段分隔符（还有其他指定字段的方式），-v 用于预先为 awk 程序指定变量，-f 参数用于指定 awk 命令要执行的程序文件，或者在不加 -f 参数的情况下直接将程序语句放在这里，最后为 awk 需要处理的文本输入，且可以同时输入多个文本文件。

vim test
I like linux
www.shiyanlou.com

awk '{
> print
> }' test

在这个操作中我是省略了 pattern，所以 awk 会默认匹配输入文本的全部内容，然后在 {} 花括号中执行动作，即 print 打印所有匹配项，这里是全部文本内容。
将 test 的第一行的每个字段单独显示为一行：

awk '{
> if(NR==1){
> print $1 "\n" $2 "\n" $3
> } else {
> print}
> }' test

# 或者
awk '{
> if(NR==1){
> OFS="\n"
> print $1, $2, $3
> } else {
> print}
> }' test

NR 与 OFS，这两个是 awk 内建的变量，NR 表示当前读入的记录数，你可以简单的理解为当前处理的行数，OFS 表示输出时的字段分隔符，默认为" "空格，如上图所见，我们将字段分隔符设置为 \n 换行符，所以第一行原本以空格为字段分隔的内容就分别输出到单独一行了。然后是 $N 其中 N 为相应的字段号，这也是 awk 的内建变量，它表示引用相应的字段，因为我们这里第一行只有三个字段，所以只引用到了 $3。除此之外另一个这里没有出现的$0，它表示引用当前记录（当前行）的全部内容。
将 test 的第二行的以点为分段的字段换成以空格为分隔：

awk -F'.' '{
> if(NR==2){
> print $1 "\t" $2 "\t" $3
> }}' test

# 或者
awk '
> BEGIN{
> FS="."
> OFS="\t"  # 如果写为一行，两个动作语句之间应该以";"号分开
> }{
> if(NR==2){
> print $1, $2, $3
> }}' test

-F 参数，它是用来预先指定待处理记录的字段分隔符。可以在 print 语句中直接打印特殊符号如这里的 \t，print 打印的非变量内容都需要用""一对引号包围起来。
实现预先指定变量分隔符的另一种方式，即使用 BEGIN，就这个表达式指示了，其后的动作将在所有动作之前执行，这里是 FS 赋值了新的 . 点号代替默认的空格。
awk 常用的内置变量

image.png

wget https://labfile.oss.aliyuncs.com/courses/1/data2
grep '^[0-9]' /home/shiyanlou/data2 > /home/shiyanlou/num
grep -E '^[a-zA-Z0-9_-]+@[a-zA-Z0-9_-]+(.[a-zA-Z0-9_-]+)+$' /home/shiyanlou/data2 >/home/shiyanlou/mail

Linux下软件安装

apt
w3m(w3m 是一个命令行的简易网页浏览器)，那么输入如下命令：

sudo apt-get install w3m

w3m https://www.lanqiao.cn/faq

如果你在安装一个软件之后，无法立即使用 Tab 键补全这个命令，你可以尝试先执行 source ~/.shrc，然后你就可以使用补全操作。
APT 是 Advance Packaging Tool（高级包装工具）的缩写，是 Debian 及其派生发行版的软件包管理器，APT 可以自动下载，配置，安装二进制或者源代码格式的软件包，因此简化了 Unix 系统上管理软件的过程。
我们需要定期从服务器上下载一个软件包列表，使用 sudo apt-get update 命令来保持本地的软件包列表是最新的（有时你也需要手动执行这个操作，比如更换了软件源），而这个表里会有软件依赖信息的记录。
我们安装 w3m 软件的时候，而这个软件需要 libgc1c2 这个软件包才能正常工作，这个时候 apt-get 在安装软件的时候会一并替我们安装了，以保证 w3m 能正常的工作。
apt-get 是用于处理 apt包的公用程序集，我们可以用它来在线安装、卸载和升级软件包等

image.png

apt-get常用的参数：

image.png

sudo apt-get --reinstall install <packagename>

何在不知道软件包完整名的时候进行安装，通常我们是使用 Tab 键补全软件包名，同时安装多个软件包，可以使用正则表达式匹配软件包名进行批量安装。
软件升级

# 更新软件源
sudo apt-get update
# 升级没有依赖问题的软件包
sudo apt-get upgrade
# 升级并解决依赖关系
sudo apt-get dist-upgrade

卸载软件

sudo apt-get remove w3m

# 不保留配置文件的移除
sudo apt-get purge w3m
# 或者
sudo apt-get --purge remove w3m
# 移除不再需要的被依赖的软件包
sudo apt-get autoremove

软件搜索
当自己刚知道了一个软件，想下载使用，需要确认软件仓库里面有没有，就需要用到搜索功能了

sudo apt-cache search softname1 softname2 softname3……

apt-cache 命令则是针对本地数据进行相关操作的工具，search 顾名思义在本地的数据库中寻找有关 softname1，softname2 相关软件的信息。

sudo apt-cache search w3m

dpkg
dpkg 本身是一个底层的工具。上层的工具，像是 APT，被用于从远程获取软件包以及处理复杂的软件包关系。
dpkg常用参数介绍：

image.png

sudo apt-get update
sudo apt-get -d install -y emacs
ls /var/cache/apt/archives/

将第一个deb拷贝到 /home/shiyanlou 目录下，并使用dpkg安装

cp /var/cache/apt/archives/emacs24_24.5+1-6ubuntu1.1_amd64.deb ~
# 安装之前参看deb包的信息
sudo dpkg -I emacs24_24.5+1-6ubuntu1.1_amd64.deb

如果主机目前没有这些被依赖的软件包，直接使用 dpkg 安装可能会存在一些问题，因为dpkg并不能为你解决依赖关系。

# 使用dpkg安装
sudo dpkg -i emacs24_24.5+1-6ubuntu1.1_amd64.deb

apt-get，使用它的-f参数了，修复依赖关系的安装

sudo apt-get update
sudo apt-get -f install -y

使用dpkg -L查看deb包目录信息

sudo dpkg -L emacs24

从二进制包安装
二进制包的安装比较简单，我们需要做的只是将从网络上下载的二进制包解压后放到合适的目录，然后将包含可执行的主程序文件的目录添加进PATH环境变量即可。

Linux 进程概念

程序（procedure）：不太精确地说，程序就是执行一系列有逻辑、有顺序结构的指令，帮我们达成某个结果。就如我们去餐馆，给服务员说我要牛肉盖浇饭，她执行了做牛肉盖浇饭这么一个程序，最后我们得到了这么一盘牛肉盖浇饭。它需要去执行，不然它就像一本武功秘籍，放在那里等人翻看。
进程（process）：进程是程序在一个数据集合上的一次执行过程，在早期的 UNIX、Linux 2.4 及更早的版本中，它是系统进行资源分配和调度的独立基本单位。同上一个例子，就如我们去了餐馆，给服务员说我要牛肉盖浇饭，她执行了做牛肉盖浇饭这么一个程序，而里面做饭的是一个进程，做牛肉汤汁的是一个进程，把牛肉汤汁与饭混合在一起的是一个进程，把饭端上桌的是一个进程。它就像是我们在看武功秘籍这么一个过程，然后一个篇章一个篇章地去练。
进程就是运行中的程序。
程序只是一些列指令的集合，是一个静止的实体，而进程不同，进程有以下的特性：
动态性：进程的实质是一次程序执行的过程，有创建、撤销等状态的变化。而程序是一个静态的实体。
并发性：进程可以做到在一个时间段内，有多个程序在运行中。程序只是静态的实体，所以不存在并发性。
独立性：进程可以独立分配资源，独立接受调度，独立地运行。
异步性：进程以不可预知的速度向前推进。
结构性：进程拥有代码段、数据段、PCB（进程控制块，进程存在的唯一标志）。也正是因为有结构性，进程才可以做到独立地运行。
并发：在一个时间段内，宏观来看有多个程序都在活动，有条不紊的执行（每一瞬间只有一个在执行，只是在一段时间有多个程序都执行过）
并行：在每一个瞬间，都有多个程序都在同时执行，这个必须有多个 CPU 才行
引入进程是因为传统意义上的程序已经不足以描述 OS 中各种活动之间的动态性、并发性、独立性还有相互制约性。程序就像一个公司，只是一些证书，文件的堆积（静态实体）。而当公司运作起来就有各个部门的区分，财务部，技术部，销售部等等，就像各个进程，各个部门之间可以独立运做，也可以有交互（独立性、并发性）。
而随着程序的发展越做越大，又会继续细分，从而引入了线程的概念，当代多数操作系统、Linux 2.6 及更新的版本中，进程本身不是基本运行单位，而是线程的容器。就像上述所说的，每个部门又会细分为各个工作小组（线程），而工作小组需要的资源需要向上级（进程）申请。
线程（thread）是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。因为线程中几乎不包含系统资源，所以执行更快、更有效率。
简而言之，一个程序至少有一个进程，一个进程至少有一个线程。线程的划分尺度小于进程，使得多线程程序的并发性高。另外，进程在执行过程中拥有独立的内存单元，而多个线程共享内存，从而极大地提高了程序的运行效率。

image.png

pid_t p;

p = fork();
if (p == (pid_t) -1)
        /* ERROR */
else if (p == 0)
        /* CHILD */
else
        /* PARENT */

当一个子进程要正常的终止运行时，或者该进程结束时它的主函数 main() 会执行 exit(n); 或者 return n，这里的返回值 n 是一个信号，系统会把这个 SIGCHLD 信号传给其父进程，当然若是异常终止也往往是因为这个信号。
在将要结束时的子进程代码执行部分已经结束执行了，系统的资源也基本归还给系统了，但若是其进程的进程控制块（PCB）仍驻留在内存中，而它的 PCB 还在，代表这个进程还存在（因为 PCB 就是进程存在的唯一标志，里面有 PID 等消息），并没有消亡，这样的进程称之为僵尸进程（Zombie）。
正常情况下，父进程会收到两个返回值：exit code（SIGCHLD 信号）与 reason for termination 。之后，父进程会使用 wait(&status) 系统调用以获取子进程的退出状态，然后内核就可以从内存中释放已结束的子进程的 PCB；而如若父进程没有这么做的话，子进程的 PCB 就会一直驻留在内存中，一直留在系统中成为僵尸进程（Zombie）。
虽然僵尸进程是已经放弃了几乎所有内存空间，没有任何可执行代码，也不能被调度，在进程列表中保留一个位置，记载该进程的退出状态等信息供其父进程收集，从而释放它。但是 Linux 系统中能使用的 PID 是有限的，如果系统中存在有大量的僵尸进程，系统将会因为没有可用的 PID 从而导致不能产生新的进程。
另外如果父进程结束（非正常的结束），未能及时收回子进程，子进程仍在运行，这样的子进程称之为孤儿进程。在 Linux 系统中，孤儿进程一般会被 init 进程所“收养”，成为 init 的子进程。由 init 来做善后处理，所以它并不至于像僵尸进程那样无人问津，不管不顾，大量存在会有危害。
进程 0 是系统引导时创建的一个特殊进程，也称之为内核初始化，其最后一个动作就是调用 fork() 创建出一个子进程运行 /sbin/init 可执行文件，而该进程就是 PID=1 的进程 1，而进程 0 就转为交换进程（也被称为空闲进程），进程 1 （init 进程）是第一个用户态的进程，再由它不断调用 fork() 来创建系统里其他的进程，所以它是所有进程的父进程或者祖先进程。同时它是一个守护程序，直到计算机关机才会停止。
进程关系

pstree

ps －fxo user,ppid,pid,pgid,command

其中 pid 就是该进程的一个唯一编号，ppid 就是该进程的父进程的 pid，command 表示的是该进程通过执行什么样的命令或者脚本而产生的
进程组与 Sessions
每一个进程都会是一个进程组的成员，而且这个进程组是唯一存在的，他们是依靠 PGID（process group ID）来区别的，而每当一个进程被创建的时候，它便会成为其父进程所在组中的一员。
一般情况，进程组的 PGID 等同于进程组的第一个成员的 PID，并且这样的进程称为该进程组的领导者，也就是领导进程，进程一般通过使用 getpgrp() 系统调用来寻找其所在组的 PGID，领导进程可以先终结，此时进程组依然存在，并持有相同的 PGID，直到进程组中最后一个进程终结。
与进程组类似，每当一个进程被创建的时候，它便会成为其父进程所在 Session 中的一员，每一个进程组都会在一个 Session 中，并且这个 Session 是唯一存在的，Session 主要是针对一个 tty 建立，Session 中的每个进程都称为一个工作(job)。每个会话可以连接一个终端(control terminal)。当控制终端有输入输出时，都传递给该会话的前台进程组。Session 意义在于将多个 jobs 囊括在一个终端，并取其中的一个 job 作为前台，来直接接收该终端的输入输出以及终端信号。 其他 jobs 在后台运行。
前台（foreground）就是在终端中运行，能与你有交互的
后台（background）就是在终端中运行，但是你并不能与其任何的交互，也不会显示其执行的过程
工作管理
bash(Bourne-Again shell)支持工作控制（job control），而 sh（Bourne shell）并不支持。
并且每个终端或者说 bash 只能管理当前终端中的 job，不能管理其他终端中的 job。比如我当前存在两个 bash 分别为 bash1、bash2，bash1 只能管理其自己里面的 job 并不能管理 bash2 里面的 job
我们可以通过 & 这个符号，让我们的命令在后台中运行：我们还可以通过 ctrl + z 使我们的当前工作停止并丢到后台中去
被停止并放置在后台的工作我们可以使用这个命令来查看：

jobs

其中第一列显示的为被放置后台 job 的编号，而第二列的 ＋ 表示最近(刚刚、最后)被放置后台的 job，同时也表示预设的工作，也就是若是有什么针对后台 job 的操作，首先对预设的 job，- 表示倒数第二（也就是在预设之前的一个）被放置后台的工作，倒数第三个（再之前的）以后都不会有这样的符号修饰，第三列表示它们的状态，而最后一列表示该进程执行的命令。
我们可以通过这样的一个命令将后台的工作拿到前台来：

# 后面不加参数提取预设工作，加参数提取指定工作的编号
# ubuntu 在 zsh 中需要 %，在 bash 中不需要 %
fg [%jobnumber]

若是我们想让其在后台运作我们就使用这样一个命令：

#与fg类似，加参则指定，不加参则取预设
bg [%jobnumber]

# kill的使用格式如下
kill -signal %jobnumber

# signal从1-64个信号值可以选择，可以这样查看
kill －l

image.png

若是在使用 kill ＋信号值然后直接加 pid，你将会对 pid 对应的进程进行操作。
若是在使用 kill+信号值然后 ％jobnumber，这时所操作的对象是 job，这个数字就是就当前 bash 中后台的运行的 job 的 ID。

Linux 进程管理

top 工具的使用
top 是一个在前台执行的程序，正是因为交互界面我们才可以实时的获取到系统与进程的信息。在交互界面中我们可以通过一些指令来操作和筛选。
我们看到 top 显示的第一排:

image.png

#查看物理 CPU 的个数
cat /proc/cpuinfo | grep "physical id" | sort | uniq |wc -l

#每个 cpu 的核心数
cat /proc/cpuinfo | grep "physical id" | grep "0" | wc -l

在实际生活中，比较有经验的运维或者系统管理员会将临界值定为 0.7,这里的指数都是除以核心数以后的值。
若是 load < 0.7 并不会去关注他；
若是 0.7< load < 1 的时候我们就需要稍微关注一下了，虽然还可以应付但是这个值已经离临界不远了；
若是 load = 1 的时候我们就需要警惕了，因为这个时候已经没有更多的资源的了，已经在全力以赴了；
若是 load > 5 的时候系统已经快不行了，这个时候你需要加班解决问题了
通常我们都会先看 15 分钟的值来看这个大体的趋势，然后再看 5 分钟的值对比来看是否有下降的趋势。
查看 busybox 的代码可以知道，数据是每 5 秒钟就检查一次活跃的进程数，然后计算出该值，然后 load 从 /proc/loadavg 中读取的。
top 的第二行数据，基本上第二行是进程的一个情况统计：

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

ps -l

罗列出所有的进程信息：

ps aux

若是查找其中的某个进程的话，我们还可以配合着 grep 和正则表达式一起使用

ps aux | grep zsh

可以查看时，将连同部分的进程呈树状显示出来：

ps axjf

自定义我们所需要的参数显示：

ps -afxo user,ppid,pid,pgid,command

pstree 工具的使用
通过 pstree 可以很直接的看到相同的进程数量，最主要的还是我们可以看到所有进程之间的相关性。

pstree

pstree -up

image.png

# 首先我们使用图形界面打开了 gedit、gvim，用 ps 可以查看到
ps aux
# 使用 9 这个信号强制结束 gedit 进程
kill -9 1608
# 我们再查找这个进程的时候就找不到了
ps aux | grep gedit

进程的执行顺序
nice 的值我们是可以通过 nice 命令来修改的，而需要注意的是 nice 值可以调整的范围是 -20 ~ 19，其中 root 有着至高无上的权力，既可以调整自己的进程也可以调整其他用户的程序，并且是所有的值都可以用，而普通用户只可以调制属于自己的进程，并且其使用的范围只能是 0 ~ 19，因为系统为了避免一般用户抢占系统资源而设置的一个限制

# 打开一个程序放在后台，或者用图形界面打开
nice -n -5 vim &
# 用 ps 查看其优先级
ps -afxo user,ppid,pid,stat,pri,ni,time,command | grep vim

可以用 renice 来修改已经存在的进程的优先级

renice -5 pid

Linux 日志系统

日志它可以记录下系统产生的所有行为，并按照某种规范表达出来。我们可以使用日志系统所记录的信息为系统进行排错，优化系统的性能，或者根据这些信息调整系统的行为。收集你想要的数据，分析出有价值的信息，可以提高系统、产品的安全性，还可以帮助开发完善代码，优化产品。
常见的日志
日志是一个系统管理员，一个运维人员，甚至是开发人员不可或缺的东西，系统用久了偶尔也会出现一些错误，我们需要日志来给系统排错，在一些网络应用服务不能正常工作的时候，我们需要用日志来做问题定位，日志还是过往时间的记录本，我们可以通过它知道我们是否被不明用户登录过等等。

ll /var/log

系统日志主要是存放系统内置程序或系统内核之类的日志信息如 alternatives.log 、btmp 等等，应用日志主要是我们装的第三方应用所产生的日志如 tomcat7 、apache2 等等。

image.png

查看auth.log 中的信息：

sudo less /var/log/auth.log

在 /var/log/apt 文件夹中有两个日志文件 history.log 与 term.log，两个日志文件的区别在于 history.log 主要记录了进行了哪个操作，相关的依赖有哪些，而 term.log 则是较为具体的一些操作，主要就是下载包，打开包，安装包等等的细节操作。
如果是刚刚开启的新系统，那么按理说这些日志应该都是空的

sudo cat /var/log/apt/history.log
sudo cat /var/log/apt/term.log

其他的日志格式主要便是时间，操作。而这其中有两个比较特殊的日志，其查看的方式比较与众不同，因为这两个日志并不是 ASCII 文件而是被编码成了二进制文件，所以我们并不能直接使用 less、cat、more 这样的工具来查看，这两个日志文件是 wtmp，lastlog
配置的日志
一种是由软件开发商自己来自定义日志格式然后指定输出日志位置；
一种方式就是 Linux 提供的日志服务程序，而我们这里系统日志是通过 syslog 来实现，提供日志管理服务。
syslog 是一个系统日志记录程序，在早期的大部分 Linux 发行版都是内置 syslog，让其作为系统的默认日志收集工具，虽然随着时代的进步与发展，syslog 已经年老体衰跟不上时代的需求，所以他被 rsyslog 所代替了，较新的 Ubuntu、Fedora 等等都是默认使用 rsyslog 作为系统的日志收集工具
rsyslog 的全称是 rocket-fast system for log，它提供了高性能，高安全功能和模块化设计。rsyslog 能够接受各种各样的来源，将其输入，输出的结果到不同的目的地。rsyslog 可以提供超过每秒一百万条消息给目标文件。
这样能实时收集日志信息的程序是有其守护进程的，如 rsyslog 的守护进程便是 rsyslogd

sudo apt-get update
sudo apt-get install -y rsyslog
sudo service rsyslog start
ps aux | grep syslog

rsyslog 的配置文件有两个，
一个是 /etc/rsyslog.conf
一个是 /etc/rsyslog.d/50-default.conf。
第一个主要是配置的环境，也就是 rsyslog 加载什么模块，文件的所属者等；而第二个主要是配置的 Filter Conditions

vim /etc/rsyslog.conf
vim /etc/rsyslog.d/50-default.conf

image.png

image.png

image.png

facility.priority　　　　　log_location

其中一个 priority 可以指定多个 facility，多个 facility 之间使用逗号 , 分割开
rsyslog 通过 Facility 的概念来定义日志消息的来源，以便对日志进行分类，Facility 的种类有：

image.png

另外一部分 priority 也称之为 serverity level，除了日志的来源以外，对统一源产生日志消息还需要进行优先级的划分，而优先级的类别有以下几种：

image.png

auth,authpriv.*       /var/log/auth.log

这里的意思是 auth 与 authpriv 的所有优先级的信息全都输出于 /var/log/auth.log 日志中
而其中有类似于这样的配置信息意思有细微的差别

kern.*      -/var/log/kern.log

• 代表异步写入，也就是日志写入时不需要等待系统缓存的同步，也就是日志还在内存中缓存也可以继续写入无需等待完全写入硬盘后再写入。通常用于写入数据比较大时使用。
  需要注意的是 rsyslog 每个版本之间差异化比较大，学习之前先查看自己所使用的版本，再去查看相关的文档
  与日志相关的还有一个还有常用的命令 logger，logger 是一个 shell 命令接口，可以通过该接口使用 Syslog 的系统日志模块，还可以从命令行直接向系统日志文件写入信息。

#首先将syslog启动起来
sudo service rsyslog start
#向 syslog 写入数据
ping 127.0.0.1 | logger -it logger_test -p local3.notice &
#查看是否有数据写入
sudo tail -f /var/log/syslog

我们可以通过 man 来查看 logger 的其他用法，

image.png

cat /etc/logrotate.conf

# see "man logrotate" for details  //可以查看帮助文档
# rotate log files weekly
weekly                             //设置每周转储一次(daily、weekly、monthly当然可以使用这些参数每天、星期，月 )
# keep 4 weeks worth of backlogs
rotate 4                           //最多转储4次
# create new (empty) log files after rotating old ones
create                             //当转储后文件不存在时创建它
# uncomment this if you want your log files compressed
compress                          //通过gzip压缩方式转储（nocompress可以不压缩）
# RPM packages drop log rotation information into this directory
include /etc/logrotate.d           //其他日志文件的转储方式配置文件，包含在该目录下
# no packages own wtmp -- we'll rotate them here
/var/log/wtmp {                    //设置/var/log/wtmp日志文件的转储参数
    monthly                        //每月转储
    create 0664 root utmp          //转储后文件不存在时创建它，文件所有者为root，所属组为utmp，对应的权限为0664
    rotate 1                       //最多转储一次
}