Linux lsof 调试 PHP

1 简介

lsof(list open files) 是一个列出当前系统打开文件的工具。

在 linux 环境下,任何事物都以文件的形式存在,通过文件不仅仅可以访问常规数据,还可以访问网络连接和硬件。所以如传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等,系统在后台都为该应用程序分配了一个文件描述符,无论这个文件的本质如何,该文件描述符为应用程序与基础操作系统之间的交互提供了通用接口。因为应用程序打开文件的描述符列表提供了大量关于这个应用程序本身的信息,因此通过 lsof 工具能够查看这个列表对系统监测以及排错将是很有帮助的。

2 命令使用

lsof [选项] [绝对路径的文件名]

选项:

-a:列出打开文件存在的进程;
-c<进程名>:列出指定进程所打开的文件;
-g:列出GID号进程详情;
-d<文件号>:列出占用该文件号的进程;
+d<目录>:列出目录下被打开的文件;
+D<目录>:递归列出目录下被打开的文件;
-n<目录>:列出使用NFS的文件;
-i<条件>:列出符合条件的进程。(4、6、协议、:端口、 @ip )
-p<进程号>:列出指定进程号所打开的文件;
-u:列出UID号进程详情;
-h:显示帮助信息;
-v:显示版本信息。

显示示例:

[root@localhost public]# lsof /usr/local/php71/sbin/php-fpm 
COMMAND  PID USER  FD   TYPE DEVICE SIZE/OFF    NODE NAME
php-fpm 1544 root txt    REG  253,0 40770864 1506860 /usr/local/php71/sbin/php-fpm
php-fpm 1545  www txt    REG  253,0 40770864 1506860 /usr/local/php71/sbin/php-fpm
php-fpm 1546  www txt    REG  253,0 40770864 1506860 /usr/local/php71/sbin/php-fpm
php-fpm 1547  www txt    REG  253,0 40770864 1506860 /usr/local/php71/sbin/php-fpm
php-fpm 1548  www txt    REG  253,0 40770864 1506860 /usr/local/php71/sbin/php-fpm
php-fpm 1549  www txt    REG  253,0 40770864 1506860 /usr/local/php71/sbin/php-fpm
php-fpm 1550  www txt    REG  253,0 40770864 1506860 /usr/local/php71/sbin/php-fpm
......

每行显示一个打开的文件,默认如果后面不跟任何东西,将打开系统打开的所有文件。

参数 说明
COMMAND 进程名称
PID 进程标识符
USER 进程所有者
FD 文件描述符,应用程序通过文件描述符识别到该文件。如 cwd、txt 等。
TYPE 文件类型,如 REG、DIR、CHR、BLK、UNIX、FIFO、IPV4。
DEVICE 指定磁盘名称
SIZE 文件大小。单位(字节)。

补充:FD 列中的文件描述 cwd 值表示应用程序的当前工作目录,这是该程序启动的目录,除非它本身对这个目录进行更改。txt 类型的是程序代码,如应用程序二进制文件本身或者共享库。其次数值表示应用程序的文件描述符,这是打开文件时一个返回的一个整数。

3 TYPE 说明

参数 说明
REG 文件。
DIR 目录。
CHR 字符设备。命令行终端。
BLK 块设备。如硬盘、内存。
UNIX UNIX 域套接字。
FIFO 先进先出 (FIFO) 队列。
IPV4 网际协议 (IP) 套接字。
NODE 索引节点(文件在磁盘上的标识) 。

4 FD 说明

参数 说明
cwd 表示current work dirctory,即:应用程序的当前工作目录,这是该应用程序启动的目录,除非它本身对这个目录进行更改 。
txt 该类型的文件是程序代码,如应用程序二进制文件本身或共享库,如上列表中显示的 /sbin/init 程序 。
lnn library references (AIX)。
er FD information error (see NAME column) 。
jld jail directory (FreeBSD) 。
ltx shared library text (code and data) 。
mxx hex memory-mapped type number xx。
m86 DOS Merge mapped file。
mem memory-mapped file。
mmap memory-mapped device。
pd parent directory。
rtd root directory。
tr kernel trace file (OpenBSD) 。
v86 VP/ix mapped file。
0 表示标准输出。
1 表示标准输入。
2 表示标准错误。

一般在标准输出、标准错误、标准输入后还跟着文件状态模式

参数 说明
u 表示该文件被打开并处于读取/写入模式。
r 表示该文件被打开并处于只读模式。
w 表示该文件被打开并处于写入模式。
空格 表示该文件的状态模式为 unknow,且没有锁定。
- 表示该文件的状态模式为 unknow,且被锁定。

5 调试 PHP

以下示例来源于网络整理。目的是解决进程卡死的情况。经验证,示例当中步骤以及命令无误。

5.1) 首先获取该进程 ID

ps -aux | grep QueryABC.php
 
sync360  11115  0.0  0.0   6564   864 ?        Ss   14:00   0:00 /bin/sh -c /usr/local/bin/php /home/QueryABC.php BILL99DF 10-8>> /home
sync360  11124  0.0  0.4 361628 17296 ?        S    14:00   0:04 /usr/local/bin/php /home/QueryABC.php BILL99DF 10-8
sync360  25230  0.0  0.0  63384   872 pts/0    S+   15:28   0:00 grep QueryABC.php

5.2) strace 查看该进程正在持续的状态

sudo strace -T -tt -e trace=all -p 11124
[sudo] password for ancongcong: 
Process 11124 attached - interrupt to quit
15:33:07.259044 read(9, 

5.3) lsof 查看进程的所有使用的文件

lsof -p 11124
 
....
php     11124 sync360  mem    REG        8,1    23736    3211320 /lib64/libnss_dns-2.5.so
php     11124 sync360    0r  FIFO        0,6          1522728709 pipe
php     11124 sync360    1w   REG        8,1  4088819    1869737 /home/logs/QueryABC.log
php     11124 sync360    2w  FIFO        0,6          1522728710 pipe
php     11124 sync360    3w   CHR        1,3                 982 /dev/null
php     11124 sync360    4u  IPv4 1522728838                 TCP 211.151.122.234:46004->10.117.128.47:rtmp-port (CLOSE_WAIT)
php     11124 sync360    5wW  REG        8,1        0    2704363 /home/lockfile/QueryABC.php.BILL99DF.10-8
php     11124 sync360    6u  IPv4 1522728841                 TCP 211.151.122.234:51019->10.117.128.46:rtmp-port (CLOSE_WAIT)
php     11124 sync360    7w   REG        8,1 31960384    1869789 /home/logs/XXXX_info.log.20180118
php     11124 sync360    8w   REG        8,1 18151722    1869806 /home/logs/XXXX_QRY_info.log.20180118
php     11124 sync360    9u  IPv4 1522729884                 TCP 211.151.122.234:54976->61.152.114.130:https (ESTABLISHED)
sudo netstat -tunpa | grep 11124
tcp        0      0 211.151.122.234:54976       61.152.114.130:443          ESTABLISHED 11124/php           
tcp        1      0 211.151.122.234:51019       10.117.128.46:3500          CLOSE_WAIT  11124/php           
tcp        1      0 211.151.122.234:46004       10.117.128.47:3500          CLOSE_WAIT  11124/php

可以发现最终是停留在 https 的链接建立,等待获取数据,查看此处代码 :

ini_set('default_socket_timeout',30);
$scOptions = array('connection_timeout' => 30);
$clientObj = new SoapClient( $wsdl , $scOptions);

当前版本 php 较老,这里是有个 bug 的在 https 链接请求时 SOAPClient 的超时时间是不生效。导致一直连接不释放,当请求量上来的时候,会导致服务器陷入高负载状态。

6 查询 PHP 进程状态

所谓状态,指的是我们在启动 PHP 的时候,PHP-FPM 加载的系统库、PHP 扩展、以及其他日志文件等的状态信息。

6.1) 查询 PHP-FPM 进程的 PID

[root@localhost ~]# ps -aux|grep php-fpm
root      1544  0.0  0.8 291448 16244 ?        Ss   Jul30   0:06 php-fpm: master process
www       1545  0.0  0.9 291920 17340 ?        S    Jul30   0:00 php-fpm: pool www
www       1546  0.0  0.9 292136 17856 ?        S    Jul30   0:00 php-fpm: pool www
www       1547  0.0  0.9 291908 17336 ?        S    Jul30   0:00 php-fpm: pool www
www       1548  0.0  0.9 291916 17308 ?        S    Jul30   0:00 php-fpm: pool www
www       1549  0.0  0.9 292272 17880 ?        S    Jul30   0:00 php-fpm: pool www
www       1550  0.0  0.9 292616 18132 ?        S    Jul30   0:00 php-fpm: pool www
......

可以获知我们的 PHP-FPM 主进程的 PID 为 1544。

6.2) 查询进程状态

[root@localhost ~]# lsof -p 1544
COMMAND  PID USER   FD      TYPE             DEVICE  SIZE/OFF     NODE NAME
php-fpm 1544 root  cwd       DIR              253,0       271       64 /
php-fpm 1544 root  rtd       DIR              253,0       271       64 /
php-fpm 1544 root  txt       REG              253,0  40770864  1506860 /usr/local/php71/sbin/php-fpm
php-fpm 1544 root  mem       REG              253,0     62184   482957 /usr/lib64/libnss_files-2.17.so
php-fpm 1544 root  mem       REG              253,0   4194305 16881237 /tmp/phptrace.ctrl
php-fpm 1544 root  mem       REG              253,0   1850464    41259 /usr/lib64/libdb-5.3.so
php-fpm 1544 root  mem       REG              253,0     28216 33654797 /usr/lib64/sasl2/libsasldb.so.3.0.0
php-fpm 1544 root  mem       REG              253,0     19968 33654794 /usr/lib64/sasl2/libanonymous.so.3.0.0
php-fpm 1544 root  DEL       REG                0,4              18634 /dev/zero
php-fpm 1544 root  mem       REG              253,0    159600 51987804 /usr/local/php71/lib/php/extensions/no-debug-non-zts-20160303/trace.so
php-fpm 1544 root  mem       REG              253,0   4414480 50968175 /usr/local/php71/lib/php/extensions/no-debug-non-zts-20160303/mongodb.so
php-fpm 1544 root  mem       REG              253,0    851128 50666307 /usr/local/lib/libevent_core-2.1.so.6.0.2
php-fpm 1544 root  mem       REG              253,0    502032 50666311 /usr/local/lib/libevent_extra-2.1.so.6.0.2
php-fpm 1544 root  mem       REG              253,0    116088 50666319 /usr/local/lib/libevent_openssl-2.1.so.6.0.2
php-fpm 1544 root  mem       REG              253,0    883440 52435182 /usr/local/php71/lib/php/extensions/no-debug-non-zts-20160303/event.so
php-fpm 1544 root  mem       REG              253,0    121320    41640 /usr/lib64/libsasl2.so.3.0.0
php-fpm 1544 root  mem       REG              253,0   5662520 51023034 /usr/local/lib/librdkafka.so.1
php-fpm 1544 root  mem       REG              253,0    440512 51861780 /usr/local/php71/lib/php/extensions/no-debug-non-zts-20160303/rdkafka.so
php-fpm 1544 root  mem       REG              253,0   4408400 50919001 /usr/local/php71/lib/php/extensions/no-debug-non-zts-20160303/swoole.so
php-fpm 1544 root  mem       REG              253,0   1426032 52419266 /usr/local/php71/lib/php/extensions/no-debug-non-zts-20160303/yaf.so
php-fpm 1544 root  mem       REG              253,0   3618280 51005421 /usr/local/php71/lib/php/extensions/no-debug-non-zts-20160303/fileinfo.so
php-fpm 1544 root  mem       REG              253,0   1734168 52419246 /usr/local/php71/lib/php/extensions/no-debug-non-zts-20160303/redis.so
php-fpm 1544 root  mem       REG              253,0   1310320 51861871 /usr/local/php71/lib/php/extensions/no-debug-non-zts-20160303/xdebug.so
php-fpm 1544 root  mem       REG              253,0   1631520 51851520 /usr/local/php71/lib/php/extensions/no-debug-non-zts-20160303/opcache.so
php-fpm 1544 root  mem       REG              253,0 106070960 50918862 /usr/lib/locale/locale-archive
php-fpm 1544 root  mem       REG              253,0    402384    41228 /usr/lib64/libpcre.so.1.2.0
php-fpm 1544 root  mem       REG              253,0    155784   264930 /usr/lib64/libselinux.so.1
php-fpm 1544 root  mem       REG              253,0     15688    43432 /usr/lib64/libkeyutils.so.1.5
php-fpm 1544 root  mem       REG              253,0     58728  1528050 /usr/lib64/libkrb5support.so.0.1
php-fpm 1544 root  mem       REG              253,0    210840    44058 /usr/lib64/libk5crypto.so.3.1
php-fpm 1544 root  mem       REG              253,0     15848     1299 /usr/lib64/libcom_err.so.2.1
php-fpm 1544 root  mem       REG              253,0    963576   177761 /usr/lib64/libkrb5.so.3.3
php-fpm 1544 root  mem       REG              253,0    320408  1349437 /usr/lib64/libgssapi_krb5.so.2.2
php-fpm 1544 root  mem       REG              253,0    157424     1300 /usr/lib64/liblzma.so.5.2.2
php-fpm 1544 root  mem       REG              253,0    144792   524665 /usr/lib64/libpthread-2.17.so
php-fpm 1544 root  mem       REG              253,0     19384    41444 /usr/lib64/libgpg-error.so.0.10.0
php-fpm 1544 root  mem       REG              253,0    535064    41239 /usr/lib64/libgcrypt.so.11.8.2
php-fpm 1544 root  mem       REG              253,0     11464     1231 /usr/lib64/libfreebl3.so
php-fpm 1544 root  mem       REG              253,0   2173512     1485 /usr/lib64/libc-2.17.so
php-fpm 1544 root  mem       REG              253,0     88720  1499604 /usr/lib64/libgcc_s-4.8.5-20150702.so.1
php-fpm 1544 root  mem       REG              253,0   1419360 51389508 /usr/local/lib/libiconv.so.2.6.0
php-fpm 1544 root  mem       REG              253,0    258344  1577528 /usr/lib64/libxslt.so.1.1.28
php-fpm 1544 root  mem       REG              253,0     57136  1579626 /usr/lib64/libicuio.so.50.1.2
php-fpm 1544 root  mem       REG              253,0  20789896  1579622 /usr/lib64/libicudata.so.50.1.2
php-fpm 1544 root  mem       REG              253,0   1539392  1579636 /usr/lib64/libicuuc.so.50.1.2
php-fpm 1544 root  mem       REG              253,0   2096056  1579624 /usr/lib64/libicui18n.so.50.1.2
php-fpm 1544 root  mem       REG              253,0    691736  1349410 /usr/lib64/libfreetype.so.6.10.0
php-fpm 1544 root  mem       REG              253,0    472672 51303927 /usr/local/lib/libcurl.so.4.4.0
php-fpm 1544 root  mem       REG              253,0   2512832  1528053 /usr/lib64/libcrypto.so.1.0.2k
php-fpm 1544 root  mem       REG              253,0    470360  1528055 /usr/lib64/libssl.so.1.0.2k
php-fpm 1544 root  mem       REG              253,0   1509376    41480 /usr/lib64/libxml2.so.2.9.1
php-fpm 1544 root  mem       REG              253,0    117680   482950 /usr/lib64/libnsl-2.17.so
php-fpm 1544 root  mem       REG              253,0   1139680   177756 /usr/lib64/libm-2.17.so
php-fpm 1544 root  mem       REG              253,0    285296     5399 /usr/lib64/libjpeg.so.62.1.0
php-fpm 1544 root  mem       REG              253,0    179296     5419 /usr/lib64/libpng15.so.15.13.0
php-fpm 1544 root  mem       REG              253,0    995840  1337428 /usr/lib64/libstdc++.so.6.0.19
php-fpm 1544 root  mem       REG              253,0     19776      858 /usr/lib64/libdl-2.17.so
php-fpm 1544 root  mem       REG              253,0    662504 50758820 /usr/local/lib/libmcrypt.so.4.4.8
php-fpm 1544 root  mem       REG              253,0     44448     1254 /usr/lib64/librt-2.17.so
php-fpm 1544 root  mem       REG              253,0    106848   524736 /usr/lib64/libresolv-2.17.so
php-fpm 1544 root  mem       REG              253,0     87368  1577526 /usr/lib64/libexslt.so.0.8.17
php-fpm 1544 root  mem       REG              253,0     90664    41257 /usr/lib64/libz.so.1.2.7
php-fpm 1544 root  mem       REG              253,0     41080      854 /usr/lib64/libcrypt-2.17.so
php-fpm 1544 root  mem       REG              253,0    164240  1517336 /usr/lib64/ld-2.17.so
php-fpm 1544 root  DEL       REG                0,4              20579 /dev/zero
php-fpm 1544 root    0u      CHR                1,3       0t0     1028 /dev/null
php-fpm 1544 root    1u      CHR                1,3       0t0     1028 /dev/null
php-fpm 1544 root    2w      REG              253,0   1998396 36911463 /usr/local/php71/var/log/php71-fpm.log
php-fpm 1544 root    3w      REG              253,0   1998396 36911463 /usr/local/php71/var/log/php71-fpm.log
php-fpm 1544 root    4u     unix 0xffff886c38c9c000       0t0    20580 socket
php-fpm 1544 root    5r     FIFO                0,9       0t0    20585 pipe
php-fpm 1544 root    6u     unix 0xffff886c38c9d400       0t0    20581 socket
php-fpm 1544 root    7u     unix 0xffff886c38c9c800       0t0    20582 /dev/shm/php71-cgi.sock
php-fpm 1544 root    8u  a_inode               0,10         0     6123 [eventpoll]

通过以上信息,我们可以明确知道我们的这个进程对应的 PHP-FPM 的绝对路径。以及它加载了系统的哪些类库,和加载了 PHP 的哪些类库。

php-fpm 1544 root    0u      CHR                1,3       0t0     1028 /dev/null
php-fpm 1544 root    1u      CHR                1,3       0t0     1028 /dev/null
php-fpm 1544 root    2w      REG              253,0   1998396 36911463 /usr/local/php71/var/log/php71-fpm.log

通过此项,我们可以看到,标准输出(0u)丢弃了(/dev/null)。标准转入(1u)也丢弃了(/dev/null)。标准的错误(2w)转出到了 /usr/local/php71/var/log/php71-fpm.log 文件。

7 其它用法

7.1) 列出所有打开的文件:

lsof

备注: 如果不加任何参数,就会打开所有被打开的文件,建议加上一下参数来具体定位。通常我们不会这样直接用。

7.2) 查看谁正在使用某个文件:

lsof /usr/local/php53/var/log/php-fpm.log

7.3) 递归查看某个目录的文件信息:

lsof +D /usr/local/php53/var/log/

备注: 使用了+D,对应目录下的所有子目录和文件都会被列出

7.4) 列出某个用户打开的文件信息

lsof -u www

备注: -u 选项,u 其实是 user 的缩写。该示例在笔者电脑上是列出 nginx/php-fpm 打开的文件信息。

7.5) 列出某个程序所打开的文件信息

lsof -c mysql
lsof -c php-fpm

备注: -c 选项将会列出所有以 mysql 开头的程序的文件。

7.6) 列出多个程序多打开的文件信息

lsof -c mysql -c apache

7.7) 列出某个用户以及某个程序所打开的文件信息

lsof -u root -c mysql

7.8) 列出除了某个用户外的被打开的文件信息

lsof -u ^root

备注:^这个符号在用户名之前,将会把是 root 用户打开的进程不让显示。

7.9) 通过某个进程号显示该进行打开的文件

lsof -p 进程 ID

7.10) 列出多个进程号对应的文件信息

lsof -p 进程ID,进程ID,进程ID

7.11) 列出除了某个进程号,其他进程号所打开的文件信息

lsof -p ^1

7.12) 列出所有的网络连接

lsof -i

7.13) 列出所有 tcp 网络连接信息

lsof -i tcp

7.14) 列出所有udp网络连接信息

lsof -i udp

7.15) 列出谁在使用某个端口

[root@localhost ~]# lsof -i :6379
COMMAND    PID  USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
redis-ser 1344 redis    4u  IPv4  19521      0t0  TCP localhost:6379 (LISTEN)

7.16) 列出谁在使用某个特定的udp端口

lsof -i udp:55

7.17) 列出谁在使用某个特定的tcp端口

lsof -i tcp:80

7.18) 列出某个用户的所有活跃的网络端口

lsof -a -u root -i

7.19) 列出所有网络文件系统

lsof -N

7.20) 域名 socket 文件

lsof -u

8 总结

lsof 命令可以用来查看我们的进程打开的文件、目录、网络设置、网络连接等。在排查 PHP 性能问题的时候,可以起到一个直接或间接的佐证工具。让我们能快速定位问题并解决问题。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,830评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,992评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,875评论 0 331
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,837评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,734评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,091评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,550评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,217评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,368评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,298评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,350评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,027评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,623评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,706评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,940评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,349评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,936评论 2 341

推荐阅读更多精彩内容