Linux故障排除速查表:strace,htop,lsof,tcpdump,iftop和sysdig

Linux Troubleshooting Cheatsheet: strace, htop, lsof, tcpdump, iftop & sysdig
By Phil Rzewski on April 13, 2016

该Sysdig速查表是Linux管理员可以用来深入了解其服务器的命令行的重要指南。无论您是一个月的管理员还是20年的管理员,您都肯定使用了所有(如果不是全部)这些工具来解决问题。因为我们喜欢Sysdig(自然而然!),所以我们还将这些常见操作中的每一个都翻译成sysdig命令行或csysdig。

我们并没有尝试涵盖手册页中的所有选项(本来会使许多深奥的,很少使用的开关无聊的报道),而是从当您搜索诸如“ strace示例”,“ htop示例”等等。

您是否有未在此处列出的收藏夹?让我们知道,我们将在以后的文章中包含它们。

strace

在许多并排比较中,strace和sysdig之间存在一个细微的区别,这很明显:许多最简单的strace示例都包含命令行,这些命令行以“一次性”操作的形式执行和跟踪。另一方面,Sysdig的理念有所不同,它既可以实时监视实时事件,也可以分析先前保存到文件中的捕获数据。值得庆幸的是,正如您很快就会看到的,Sysdig丰富的过滤选项提供了旋钮,可以监视特定的单次执行。

操作 STRACE SYSDIG 注意
跟踪命令的执行 strace who sysdig proc.name=who strace一次性显示此处显示的who命令,而Sysdig正在监视who的执行情况。使用Sysdig的过滤来进一步隔离特定的运行,例如: sysdig proc.name=who and proc.ppid=534 这将监视谁将在您确定具有534的PID的外壳中运行。
仅在进行某些/特定系统调用时跟踪 strace -e open who strace -e trace=open,read who sysdig evt.type=open and proc.name=who sysdig "evt.type in (open,read) and proc.name=who"
将跟踪保存到文件 strace -o output.txt who sysdig -w output.scap proc.name=who 使用strace,生成的文件包含的内容与交互式运行时在屏幕上显示的内容相同。使用Sysdig,您将获得原始的,可重复使用的捕获文件,从而可以使用以下方式查看文本输出: sysdig -r output.scap 您还可以以此为基础来应用过滤器或在重新访问原始事件时要应用的任何其他Sysdig功能。 。
观看PID = 1363的运行过程 strace -p 1363 sysdig proc.pid=1363
为跟踪的每条输出线打印一个时间戳 strace -t who sysdig proc.name=who Sysdig默认情况下会打印时间戳。
打印系统调用的相对时间 strace -r who sysdig -tD proc.name=who Sysdig通过-t选项提供了几种表示时间戳的方法。
生成系统调用的批处理统计报告 strace -c who sysdig -w output.scap proc.name=who<br /> # Now run the “who” separately 对于一次性批处理文本报告: sysdig -r output.scap -c topscalls -c topscalls_time 或对于允许进一步深入研究的交互式报告: csysdig -r output.scap -v syscalls Sysdig的默认行为针对事件数据发生时的情况进行了优化,而不是“批处理”报告。这就是为什么在此处分两步完成Sysdig等效项的原因。
生成系统调用的实时实时统计报告,以PID = 1363表示正在运行的进程 N / A csysdig -v syscalls proc.pid=1363 尽管strace可以实时显示单个事件,或者提供单个批处理报告来执行命令,但是csysdig的视图提供了独特的功能来显示实时的定期报告

HTOP

由于htop是一种实时,交互式,诅咒风格的工具,因此我们将其与实时,交互式,诅咒风格的csysdig进行比较。

对于初学者来说,这两种工具都使用相同的方法,即通过上/下/左/右箭头以及PgUp / PgDn导航实时表。对于影响单个过程的操作(杀死,重制等等),假定您已使用这些控件首先突出显示特定过程。

操作 HTOP CSYSDIG 注意
根据表的列更改排序顺序 F6<>,然后按名称选择一列,或 按MPT通过内存,处理器使用,或时间排序 按I反转排序顺序 F9>,然后按名称选择列,或 按按shift<1-9>任何列进行排序 n,然后反复按以反转排序顺序,或 在列标题上单击鼠标左键
杀死进程 F9k k
Renice一个过程 F7]将nice值降低1 按F8[将nice值提高1 按下]将nice值减小1 按下[将nice值增大1 这说明自定义Sysdig很容易。我在初次撰写本文时注意到csysdig缺少这样的一些次要功能,因此我借此机会学习了编写/修改Chisels的难易程度,然后提出了我的改进作为Pull Request。你也可以做到的!
仅显示由名为“ phil”的用户启动的进程 u,然后从列表中 选择用户名phil 启动为: csysdig user.name=phil 或在默认“流程”视图顶部的Filter:内部单击鼠标csysdig,然后附加and user.name=phil到当前过滤器文本
将输出刷新间隔更改为每5秒一次 启动为: htop -d 50 启动为: csysdig -d 5000 如您所见,htop的工作单位为十分之一秒,而csysdig的工作单位为毫秒。
在进程上启动系统调用跟踪 s开始strace 按下F6开始sysdig
列出流程的打开文件 按下l即可执行一次lsof f运行一次性lsof的或者看到实时更新的进程所使用的文件/目录的报告,按向下钻取到具体的过程Enter,然后按F2选择,如查看FilesFile Opens ListDirectories 有关lsof最近如何将一次性添加为增强功能的信息,请参见上面的“简化流程”说明。
遵循一个过程,以便即使列表中的顺序发生更改,该过程仍会突出显示 F 默认行为是始终遵循突出显示的过程

lsof

操作 LSOF的 CSYSDIG 注意
列出属于所有活动进程的所有打开文件 lsof sysdig -c lsof
列出已打开特定文件/ var / log / syslog的进程 lsof /var/log/syslog sysdig -c lsof "fd.name=/var/log/syslog"
列出已在目录/ var / log下打开文件的进程 lsof +d /var/log sysdig -c lsof "fd.directory=/var/log"
列出由名为“ sshd”的进程打开的文件 lsof -c sshd sysdig -c lsof "proc.name=sshd"
列出由名为“ phil”的特定用户打开的文件 lsof -u phil sysdig -c lsof "user.name=phil"
列出所有人打开的文件,但名为“ phil”的用户除外 lsof -u ^phil sysdig -c lsof "user.name!=phil"
列出具有PID = 1081的特定过程的所有打开的文件 lsof -p 1081 sysdig -c lsof "proc.pid=1081"
列出用户“ phil”或名为“ sshd”的进程(或逻辑)打开的所有文件 lsof -u phil -c sshd sysdig -c lsof "'user.name=phil or proc.name=sshd'" 注意Sysdig过滤器使用两层引号。
列出由“ sshd”进程为用户“ phil”打开的所有文件(AND逻辑) lsof -u phil -c sshd -a sysdig -c lsof "'user.name=phil and proc.name=sshd'" 注意Sysdig过滤器使用两层引号。
观察基于实时活动的打开文件的重复报告 使用以下之一启用重复模式: lsof -r lsof +r 可以使用实时/交互式csysdig视图获得类似的实时数据,如下所示: csysdig -v files csysdig -v file_opens
列出所有网络连接 lsof -i sysdig -c lsof "fd.type=ipv4"
列出特定进程使用PID = 1014的网络连接 lsof -i -a -p 1014 sysdig -c lsof "'fd.type=ipv4 and proc.pid=1014'" 注意Sysdig过滤器使用两层引号。
列出正在端口22上侦听的进程 lsof -i :22 sysdig -c lsof "'fd.port=22 and fd.is_server=true'" 注意Sysdig过滤器使用两层引号。
列出所有TCP或UDP连接 lsof -i tcp lsof -i udp sysdig -c lsof "fd.l4proto=tcp" sysdig -c lsof "fd.l4proto=udp"

tcpdump

tcpdump完全专注于网络流量,而网络流量只是Sysdig涵盖的子集。许多tcpdump用例都涉及过滤,而tcpdump使用特定于网络的BPF过滤器,而Sysdig使用其自身更广泛的Sysdig过滤。两种方法在许多方面看起来都很相似,但是随着对高级过滤需求的不断发展,您将需要并排查看每个文档。另外,由于在Linux中所有内容都是文件,因此您会注意到下面的Sysdig筛选示例全部利用“通过文件描述符进行网络连接”方法。

操作 TCPDUMP的 CSYSDIG 注意
从特定接口eth0(192.168.10.119)捕获数据包 tcpdump -i eth0 sysdig fd.ip=192.168.10.119 Sysdig当前没有基于命名接口的过滤,但是此处显示了等效于通过IP地址的过滤。
仅捕获100个数据包 tcpdump -c 100 sysdig -n 100 fd.type=ipv4
以ASCII显示捕获的数据包 tcpdump -A sysdig -A fd.type=ipv4
以十六进制和ASCII显示捕获的数据包 tcpdump -XX sysdig -X fd.type=ipv4
捕获数据包数据,将其写入文件 tcpdump -w saved.pcap sysdig -w saved.scap fd.type=ipv4 Sysdig文件格式能够保存事件数据,而不仅仅是网络数据包(例如,系统调用)。
从文件中读取保存的数据包数据 tcpdump -r saved.pcap sysdig -r saved.scap
仅捕获大于/小于1024字节的数据包 tcpdump greater 1024 tcpdump less 1024 sysdig "fd.type=ipv4 and evt.buflen > 1024" sysdig "fd.type=ipv4 and evt.buflen < 1024" greater/lesstcpdump中 的选项引用了整个数据包长度,而evt.buflenSysdig中的选项则相对于有效负载大小。
仅捕获UDP或TCP数据包 tcpdump udp tcpdump tcp sysdig fd.l4proto=udp sysdig fd.l4proto=tcp 请注意,fd.type=ipv4由于我们在此处使用其他仅用于网络的过滤器,因此我们无需明确包含。
仅捕获去往/来自特定端口的数据包 tcpdump port 22 sysdig fd.port=22 请注意,fd.type=ipv4由于我们在此处使用其他仅用于网络的过滤器,因此我们无需明确包含。
捕获特定目标IP和端口的数据包 tcpdump dst 54.165.81.189 and port 6666 sysdig fd.rip=54.165.81.189 and fd.port=6666 请注意,fd.type=ipv4由于我们在此处使用其他仅用于网络的过滤器,因此我们无需明确包含。

iftop

由于iftop是实时,交互式,诅咒风格的工具,因此我们将其与实时,交互式,诅咒风格的csysdig进行比较。另外,与tcpdump一样,iftop使用BPF过滤器。有关过滤差异的更多详细信息,请参见tcpdump上一节的前一介绍。

操作 IFTOP的 CSYSDIG 注意
显示主机对之间的当前带宽使用情况表 iftop 以以下方式启动: csysdig -v connectionsF2从内部csysdig按更改视图,然后向上箭头选择Connections 缺省情况下,iftop仅监视它找到的第一个接口,而缺省情况下,csysdig监视整个主机上的流量。
打开网络端口的显示 启动方式: iftop -Pp从内部按iftop 默认行为是始终显示端口
仅观察eth0接口(192.168.10.119)的流量 启动为: iftop -i eth0 作为启动: csysdig -v connections fd.ip=192.168.10.119 或者鼠标点击Filter:来自内部csysdig,然后追加和fd.ip=192.168.10.119现有的过滤器文本 sysdig / csysdig当前没有基于命名接口的过滤,但是此处显示了等效于通过IP地址的过滤。
解析DNS名称 n从内iftop到切换分辨率,显示所有主机 n从内部 按csysdignslookup在当前突出显示的远程主机上运行
根据表的列更改排序顺序 按下以按目的地排序 F9>,然后按名称选择列,或 按按shift <1-9>任何列进行排序 n,然后反复按以反转排序顺序,或 在列标题上单击鼠标左键
过滤以仅显示去往/来自IP地址54.84.222.1的流量 启动为: iftop -f "host 54.84.222.1" 启动为: csysdig -v connections fd.ip=54.84.222.1Filter:在csysdig中单击鼠标,然后附加and fd.ip=54.84.22.1到现有过滤器文本
暂停显示 P p
滚动显示 j向上滚动 按k向下滚动 Up/Down/Left/Right箭头或PgUp/PgDn在表格中滚动 sysdig / csysdig不仅可以滚动浏览单个表,还可以深入“连接视图”以查看其他分组(例如,每个容器或每个线程)中的数据。

Linux故障排除备忘单:strace,htop,lsof,tcpdump,iftop和sysdig https://t.co/XeIeAwwj9i

— Sysdig(@sysdig)

2016年4月14日

Sysdig备忘单致谢

作者要感谢thegeekstuff.com,因为上表中使用示例填充的大多数文章都是在其站点上找到的。

您要下载该备忘单的PDF版本吗? 在这里抓住它

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,189评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,577评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,857评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,703评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,705评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,620评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,995评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,656评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,898评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,639评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,720评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,395评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,982评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,953评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,195评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,907评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,472评论 2 342