一.背景说明
从目前来看，大多数互联网业务是以web服务对外交付的，攻击者大多数也是通过web入侵到系统里，不管什么方式，都绕不过web系统的探测和入侵尝试这一关，所以如果要做入侵检测，可以尝试从web日志中分析入侵详情。
二.Web入侵检测系统技术架构
第一步 考虑日志的收集
web日志常用的方法是收集accesslog，但因为一般accesslog日志中缺少post，response，header数据，对于检测效果会有较大影响，后来我们考虑通过全流量收集http日志，使用Bro解析HTTP流量，可以较好解决以上问题。
说明：由于现在的网站基本上都采用了https加密，所以抓包的位置我们是放在Nginx服务器所在的接口上。
第二步 考虑入侵检测分析
部分实时特征非常明显的攻击，我们直接在Bro这一层分析，如信息泄露/命令执行/webshell执行；
部分需要进一步分析的，我们将http日志存储到ES后进一步分析，如SQL注入/暴力破解
第三步 考虑告警展现
我们开发了一个安全管理平台，将入侵详细信息展现在这个平台上
第四步 考虑告警
我们将入侵告警接入到钉钉机器人，对于攻击行为第一时间告警出来
三.Web入侵检测技术实现
1.SQL注入
利用elasticsearch的API从elasticsearch中检索特定的敏感关键字如
["select", "ifnull", "cast", "union", "sleep", "substring", "substr","mid", "ascii", "when", "case", "sysdate", "now", "database", "version", "information_schema"]等关键字，并关联到IP信息查看此IP请求的URL中出现敏感关键字的次数，如果次数超过预定阀值10次，则将此IP 定为恶意IP。将此IP的最近30分钟的访问记录从ES中取出来存入Redis中后续处理。 由于SQL注入想跨数据库获取数据必须使用到information_schema.schemata这个数据表，因此我们对单个IP的访问分析请求中是否匹配 .*schema_name.*from.*information_schema\.schemata.*等模式，如果匹配一次记录为一次异常，此IP最近30分钟的异常次数超过10此判 定为存在SQL注入成功。触发报警。
程序每5分钟从elasticsearch中拉取最近15分钟的数据分析查看是否有恶意IP，如果有实施检测。
2.暴力破解
利用ES的API的排序功能从elasticsearch中抽取访问量排名top3000的url，取这些url的hash值和访问量存入数据库中。 每五分钟抽取一次数据与前五分钟的数据对比，并且计算出下个五分钟的预估值并且计算出最大偏差量，下一次五分钟的访问量与上次的 预估值对比超过阀值就认为存在异常展示在首页。
监控url中含有login/captcha/register等关键字的url，过滤掉非重要接口
3.webshell检测
利用bro脚本对请求头、uri、POST、响应状态码数据做规则匹配，如
(/eval.*base64_decode/ in c$http$post_body || /eval.*base64_decode/ in c$http$uri) && c$http$status_code == 200
4.信息泄漏检测
利用bro脚本实时检测请求和响应中对应的关键字、状态码，如 响应中包含下面关键字，状态码是200时，记录下来 [phpinfo(),root:x:0:0,Index of /,Directory Listing,.git,.svn] 请求中包含下面关键字，状态码是200时，记录下来 [.bak,.swp,.old,.bat,.sh,.zip,.7z,.gz,.rar,.iso] 记录这些泄露信息的请求到数据库中，然后展示到前端页面。
5.命令执行检测
利用bro脚本对请求头、uri、POST数据做规则匹配，如 "@type" in c$http$post_body || "@type" in c$http$uri
/[^a-zA-Z0-9][oO][gG][nN][lL]/ in c$http$post_body || /[^a-zA-Z0-9][oO][gG][nN][lL]/ in c$http$uri || /[Rr][Uu][nN][tT][iI][mM][eM].*[eE][xX][cC]/ in c$http$post_body || /[Rr][Uu][nN][tT][iI][mM][eM].*[eE][xX][cC]/ in c$http$uri || "/dev/tcp/" in c$http$uri || "/dev/tcp/" in c$http$post_body || /[^a-zA-Z0-9][oO][gG][nN][lL]/ in c$http$header_string || /[Rr][Uu][nN][tT][iI][mM][eM].*[eE][xX][cC]/ in c$http$header_string || "/dev/tcp/" in c$http$header_string
/[^a-zA-Z0-9][pP][iI][nN][gG].*-c[^a-zA-Z0-9]/ in c$http$post_body || /[^a-zA-Z0-9][pP][iI][nN][gG].*-c[^a-zA-Z0-9]/ in c$http$uri || /[^a-zA-Z0-9][cC][uU][rR][lL][^a-zA-Z0-9]/ in c$http$post_body || /[^a-zA-Z0-9][cC][uU][rR][lL][^a-zA-Z0-9]/ in c$http$uri
6.敏感接口信息异常访问
统计含有手机号等敏感信息的接口访问次数，记录异常访问情况并告警。
四.实际使用效果
1.暴力破解
2.命令执行
Struts2命令执行漏洞尝试攻击（用到header数据）
3.信息泄露
phpinfo泄露
4.sql注入
生产环境没有发生过注入攻击，以下为测试的截图
5.webshell检测
菜刀webshell执行
五.项目收益
该系统建成后，大大提升了公司的安全威胁感知能力！
1.比如在Struts2-045漏洞爆发后的一周内，我们频繁收到入侵尝试告警；
2.检测出开发在测试过程中上传phpinfo代码文件并执行
3.安全众测过程中发现暴力扫描，白帽子测试未经授权APP情况
4.发现敏感接口大量遍历行为，确认存在安全漏洞
5.有了这个安全数据平台，安全团队可以从中统计各种入侵类型 入侵IP分布，安全风险态势等
五.未来展望
全流量抓包的优点是数据全，扩展性强，但这个实施起来技术难度有点大，涉及端口镜像/Bro/ELK部署等，我们投入3个人，花半年时间才完成的。
未来可以继续扩展，把系统日志 /安全日志 /堡垒机日志 /VPN日志接入到这个平台上，进一步加强安全检测能力。
当然跟HIDS相比，对于系统级别的入侵，检测能力还是非常不足。
