TLS/SSL抓包常见方法(一)

概述

目前，随着大家对安全的重视和HTTP2的推进，网站和APP后台基本上都会采用TLS/SSL；那么在TLS/SSL下，有什么方式抓到包的原始内容呢？

由于我习惯于采用WireShark来分析包，因此本文主要介绍如何采用WireShark来抓TLS/SSL包；

Wireshak简介

Wireshark是业界比较出名的一款抓包工具，尤其对包的分析很厉害，可以结合tcpdump使用;

wireshark.png

从Wireshark的配置界面可以看到它支持两种配置方式：

  1. 配置私钥：
    通常私钥都放在服务端，如果可以拿到私钥，那肯定是可以解密整个通讯过程；
  2. 配置log file:
    Wireshark是开源的，在它的源码里有段注释，介绍了Wireshark支持的log file格式:
/* The format of the file is a series of records with one of the following formats:
 *   - "RSA xxxx yyyy"
 *     Where xxxx are the first 8 bytes of the encrypted pre-master secret (hex-encoded)
 *     Where yyyy is the cleartext pre-master secret (hex-encoded)
 *     (this is the original format introduced with bug 4349)
 *
 *   - "RSA Session-ID:xxxx Master-Key:yyyy"
 *     Where xxxx is the SSL session ID (hex-encoded)
 *     Where yyyy is the cleartext master secret (hex-encoded)
 *     (added to support openssl s_client Master-Key output)
 *     This is somewhat is a misnomer because there's nothing RSA specific
 *     about this.
 *
 *   - "PMS_CLIENT_RANDOM xxxx yyyy"
 *     Where xxxx is the client_random from the ClientHello (hex-encoded)
 *     Where yyyy is the cleartext pre-master secret (hex-encoded)
 *     (This format allows SSL connections to be decrypted, if a user can
 *     capture the PMS but could not recover the MS for a specific session
 *     with a SSL Server.)
 *
 *   - "CLIENT_RANDOM xxxx yyyy"
 *     Where xxxx is the client_random from the ClientHello (hex-encoded)
 *     Where yyyy is the cleartext master secret (hex-encoded)
 *     (This format allows non-RSA SSL connections to be decrypted, i.e.
 *     ECDHE-RSA.)
 */

基于第一种方式，配置私钥的抓包方式比较简单，这边就不做介绍，我们重点看看第二种方式；

生成log文件

前面介绍了，可以通过配置log file,让wireshark对通讯过程进行解密；那么如何生成wireshark支持的文件呢？

浏览器:

Firefox 和 Chrome 都支持NSS Key Log。要想启用NSS LOG，必须要配置系统环境变量中SSLKEYLOGFILE(以MAC为例，其它系统类似)：

  • 添加环境变量:
mkdir ~/ssl && touch ~/ssl/key.log
#zsh
echo "\nexport SSLKEYLOGFILE=~/ssl/key.log" >> ~/.zshrc && source ~/.zshrc
#bash
echo "\nexport SSLKEYLOGFILE=~/ssl/key.log" >> ~/.bash_profile && . ~/.bash_profile

添加环境变量之后，要重启浏览器，为了确保环境变量生效，建议通过终端启动浏览器，以我的机器为例:

open ~/Applications/Google\ Chrome.app  #需要配置环境变量
./Google\ Chrome --ssl-key-log-file=～/ssl/key.log #不需要配置环境变量

注意：为了使配置生效，浏览器必须重启，且必须打开开发者模式；

之后通过浏览器访问https网站时，会将master key ,client_random等写key.log，根据NSS LOG Format文档，写入的日志格式如下:

<Label> <space> <ClientRandom> <space> <Secret>

Label包括CLIENT_RANDOM 、CLIENT_EARLY_TRAFFIC_SECRET 、CLIENT_HANDSHAKE_TRAFFIC_SECRET等

浏览器根据TLS/SSL握手协商出来的CipherSuites，选择不同的日志格式；

openssl命令

openssl提供了s_client命令，连接到服务端：

openssl s_client -connect www.baidu.com:443 -debug
result.png

可以看到输出里面包含Session-ID和Master-Key,根据之前的介绍，wireshark支持该种格式;

Java应用

在Java世界，JDK提供了JSSE,可以建立TLS/SSL通讯，但效率一般；由于Openssl使用很广，开源界在此基础上封装了Java版的API；Twitter首先封装了相应的API,后来这部分代码转给了tomcat,也就是Apache Tomcat Native Library;另外google在openssl基础上fork了boringssl,我在之前的工作中用的比较多的是netty从Tomcat Native Library fork出的netty tcnative, 里面包含boringssl、libressl和openssl;

JDK

JDK的SSLSessionImpl类记录了TLS/SSL协商过程中的masterkey:

/*
     * The state of a single session, as described in section 7.1
     * of the SSLv3 spec.
     */
    private final ProtocolVersion       protocolVersion;
    private final SessionId             sessionId;
    private X509Certificate[]   peerCerts;
    private byte                compressionMethod;
    private CipherSuite         cipherSuite;
    private SecretKey           masterSecret;

    void setMasterSecret(SecretKey secret) {
         if (masterSecret == null) {
             masterSecret = secret;
         } else {
             throw new RuntimeException("setMasterSecret() error");
         }
    }

masterSecret就是我们需要的内容;如果是自己动手构建TLS/SSL通讯框架，可以直接在握手成功之后从socket对象获取session,然后通过反射获取masterSecret;如果是采用第三方框架，则可以采用Java的Instrumentation机制实现：

public class Transformer implements ClassFileTransformer {
    private static final Logger log = Logger.getLogger(Transformer.class.getName());

    public byte[] transform(
            ClassLoader loader,
            String classPath,
            Class<?> classBeingRedefined,
            ProtectionDomain protectionDomain,
            byte[] classfileBuffer) throws IllegalClassFormatException {
        String className = classPath.replace("/", ".");
        if (className.equals("sun.security.ssl.SSLSessionImpl") ||
                className.equals("com.sun.net.ssl.internal.ssl.SSLSessionImpl")) {
            try {
                ClassPool pool = ClassPool.getDefault();
                CtClass sslSessionClass = pool.get(className);
                CtMethod method = sslSessionClass.getDeclaredMethod("setMasterSecret");
                method.insertAfter(MasterSecretCallback.class.getName() + ".onMasterSecret(this, $1);");
                return sslSessionClass.toBytecode();
            } catch (Throwable e) {
                log.log(Level.WARNING, "Error instrumenting " + className, e);
                return classfileBuffer;
            }
        } else if (className.equals("sun.security.ssl.Handshaker") ||
                className.equals("com.sun.net.ssl.internal.ssl.Handshaker")) {
            try {
                ClassPool pool = ClassPool.getDefault();
                CtClass sslSessionClass = pool.get(className);
                CtMethod method = sslSessionClass.getDeclaredMethod("calculateConnectionKeys");
                method.insertBefore(MasterSecretCallback.class.getName() + ".onCalculateKeys(session, clnt_random, $1);");
                return sslSessionClass.toBytecode();
            } catch (Throwable e) {
                log.log(Level.WARNING, "Error instrumenting " + className, e);
                return classfileBuffer;
            }
        } else {
            return classfileBuffer;
        }
    }

}

关于该方案，github上已经有人提供了源码extract-ssl-secrets；

Netty

如果采用Netty作为通讯框架，而且采用的是openssl,无法通过Instrument的方式获取master secret;研究netty源码发现，netty是通过JNI调用openssl的c库实现的；openssl1.1.0之后提供了如下API:

#include <openssl/ssl.h>

 size_t SSL_get_client_random(const SSL *ssl, unsigned char *out, size_t outlen);
 size_t SSL_get_server_random(const SSL *ssl, unsigned char *out, size_t outlen);
 size_t SSL_SESSION_get_master_key(const SSL_SESSION *session, unsigned char *out, size_t outlen);

我采用的方案是扩展netty tcnative类库，在ssl.c中增加tapSSLKey方法 ：

TCN_IMPLEMENT_CALL(jlong, SSL, tapSSLKey)(TCN_STDARGS, jlong ssl)
{
    SSL *ssl_ = J2P(ssl, SSL *);
    SSL_SESSION *session = NULL;

    if (ssl_ == NULL) {
        tcn_ThrowException(e, "ssl is null");
        return 0;
    }
    session = SSL_get_session(ssl_);
    if (session == NULL) {
        // BoringSSL does not protect against a NULL session. OpenSSL
        // returns 0 if the session is NULL, so do that here.
        return 0;
    }

    UNREFERENCED(o);
   
    unsigned char client_random[SSL3_RANDOM_SIZE];
    unsigned char master_key[SSL_MAX_MASTER_KEY_LENGTH];
    int master_key_length = 0;

    if (session) {
        #if OPENSSL_VERSION_NUMBER >= 0x10100000L
                SSL_get_client_random(ssl_ , client_random, SSL3_RANDOM_SIZE);
                master_key_length = SSL_SESSION_get_master_key(session, master_key,
                        SSL_MAX_MASTER_KEY_LENGTH);
        #else
                if (ssl_ ->s3 && session->master_key_length > 0) {
                    memcpy(client_random, ssl_ ->s3->client_random, SSL3_RANDOM_SIZE);

                    master_key_length = session->master_key_length;
                    memcpy(master_key, session->master_key, master_key_length);
                }
        #endif
    }

    if (master_key_length > 0) {
        init_keylog_file();
        if (keylog_file_fd >= 0) {
            dump_to_fd(keylog_file_fd, client_random, master_key,
                    master_key_length);
        }
    }
    return 1;
}

具体的代码请参见我的github-netty-tcnative

JDK TLS/SSL Debug Utilities

JSSE提供了动态调试工具，启用的方式通过系统属性 javax.net.debug
关于JSSE提供了哪些调试选项，可以通过如下命令查看:

java -Djavax.net.debug=help MyApp

注意: MyApp必须使用了JSSE类；

TrustManager tm = new X509TrustManager() {
    @Override
    public void checkClientTrusted(X509Certificate[] x509Certificates, String s) throws CertificateException {

    }

    @Override
    public void checkServerTrusted(X509Certificate[] x509Certificates, String s) throws CertificateException {

    }

    @Override
    public X509Certificate[] getAcceptedIssuers() {
        return new X509Certificate[0];
    }
};
//设置SSLContext
SSLContext sslcontext = SSLContext.getInstance("TLS");
sslcontext.init(null, new TrustManager[]{tm}, null);

//打开连接
//要发送的POST请求url?Key=Value&amp;Key2=Value2&amp;Key3=Value3的形式
URL requestUrl = new URL("https://www.baidu.com");
HttpsURLConnection httpsConn = (HttpsURLConnection) requestUrl.openConnection();

//设置套接工厂
httpsConn.setSSLSocketFactory(sslcontext.getSocketFactory());
httpsConn.setRequestMethod("GET");
httpsConn.setDoOutput(true);

BufferedReader in = new BufferedReader(new InputStreamReader(httpsConn.getInputStream()));
int code = httpsConn.getResponseCode();
if (HttpsURLConnection.HTTP_OK == code) {
    String temp = in.readLine();
                     /*连接成一个字符串*/
    while (temp != null) {
        System.out.println(temp);
        temp = in.readLine();
    }
}
usage.png

例子：

  • 查看所有调试信息
   java -Djavax.net.debug=all MyApp
  • 查看握手信息
java -Djavax.net.debug=ssl:handshake:data MyApp
  • 查看每次握手的信息&打印trust managere调试信息
java -Djavax.net.debug=SSL,handshake,data,trustmanager MyApp

参考资料

  1. http://www.likecs.com/default/index/show?id=124371
  2. https://blog.cloudflare.com/keyless-ssl-the-nitty-gritty-technical-details/
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 204,053评论 6赞 478
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 85,527评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 150,779评论 0赞 337
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,685评论 1赞 276
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,699评论 5赞 366
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,609评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,989评论 3赞 396
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,654评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,890评论 1赞 298
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,634评论 2赞 321
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,716评论 1赞 330
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,394评论 4赞 319
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,976评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,950评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,191评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 44,849评论 2赞 349
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,458评论 2赞 342

推荐阅读更多精彩内容