APPARENT DEADLOCK!!! - C3P0连接池DeadLock机制分析

1 问题

近期，刚上线不久的生产系统的数据库连接池 C3P0 （版本为0.9.5.2）突然报出 APPARENT DEADLOCK!!! 错误。

1.1 错误日志

错误日志如下。

com.mchange.v2.async.ThreadPoolAsynchronousRunner$DeadlockDetector@7cf60134 -- APPARENT DEADLOCK!!! Creating emergency threads for unassigned pending tasks!
com.mchange.v2.async.ThreadPoolAsynchronousRunner$DeadlockDetector@7cf60134 -- APPARENT DEADLOCK!!! Complete Status: 
    Managed Threads: 3
    Active Threads: 3
    Active Tasks: 
        com.mchange.v2.resourcepool.BasicResourcePool$AsyncTestIdleResourceTask@3ce7f8aa
            on thread: C3P0PooledConnectionPoolManager[identityToken->1hgepsj9u1w3a4je54sly0|70165722]-HelperThread-#1
        com.mchange.v2.resourcepool.BasicResourcePool$AsyncTestIdleResourceTask@17f3c7a1
            on thread: C3P0PooledConnectionPoolManager[identityToken->1hgepsj9u1w3a4je54sly0|70165722]-HelperThread-#2
        com.mchange.v2.resourcepool.BasicResourcePool$AsyncTestIdleResourceTask@65dc473c
            on thread: C3P0PooledConnectionPoolManager[identityToken->1hgepsj9u1w3a4je54sly0|70165722]-HelperThread-#0
    Pending Tasks: 
        com.mchange.v2.resourcepool.BasicResourcePool$1DestroyResourceTask@744937e8
        com.mchange.v2.resourcepool.BasicResourcePool$1DestroyResourceTask@77e8b363
        com.mchange.v2.resourcepool.BasicResourcePool$1DestroyResourceTask@7eafacf0
        com.mchange.v2.resourcepool.BasicResourcePool$ScatteredAcquireTask@79cde1be
        com.mchange.v2.resourcepool.BasicResourcePool$ScatteredAcquireTask@44067f18
        com.mchange.v2.resourcepool.BasicResourcePool$ScatteredAcquireTask@76c7bf50
Pool thread stack traces:
    Thread[C3P0PooledConnectionPoolManager[identityToken->1hgepsj9u1w3a4je54sly0|70165722]-HelperThread-#0,5,main]
        java.net.SocketInputStream.socketRead0(Native Method)
        java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
        java.net.SocketInputStream.read(SocketInputStream.java:171)
        java.net.SocketInputStream.read(SocketInputStream.java:141)
        oracle.net.ns.Packet.receive(Unknown Source)
        oracle.net.ns.DataPacket.receive(Unknown Source)
        oracle.net.ns.NetInputStream.getNextPacket(Unknown Source)
        oracle.net.ns.NetInputStream.read(Unknown Source)
        oracle.net.ns.NetInputStream.read(Unknown Source)
        oracle.net.ns.NetInputStream.read(Unknown Source)
        oracle.jdbc.driver.T4CMAREngine.unmarshalUB1(T4CMAREngine.java:1099)
        oracle.jdbc.driver.T4CMAREngine.unmarshalSB1(T4CMAREngine.java:1070)
        oracle.jdbc.driver.T4C8Oall.receive(T4C8Oall.java:478)
        oracle.jdbc.driver.T4CPreparedStatement.doOall8(T4CPreparedStatement.java:213)
        oracle.jdbc.driver.T4CPreparedStatement.executeForDescribe(T4CPreparedStatement.java:796)
        oracle.jdbc.driver.OracleStatement.executeMaybeDescribe(OracleStatement.java:1031)
        oracle.jdbc.driver.T4CPreparedStatement.executeMaybeDescribe(T4CPreparedStatement.java:836)
        oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1124)
        oracle.jdbc.driver.OraclePreparedStatement.executeInternal(OraclePreparedStatement.java:3285)
        oracle.jdbc.driver.OraclePreparedStatement.executeQuery(OraclePreparedStatement.java:3329)
        oracle.jdbc.OracleDatabaseMetaData.getTables(OracleDatabaseMetaData.java:2471)
        com.mchange.v2.c3p0.impl.DefaultConnectionTester$1.activeCheckConnectionNoQuery(DefaultConnectionTester.java:84)
        com.mchange.v2.c3p0.impl.DefaultConnectionTester$3.activeCheckConnectionNoQuery(DefaultConnectionTester.java:182)
        com.mchange.v2.c3p0.impl.DefaultConnectionTester.activeCheckConnection(DefaultConnectionTester.java:275)
        com.mchange.v2.c3p0.AbstractConnectionTester.activeCheckConnection(AbstractConnectionTester.java:79)
        com.mchange.v2.c3p0.impl.C3P0PooledConnectionPool$1PooledConnectionResourcePoolManager.testPooledConnection(C3P0PooledConnectionPool.java:504)
        com.mchange.v2.c3p0.impl.C3P0PooledConnectionPool$1PooledConnectionResourcePoolManager.testPooledConnection(C3P0PooledConnectionPool.java:464)
        com.mchange.v2.c3p0.impl.C3P0PooledConnectionPool$1PooledConnectionResourcePoolManager.refurbishIdleResource(C3P0PooledConnectionPool.java:436)
        com.mchange.v2.resourcepool.BasicResourcePool$AsyncTestIdleResourceTask.run(BasicResourcePool.java:2211)
        com.mchange.v2.async.ThreadPoolAsynchronousRunner$PoolThread.run(ThreadPoolAsynchronousRunner.java:696)
    Thread[C3P0PooledConnectionPoolManager[identityToken->1hgepsj9u1w3a4je54sly0|70165722]-HelperThread-#1,5,main]
        java.net.SocketInputStream.socketRead0(Native Method)
        java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
        java.net.SocketInputStream.read(SocketInputStream.java:171)
        java.net.SocketInputStream.read(SocketInputStream.java:141)
        oracle.net.ns.Packet.receive(Unknown Source)
        oracle.net.ns.DataPacket.receive(Unknown Source)
        oracle.net.ns.NetInputStream.getNextPacket(Unknown Source)
        oracle.net.ns.NetInputStream.read(Unknown Source)
        oracle.net.ns.NetInputStream.read(Unknown Source)
        oracle.net.ns.NetInputStream.read(Unknown Source)
        oracle.jdbc.driver.T4CMAREngine.unmarshalUB1(T4CMAREngine.java:1099)
        oracle.jdbc.driver.T4CMAREngine.unmarshalSB1(T4CMAREngine.java:1070)
        oracle.jdbc.driver.T4C8Oall.receive(T4C8Oall.java:478)
        oracle.jdbc.driver.T4CPreparedStatement.doOall8(T4CPreparedStatement.java:213)
        oracle.jdbc.driver.T4CPreparedStatement.executeForDescribe(T4CPreparedStatement.java:796)
        oracle.jdbc.driver.OracleStatement.executeMaybeDescribe(OracleStatement.java:1031)
        oracle.jdbc.driver.T4CPreparedStatement.executeMaybeDescribe(T4CPreparedStatement.java:836)
        oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1124)
        oracle.jdbc.driver.OraclePreparedStatement.executeInternal(OraclePreparedStatement.java:3285)
        oracle.jdbc.driver.OraclePreparedStatement.executeQuery(OraclePreparedStatement.java:3329)
        oracle.jdbc.OracleDatabaseMetaData.getTables(OracleDatabaseMetaData.java:2471)
        com.mchange.v2.c3p0.impl.DefaultConnectionTester$1.activeCheckConnectionNoQuery(DefaultConnectionTester.java:84)
        com.mchange.v2.c3p0.impl.DefaultConnectionTester$3.activeCheckConnectionNoQuery(DefaultConnectionTester.java:182)
        com.mchange.v2.c3p0.impl.DefaultConnectionTester.activeCheckConnection(DefaultConnectionTester.java:275)
        com.mchange.v2.c3p0.AbstractConnectionTester.activeCheckConnection(AbstractConnectionTester.java:79)
        com.mchange.v2.c3p0.impl.C3P0PooledConnectionPool$1PooledConnectionResourcePoolManager.testPooledConnection(C3P0PooledConnectionPool.java:504)
        com.mchange.v2.c3p0.impl.C3P0PooledConnectionPool$1PooledConnectionResourcePoolManager.testPooledConnection(C3P0PooledConnectionPool.java:464)
        com.mchange.v2.c3p0.impl.C3P0PooledConnectionPool$1PooledConnectionResourcePoolManager.refurbishIdleResource(C3P0PooledConnectionPool.java:436)
        com.mchange.v2.resourcepool.BasicResourcePool$AsyncTestIdleResourceTask.run(BasicResourcePool.java:2211)
        com.mchange.v2.async.ThreadPoolAsynchronousRunner$PoolThread.run(ThreadPoolAsynchronousRunner.java:696)
    Thread[C3P0PooledConnectionPoolManager[identityToken->1hgepsj9u1w3a4je54sly0|70165722]-HelperThread-#2,5,main]
        java.net.SocketInputStream.socketRead0(Native Method)
        java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
        java.net.SocketInputStream.read(SocketInputStream.java:171)
        java.net.SocketInputStream.read(SocketInputStream.java:141)
        oracle.net.ns.Packet.receive(Unknown Source)
        oracle.net.ns.DataPacket.receive(Unknown Source)
        oracle.net.ns.NetInputStream.getNextPacket(Unknown Source)
        oracle.net.ns.NetInputStream.read(Unknown Source)
        oracle.net.ns.NetInputStream.read(Unknown Source)
        oracle.net.ns.NetInputStream.read(Unknown Source)
        oracle.jdbc.driver.T4CMAREngine.unmarshalUB1(T4CMAREngine.java:1099)
        oracle.jdbc.driver.T4CMAREngine.unmarshalSB1(T4CMAREngine.java:1070)
        oracle.jdbc.driver.T4C8Oall.receive(T4C8Oall.java:478)
        oracle.jdbc.driver.T4CPreparedStatement.doOall8(T4CPreparedStatement.java:213)
        oracle.jdbc.driver.T4CPreparedStatement.executeForDescribe(T4CPreparedStatement.java:796)
        oracle.jdbc.driver.OracleStatement.executeMaybeDescribe(OracleStatement.java:1031)
        oracle.jdbc.driver.T4CPreparedStatement.executeMaybeDescribe(T4CPreparedStatement.java:836)
        oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1124)
        oracle.jdbc.driver.OraclePreparedStatement.executeInternal(OraclePreparedStatement.java:3285)
        oracle.jdbc.driver.OraclePreparedStatement.executeQuery(OraclePreparedStatement.java:3329)
        oracle.jdbc.OracleDatabaseMetaData.getTables(OracleDatabaseMetaData.java:2471)
        com.mchange.v2.c3p0.impl.DefaultConnectionTester$1.activeCheckConnectionNoQuery(DefaultConnectionTester.java:84)
        com.mchange.v2.c3p0.impl.DefaultConnectionTester$3.activeCheckConnectionNoQuery(DefaultConnectionTester.java:182)
        com.mchange.v2.c3p0.impl.DefaultConnectionTester.activeCheckConnection(DefaultConnectionTester.java:275)
        com.mchange.v2.c3p0.AbstractConnectionTester.activeCheckConnection(AbstractConnectionTester.java:79)
        com.mchange.v2.c3p0.impl.C3P0PooledConnectionPool$1PooledConnectionResourcePoolManager.testPooledConnection(C3P0PooledConnectionPool.java:504)
        com.mchange.v2.c3p0.impl.C3P0PooledConnectionPool$1PooledConnectionResourcePoolManager.testPooledConnection(C3P0PooledConnectionPool.java:464)
        com.mchange.v2.c3p0.impl.C3P0PooledConnectionPool$1PooledConnectionResourcePoolManager.refurbishIdleResource(C3P0PooledConnectionPool.java:436)
        com.mchange.v2.resourcepool.BasicResourcePool$AsyncTestIdleResourceTask.run(BasicResourcePool.java:2211)
        com.mchange.v2.async.ThreadPoolAsynchronousRunner$PoolThread.run(ThreadPoolAsynchronousRunner.java:696)

Task com.mchange.v2.resourcepool.BasicResourcePool$AsyncTestIdleResourceTask@65dc473c (in deadlocked PoolThread) failed to complete in maximum time 60000ms. Trying interrupt().
Task com.mchange.v2.resourcepool.BasicResourcePool$AsyncTestIdleResourceTask@3ce7f8aa (in deadlocked PoolThread) failed to complete in maximum time 60000ms. Trying interrupt().
Task com.mchange.v2.resourcepool.BasicResourcePool$AsyncTestIdleResourceTask@17f3c7a1 (in deadlocked PoolThread) failed to complete in maximum time 60000ms. Trying interrupt().

上面的日志报出了 APPARENT DEADLOCK!!! 错误，然后输出了
ThreadPoolAsynchronousRunner 的状态，包括线程数，当前正在处理的任务，队列中等待处理的任务，以及 ThreadPoolAsynchronousRunner 任务线程的堆栈。

1.2 配置

生产上的配置如下。

<bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource" >
        <property name="driverClass" value="oracle.jdbc.driver.OracleDriver"></property>
        <property name="jdbcUrl" value="${datasource.jdbcUrl}"></property>
        <property name="user" value="${datasource.user}"></property>
        <property name="password" value="${datasource.pass}"></property>
        <property name="maxPoolSize" value="${datasource.maxPoolSize}"></property>
        <property name="maxIdleTime" value="180"></property>
        <property name="idleConnectionTestPeriod" value="60"></property>
        <property name="checkoutTimeout" value="30000"></property>
</bean>

基本相当于使用默认配置。

1.3 初步判断

根据日志，C3P0判断其线程池（ThreadPoolAsynchronousRunner）中的任务出现死锁（DEADLOCK），此时线程处于检查空闲数据链接状态是否可用。单从日志字面暂时无法判断问题所在。

查阅了网上的资料，对此问题原因分析较少，绝大部分不甚了了。比较多的文章是尝试通过调整参数来避免问题的出现的帖子。

秉着 “知其所以然” 的态度，再加上一点点的好奇心，我翻阅了一下C3P0的代码，试图从中发现端倪。

2 C3P0的死锁（DeadLock）机制分析

2.1 C3P0类结构

为了后面展示代码的需要，先附上一个我整理的C3P0的类结构图，有助于我们分析问题时确定问题的位置。如果下面的图太小，可以点击这里浏览

c3p0类结构图

我们重点关注右下角的几个类。

2.2 ThreadPoolAsynchronousRunner线程池

在 C3P0PooledConnectionPoolManager 类在初始化时中创建了一个taskRunner，其类型为 ThreadPoolAsynchronousRunner ， 是一个 C3P0 自定实现的线程池。

public final class C3P0PooledConnectionPoolManager{
...
    ThreadPoolAsynchronousRunner taskRunner;
...
    private synchronized void _poolsInit()
    {
    ...
        this.taskRunner = createTaskRunner( 
                num_task_threads, matt, timer, idStr + "-HelperThread" );
    ...
    }
 ...
    private ThreadPoolAsynchronousRunner createTaskRunner( 
                int num_threads, 
                int matt /* maxAdministrativeTaskTime */, 
                Timer timer, 
                String threadLabel )
    {
    ...
        out = new ThreadPoolAsynchronousRunner( 
                      num_threads, true, timer, threadLabel );
        return out;
    ...
    }
...
}

ThreadPoolAsynchronousRunner 线程池被作为成员注入到多个对象之中，最终用于执行 BasicResourcePool 类中定义的 ScatteredAcquireTask， AcquireTask， RemoveTask， DestroyResourceTask， RefurbishCheckinResourceTask， AsyncTestIdleResourceTask 等任务。

我们来看一下 ThreadPoolAsynchronousRunner 的代码。

public final class ThreadPoolAsynchronousRunner implements AsynchronousRunner
{
...
    TimerTask deadlockDetector = new DeadlockDetector();
...
    public ThreadPoolAsynchronousRunner( 
        int num_threads, boolean daemon, 
        Timer sharedTimer, String threadLabel )
    { 
        this( num_threads, 
          daemon, 
          DFLT_MAX_INDIVIDUAL_TASK_TIME, 
          DFLT_DEADLOCK_DETECTOR_INTERVAL, 
          DFLT_INTERRUPT_DELAY_AFTER_APPARENT_DEADLOCK, 
          sharedTimer, 
          false,
          threadLabel ); 
    }
...
    private ThreadPoolAsynchronousRunner( int num_threads, 
                      boolean daemon, 
                      int max_individual_task_time,
                      int deadlock_detector_interval, 
                      int interrupt_delay_after_apparent_deadlock,
                      Timer myTimer,
                      boolean should_cancel_timer,
                      String threadLabel )
    {
        this.num_threads = num_threads;
        this.daemon = daemon;
        this.max_individual_task_time = max_individual_task_time;
        this.deadlock_detector_interval = 
                deadlock_detector_interval;
        this.interrupt_delay_after_apparent_deadlock = 
                interrupt_delay_after_apparent_deadlock;
        this.myTimer = myTimer;
        this.should_cancel_timer = should_cancel_timer;
        this.threadLabel = threadLabel;

        recreateThreadsAndTasks();

        myTimer.schedule( deadlockDetector, 
                deadlock_detector_interval, 
                deadlock_detector_interval );
    }
...

}

可以看到， ThreadPoolAsynchronousRunner 线程池默认创建3个执行线程，并且创建了一个 死锁检测（DeadLockDetector） 的定时任务，默认情况下每10秒执行一次。

2.3 DeadLockDetector内部机制

public final class ThreadPoolAsynchronousRunner implements AsynchronousRunner
{
...
    class DeadlockDetector extends TimerTask
    {
        LinkedList last = null;
        LinkedList current = null;

        public void run()
        {
        ...
            current = (LinkedList) pendingTasks.clone();
        ...
            if ( current.equals( last ) )
            {
                //System.err.println(this + " -- APPARENT DEADLOCK!!! Creating emergency threads for unassigned pending tasks!");
                ...
                recreateThreadsAndTasks();
                run_stray_tasks = true;
            }
                ...
                if (run_stray_tasks)
            {
                AsynchronousRunner ar = new ThreadPerTaskAsynchronousRunner( DFLT_MAX_EMERGENCY_THREADS, max_individual_task_time );
                for ( Iterator ii = current.iterator(); ii.hasNext(); )
                    ar.postRunnable( (Runnable) ii.next() );
                ar.close( false ); //tell the emergency runner to close itself when its tasks are complete
                last = null;
            }
            else
                last = current;

...

可以看到，DeadLockDetector是
ThreadPoolAsynchronousRunner 的内部类，是一个默认每10秒执行一次的定时任务。其工作原理是定时检查任务队列（pendingTasks）中的任务，如果前后两次检查发现待执行的任务没有变化，就认为可能产生了死锁，并额外创建线程执行等待任务。

3 问题分析

3.1 线程等待

从代码中可以看出，APPARENT DEADLOCK!!!报错原因主要是ThreadPoolAsynchronousRunner线程池的中的等待任务队列在经过一定时长（默认10秒）前后没有变化。

结合问题日志。我们可以初步判断问题的原因，是由于某些任务（如日志中显示AsyncTestIdleResourceTask）执行过程中失去响应（超过60s没有收到响应），导致后续的任务长时间等待，进而报错。

3.2 具体分析

进而观察执行线程的堆栈，可以发现三个任务都在执行检测连接有效性时，向服务端发送请求数据后，Oracle数据库未返回响应，导致线程长时间等待。

由于此问题无法通过构造场景重现，只能猜测，产生这种原因可能是连接在服务端已经超时，由服务端主动关闭连接，但由于TCP协议断开连接需要完成4次握手，而服务端只完成了前两次握手，这样就导致了客户端可以发送消息但接收不到任何内容，长时间等待直到超时。

3.3 解决方案

根据以上分析，我认为问题是maxIdleTime（连接最大空闲时间）与idleConnectionTestPeriod（空闲检测周期）参数配置与数据库不匹配引起的。

根据DBA的建议，将maxIdleTime调整为30秒，将idleConnectionTestPeriod调整为10秒。

4 后续

调整完后系统稳定运行，至今未再报出同样的错误。

在查看资料的过程中，发现有与我类似的情况，请看这里。问题出在同一块代码，但现象与原因均与我不同。我并不认为这是C3P0的缺陷，而是具体环境上的配置没有相匹配。

我再说一点废话，C3P0中大量使用了synchronized关键字进行加锁，由于单例没有使用double-check，导致正常代码中大量加锁，在高并发下效率很低。因此，如果性能对系统较为重要，还是推荐大家使用HikariCP替换C3P0。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 204,189评论 6赞 478
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 85,577评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 150,857评论 0赞 337
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,703评论 1赞 276
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,705评论 5赞 366
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,620评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,995评论 3赞 396
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,656评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,898评论 1赞 298
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,639评论 2赞 321
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,720评论 1赞 330
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,395评论 4赞 319
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,982评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,953评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,195评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 44,907评论 2赞 349
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,472评论 2赞 342

推荐阅读更多精彩内容