FastJson long 溢出问题小结

0 背景

严选项目中早期（2015年底）接入了 FastJson（版本 1.1.48.android），随着业务发展，个别请求字段数值超出 int 范围，暴露了 FastJson 当前版本的这个溢出问题。

当做总结，希望其他团队可以趁早规避这个坑

问题1. 对象转 json 字符串错误

在网络请求 response body 数据解析中，为了将 json 数据映射到对象上，调用了 JSON.toJSONString() 方法，而这里的数据处理出现了 long 数据溢出，数据发生错误

Object result = isArray ?
        JSON.parseArray(jsonObj.getJSONArray("data").toJSONString(), modelCls) :
        jsonObj.getObject("data", modelCls);
parseResult.setResult(result);

数组对象映射代码看着有点怪，性能会有点浪费，因为涉及接口不多也没想到有更好的映射方式，就没改，轻喷。

问题2. 对象转字节数组错误

网络请求 request body 转字节数组过程，调用了 JSON.toJSONBytes 接口，而当 mBodyMap 中存在 long 字段时发生了溢出。

@Override
public byte[] getContenteAsBytes() {
    //防止重复转换
    if (mBody == null && mBodyMap.size() != 0) {
        mBody = JSON.toJSONBytes(mBodyMap);
    }
    return mBody;
}

//mBodyMap 数据内容
Map<String, Object> mBodyMap = new HashMap<>();
mBodyMap.put("shipAddressId", 117645003002L);
...
InvoiceSubmitVO submit = new InvoiceSubmitVO();
submit.shipAddressId = 117645003002L;
mBodyMap.put("invoiceSubmite", submit);

//后端接收数据内容
{
    "invoiceSubmite":{
        "shipAddressId": 117645003002,
        ...
    },
    "shipAddressId": 1680886010,    
    ...
}

同样的 2 个 long 字段 shipAddressId，一个能正常解析，一个发生了溢出。

1 问题解析

编写测试代码：

public static void test() {
    JSONObject jsonObj = new JSONObject();
    jsonObj.put("_int", 100);
    jsonObj.put("_long", 1234567890120L);
    jsonObj.put("_string", "string");
    String json0 = JSON.toJSONString(jsonObj);
    Log.i("TEST0", "json0 = " + json0);
        
    TestModel model = new TestModel();
    String json1 = JSON.toJSONString(model);
    Log.i("TEST1", "json1 = " + json1);
}

private static class TestModel {
    public int _int = 100;
    public long _long = 1234567890120L;
    public String _string = "string";
}

内容输出

I/TEST0: json0 = {"_int":100,"_long":1912276168,"_string":"string"}
I/TEST1: json1 = {"_int":100,"_long":1234567890120,"_string":"string"}

可以找到规律 map 中 long value 解析时，发生了溢出；而类对象中的 long 字段解析正常。

查看源码：

// JSON.java

public String toJSONString() {
    SerializeWriter out = new SerializeWriter((Writer)null, DEFAULT_GENERATE_FEATURE, SerializerFeature.EMPTY);

    String var2;
    try {
        (new JSONSerializer(out, SerializeConfig.globalInstance)).write(this);
        var2 = out.toString();
    } finally {
        out.close();
    }

    return var2;
}
    
public static final String toJSONString(Object object, SerializerFeature... features) {
    SerializeWriter out = new SerializeWriter((Writer)null, DEFAULT_GENERATE_FEATURE, features);

    String var4;
    try {
        JSONSerializer serializer = new JSONSerializer(out, SerializeConfig.globalInstance);
        serializer.write(object);
        var4 = out.toString();
    } finally {
        out.close();
    }

    return var4;
}

可以看到，最终调用的都是 JSONSerializer.write 方法

//JSONSerializer.java

public final void write(Object object) {
    ...
    ObjectSerializer writer = this.getObjectWriter(clazz);
    ...
}

public ObjectSerializer getObjectWriter(Class<?> clazz) {
    ObjectSerializer writer = (ObjectSerializer)this.config.get(clazz);
    if (writer == null) {
        if(Map.class.isAssignableFrom(clazz)) {
            this.config.put(clazz, MapCodec.instance);
        }
        ...
        else {
            Class superClass;
            if(!clazz.isEnum() && ((superClass = clazz.getSuperclass()) == null || superClass == Object.class || !superClass.isEnum())) {
                if(clazz.isArray()) {
                    ...
                }
                ...
                else {
                    ...
                    this.config.put(clazz, this.config.createJavaBeanSerializer(clazz));
                }
            } else {
                ...
            }
        }

        writer = (ObjectSerializer)this.config.get(clazz);
    }

    return writer;
}

可以看到 Map 对象使用 MapCodec 处理，普通 Class 对象使用 JavaBeanSerializer 处理

MapCodec 处理序列化写入逻辑：

Class<?> clazz = value.getClass();
if(clazz == preClazz) {
    preWriter.write(serializer, value, entryKey, (Type)null);
} else {
    preClazz = clazz;
    preWriter = serializer.getObjectWriter(clazz);
    preWriter.write(serializer, value, entryKey, (Type)null);
}

针对 long 字段的序列化类可以查看得到是 IntegerCodec 类

// SerializeConfig.java
public SerializeConfig(int tableSize) {
    super(tableSize);
    ...
    this.put(Byte.class, IntegerCodec.instance);
    this.put(Short.class, IntegerCodec.instance);
    this.put(Integer.class, IntegerCodec.instance);
    this.put(Long.class, IntegerCodec.instance);
    ...
}

而查看 IntegerCodec 源码就能看到问题原因：由于前面 fieldType 写死 null 传入，导致最后写入都是 out.writeInt(value.intValue()); 出现了溢出。

\\IntegerCodec.java

public void write(JSONSerializer serializer, Object object, Object fieldName, Type fieldType) throws IOException {
    SerializeWriter out = serializer.out;
    Number value = (Number)object;
    if(value == null) {
        ...

    } else {
        if (fieldType != Long.TYPE && fieldType != Long.class) {
            out.writeInt(value.intValue());
        } else {
            out.writeLong(value.longValue());
        }
    }
}

而当 long 值是一个class 字段时，查看 JavaBeanSerializer.write 方法，确实是被正确写入。

// JavaBeanSerializer.java

public void write(JSONSerializer serializer, Object object, Object fieldName, Type fieldType) throws IOException {
    ...
    if(valueGot && !propertyValueGot) {
        if(fieldClass != Integer.TYPE) {
            if(fieldClass == Long.TYPE) {
                serializer.out.writeLong(propertyValueLong);
            } else if(fieldClass == Boolean.TYPE) {
                ...
            }
        } else if(propertyValueInt == -2147483648) {
            ...
        }
        ...
    }
    ...
}

2 问题处理

2.1 使用 ValueFilter 处理

针对 JSON.toJSONString，可以调用如下方法，并设置 ValueFilter，FastJson 在写入字符串之前会先调用 ValueFilter.process 方法，在该方法中修改 value 的数据类型，从而绕开有 bug 的 IntegerCodec 写入逻辑

public static final String toJSONString(Object object, SerializeFilter filter, SerializerFeature... features)

public interface ValueFilter extends SerializeFilter {
    Object process(Object object, String name, Object value);
}

String json1 = JSON.toJSONString(map, new ValueFilter() {
    @Override
    public Object process(Object object, String name, Object value) {
        if (value instanceof Long) {
            return new BigInteger(String.valueOf(value));
        }
        return value;
    }
});

这里修改 long 类型为 BigInteger 类，而值不变，最后将写入操作交给 BigDecimalCodec

2.2 替换有问题的 IntegerCodec

查看 SerializeConfig 源码可以发现全部的 ObjectSerializer 子类都集成在 SerializeConfig 中，且内部使用 globalInstance

public class SerializeConfig extends IdentityHashMap<ObjectSerializer> {
    public static final SerializeConfig globalInstance = new SerializeConfig();

    public ObjectSerializer createJavaBeanSerializer(Class<?> clazz) {
        return new JavaBeanSerializer(clazz);
    }

    public static final SerializeConfig getGlobalInstance() {
        return globalInstance;
    }

    public SerializeConfig() {
        this(1024);
    }

    ...
}

为此可以在 Application 初始化的时候替换 IntegerCodec

//MyApplication.java

@Override
public void onCreate() {
    super.onCreate();
    
    SerializeConfig.getGlobalInstance().put(Byte.class, NewIntegerCodec.instance);
    SerializeConfig.getGlobalInstance().put(Short.class, NewIntegerCodec.instance);
    SerializeConfig.getGlobalInstance().put(Integer.class, NewIntegerCodec.instance);
    SerializeConfig.getGlobalInstance().put(Long.class, NewIntegerCodec.instance);
}

由于 NewIntegerCodec 用到的 SerializeWriter.features 字段是 protected，为此需要将该类放置在 com.alibaba.fastjson.serializer 包名下

2.3 升级 FastJson

现最新版本为 1.1.68.android（2018.07.16），查看 IntegerCodec 类，可以发现 bug 已经修复

//IntegerCodec.java
public void write(JSONSerializer serializer, Object object, Object fieldName, Type fieldType) throws IOException {
    ...
    
    if (object instanceof Long) {
        out.writeLong(value.longValue());
    } else {
        out.writeInt(value.intValue());
    }
    
    ...
}

综上看起来，最佳方案是升级 FastJson，然而升级过程中还是触发了其他的坑。

由于 nei 上定义的字段，部分数值变量定义类型为 Number，同样的基本类型，后端字段部分采用了装箱类型，导致了和客户端定义类型不一致（如服务端定义 Integer，客户端定义 int）。

public static void test() {
    String json = "{\"code\":200,\"msg\":\"\",\"data\":{\"_long\":1234567890120,\"_string\":\"string\",\"_int\":null}}";
    JSONObject jsonObj = JSONObject.parseObject(json);

    AndroidModel AndroidModel = jsonObj.getObject("data", AndroidModel.class);
}

private static class AndroidModel {
    public int _int = 100;
    public long _long = 1234567890120L;
    public String _string = "string";
}

如上测试代码，在早期版本这么定义并无问题，即便 _int 字段为 null，客户端也能解析成初始值 100。而升级 FastJson 之后，json 字符串解析就会发生崩溃

//JavaBeanDeserializer.java
public Object createInstance(Map<String, Object> map, ParserConfig config) //
               throws IllegalAccessException,
               IllegalArgumentException,
               InvocationTargetException {
    Object object = null;
    
    if (beanInfo.creatorConstructor == null) {
        object = createInstance(null, clazz);
        
        for (Map.Entry<String, Object> entry : map.entrySet()) {
            ...
            if (method != null) {
                Type paramType = method.getGenericParameterTypes()[0];
                value = TypeUtils.cast(value, paramType, config);
                method.invoke(object, new Object[] { value });
            } else {
                Field field = fieldDeser.fieldInfo.field;
                Type paramType = fieldDeser.fieldInfo.fieldType;
                value = TypeUtils.cast(value, paramType, config);
                field.set(object, value);
            }
        }
        
        return object;
    }
    ...
}

TypeUtils.java
@SuppressWarnings("unchecked")
public static final <T> T cast(Object obj, Type type, ParserConfig mapping) {
    if (obj == null) {
        return null;
    }
    ...
}

查看源码可以发现，当 json 字符串中 value 为 null 的时候，TypeUtils.cast 也直接返回 null，而在执行 field.set(object, value); 时，将 null 强行设置给 int 字段，就会发生 IllegalArgumentException 异常。

而由于这个异常情况存在，导致客户端无法升级 FastJson

3 小结

以上便是我们严选最近碰到的问题，即便是 FastJson 这么有名的库，也存在这么明显debug，感觉有些吃惊。然而由于服务端和客户端 nei 上定义的字段类型不一致（装箱和拆箱类型），而导致 Android 不能升级 FastJson，也警示了我们在 2 端接口协议等方面，必须要保持一致。
此外，上述解决方案 1、2，也仅仅解决了 json 序列化问题，而反序列化如 DefaultJSONParser 并不生效。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 194,088评论 5赞 459
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 81,715评论 2赞 371
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 141,361评论 0赞 319
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 52,099评论 1赞 263
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 60,987评论 4赞 355
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 46,063评论 1赞 272
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 36,486评论 3赞 381
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 35,175评论 0赞 253
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 39,440评论 1赞 290
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,518评论 2赞 309
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,305评论 1赞 326
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 32,190评论 3赞 312
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 37,550评论 3赞 298
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,880评论 0赞 17
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,152评论 1赞 250
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 41,451评论 2赞 341
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 40,637评论 2赞 335