花了一天时间在处理一个Excel数据上传,但数据总是提交不全的问题。
Excel解析出的内容差不多 5000 行,每行大概 10 列,也就是 5W 左右个数据。
整个过程需要上传、预览、建立字段映射后,再提交,保存到数据库。
这个吐血的Bug,前前后后差不多调试了5、6个小时。
前面的几步统统SO Easy,轻松解决,但是提交这5W个数据时,遇到一个坑。
- SpringMVC 接收List/数组大小默认限制为256个
简单搜索下网页,轻松找到了解决办法。
在需要问题发生的Controller中,增加
@InitBinder
protected void initBinder(WebDataBinder binder) {
binder.setAutoGrowNestedPaths(true);
binder.setAutoGrowCollectionLimit(Integer.MAX_VALUE);
}
考虑不想以后再重复处理,将这段代码放到了@ControlerAdvice标注的全局Controller异常处理器类中。
网上给出的全局配置比较麻烦,官方文档给出的是基于XML的配置方法,考虑项目使用的SpringBoot,想参考做Java Config没成功。
试着放到@ControlerAdvice标注的类中,貌似成功了,后来又搜了一遍官方文档:
@Controller or @ControllerAdvice classes can have @InitBinder methods that initialize instances of WebDataBinder
哈,原来确实可以这么干!
- Post方式发送请求,SpringMVC 接收为空
无论怎么发送,服务端收到始终是null,貌似数据被丢弃,没有被正确接收。
同样搜索一番,发现是服务器对Post大小限制的问题。
不是理论上Post大小无限吗?现实是,大多服务器都进行了容量限制,如 Tomcat 默认Post请求的数据大小是2M。
看帖子,翻Tomcat Doc,找到解决方法是:
(1)使用 Tomcat 作为服务器
修改Tomcat server.xml配置,取消Post请求大小限制
<Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="19443"
maxPostSize="-1"/>
关键部分是在Connector元素中增加 maxPostSize
属性,并设置为 -1
,表示不限制。
注意:Tomcat版本有差异,7之前设置0,之后(包括7)设置-1。
(2)使用SpringBoot内嵌的Tomcat
SpringBoot嵌入的Tomcat也提供了对应的配置
- servet.tomcat.max-http-post-size=-1
两种我都修改了。
- 超级巨坑,请求参数个数限制默认为10000
那个Bug来的,防不胜防啊,,,开发不易,产品且用且珍惜。
按理说,折腾这么久,问题应该解决了,但是无论怎么测试数据只能接受到1111个VO对象。
这时候我仍以为是Post数据大小限制的修改没有生效,继续重启多次,测试N遍,问题依旧,数量不增不减,始终只能接收1111个VO对象过来。
折磨了2个多小时,心力交瘁,无心编程。算了,睡2小时去(周日在家,非上班时间)。
睡醒,夜半,挑灯再战。
Chrome关键时刻也不给力,想查看请求数据量大小,卡、卡、卡,缓慢出来一看3144834,这应该不算大吧。
重新搜索:SpringMVC List 个数限制
突然找到 "Tomcat配置,参数个数maxParameterCount默认个数10000"。
简单计算一番1111个VO对象,刚好,每个有9个属性值,正好约1W,一口老血。
解决办法:
<Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="19443" maxPostSize="-1" maxParameterCount="-1"/>
中间也走了一些歧途,尝试配置过maxHttpHeaderSize ="102400" maxSwallowSize="-1"。
不能叹气,容易老。
问题解决了。