通过node的pipe实现请求代理

引言

充分利用node的高吞吐量和java服务的稳定性,特搭建node+java的开发和运行框架。前端代码采用js,一部分作为界面代码运行于浏览器,一部分做为转发代理运行于node。后端java采用spring实现restful的web service。
从浏览器访问restful service,需要经过node转发,转发请求的代码采用node的pipe,该方法实现流间的管道对接,减少了传统的从一个流中读取内容然后写入目标流中的系统开销。
在实际的实现中遇见一个问题:浏览器发送post请求,经过node代理将请求转发给tomcat下的spring restful api,而spring无法获取到请求体。

问题描述

浏览器通过jquery.ajax发送post请求,请求一个restful api,如:/sh/person,请求体为{"name":"test","age":66},
jquery发送post请求:

var data = {name:"test",age:66};
            $.ajax({
                type:"post",
                url:"/sh/person",
                data:JSON.stringify(data),
                //processData:false,
                success:function(d){
                },
                dataType:'json',
                contentType:"application/json; charset=utf-8"
            });

由node7通过pipe将浏览器的api请求转发到后端spring restful web service
代码:

app.use('/sh/', function(req, res, next) {
  var options = {
    host: "127.0.0.1",
    port: "8080",
    path: '/sh'+req.url,
    method: req.method,
    headers: req.headers 
  };
  var request = http.request(options,function(response){
    res.statusCode = response.statusCode;
    response.pipe(res);
  }).on("error",function(){
    res.statusCode = 503;
    res.end();
  });
  req.pipe(request);
  // request.write(JSON.stringify({name:"test",age:66}));
  // request.end();
});

tomcat8下spring4 restful 控制器的方法

@RequestMapping(value = "/person", method = RequestMethod.POST)
    public @ResponseBody
    Person addPerson(@RequestBody Person person) {
        personService.add(person);
        return person;
    }

spring在DispatchServlet中解析请求体,报如下错误,该错最终是由tomcat读取请求的编码信息时抛出的SocketTimeoutException引起:


org.springframework.http.converter.HttpMessageNotReadableException: Could not read document: null; nested exception is java.net.SocketTimeoutException
    at org.springframework.http.converter.json.AbstractJackson2HttpMessageConverter.readJavaType(AbstractJackson2HttpMessageConverter.java:228)
    ......
    at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.net.SocketTimeoutException
    at org.apache.tomcat.util.net.NioBlockingSelector.read(NioBlockingSelector.java:202)
    at org.apache.tomcat.util.net.NioSelectorPool.read(NioSelectorPool.java:250)
    at org.apache.tomcat.util.net.NioSelectorPool.read(NioSelectorPool.java:231)
    at org.apache.coyote.http11.InternalNioInputBuffer.fill(InternalNioInputBuffer.java:133)
    at org.apache.coyote.http11.InternalNioInputBuffer$SocketInputBuffer.doRead(InternalNioInputBuffer.java:177)
    at org.apache.coyote.http11.filters.IdentityInputFilter.doRead(IdentityInputFilter.java:110)
    at org.apache.coyote.http11.AbstractInputBuffer.doRead(AbstractInputBuffer.java:414)
    at org.apache.coyote.Request.doRead(Request.java:476)
    at org.apache.catalina.connector.InputBuffer.realReadBytes(InputBuffer.java:350)
    at org.apache.tomcat.util.buf.ByteChunk.substract(ByteChunk.java:395)
    at org.apache.catalina.connector.InputBuffer.read(InputBuffer.java:375)
    at org.apache.catalina.connector.CoyoteInputStream.read(CoyoteInputStream.java:190)
    at com.fasterxml.jackson.core.json.ByteSourceJsonBootstrapper.ensureLoaded(ByteSourceJsonBootstrapper.java:489)
    at 
    ......

排查

  1. 不通过node的pipe转发,直接发送post请求是没有问题的,如通过postman工具直接发送post请求是没有问题的,且node的转发实现不去pipe请求流,调整为直接创建新的请求并重新发送请求体也是没有问题的

  2. 跟踪spring源码发现,发生问题的测试案例下,查看request的输入流inputstream.available()为0,运行read同样抛出以上异常。也就是说经过node转发过来的流body体为空。

  3. 同样的方式将请求转发到一个jetty server里,读取输入流也报错

    org.eclipse.jetty.io.EofException: early EOF
    at org.eclipse.jetty.server.HttpInput.read(HttpInput.java:65)
    at sun.nio.cs.StreamDecoder.readBytes(StreamDecoder.java:284)
    at sun.nio.cs.StreamDecoder.implRead(StreamDecoder.java:326)
    at sun.nio.cs.StreamDecoder.read(StreamDecoder.java:178)
    at java.io.InputStreamReader.read(InputStreamReader.java:184)
    

结论

通过以上排查确定后端问题的可能性非常小,tomcat和jetty读取body都会出错。
那么问题还是在node端。
从后端调试发现node转发post过来的body体为空,说明应该是有动作已经读取了请求的输入流,因为请求的输入流只能读取一次。
最后,发现node端有如下代码:

var bodyParser = require('body-parser');
app.use(bodyParser.json());
app.use(bodyParser.urlencoded({ extended: false }));

该代码是由express-generator自动生成,因此一直没得到关注。body-parser用于body体的解析,因此其自动读取了请求输入流导致浏览器请求被pipe到后端后,后端读取的body体为空。
该代码用不上,删除掉即可。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,684评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,143评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,214评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,788评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,796评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,665评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,027评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,679评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,346评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,664评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,766评论 1 331
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,412评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,015评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,974评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,073评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,501评论 2 343

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,596评论 18 139
  • Spring Boot 参考指南 介绍 转载自:https://www.gitbook.com/book/qbgb...
    毛宇鹏阅读 46,733评论 6 342
  • 从三月份找实习到现在,面了一些公司,挂了不少,但最终还是拿到小米、百度、阿里、京东、新浪、CVTE、乐视家的研发岗...
    时芥蓝阅读 42,178评论 11 349
  • 有人在背后默默支持你的一切一切的感觉真是太好了 即便是摔倒100次 即便无法自顾温饱 即便是别人眼中的无所事事 也...
    矢耶阅读 121评论 0 0
  • 那时候,我们光着脚丫在操场唱歌,太阳把脸晒得红彤彤的。有时候也会畅想未来,比如会去怎样的大学,会遇见怎样的人。 ...
    北方囡囡阅读 280评论 0 0