HttpClient API 文档:7. 进阶主题

7.1 自定义客户端连接

在某些情况下,有必要自定义 HTTP 消息传输的方式来扩展 HTTP 参数的可使用性,以便能够处理非标准的作业。例如,对于网络爬虫,可能需要强制 HttpClient 接受格式不正确的响应头,来捕捉消息的内容。

通常,插入自定义消息解析器或自定义连接实现的过程涉及几个步骤:

  1. 提供自定义的 LineParser / LineFormatter 接口实现类。 根据需要实现消息解析/格式化逻辑。
class MyLineParser extends BasicLineParser {

    @Override
    public Header parseHeader(CharArrayBuffer buffer) throws ParseException {
        try {
            return super.parseHeader(buffer);
        } catch (ParseException ex) {
            // Suppress ParseException exception
            return new BasicHeader(buffer.toString(), null);
        }
    }
}
  1. 提供自定义的 HttpConnectionFactory 接口的实现类。用自定义的请求写入器和/或响应解析器根据需要来替换默认的。
HttpConnectionFactory<HttpRoute, ManagedHttpClientConnection> connFactory =
        new ManagedHttpClientConnectionFactory(
            new DefaultHttpRequestWriterFactory(),
            new DefaultHttpResponseParserFactory(
                    new MyLineParser(), new DefaultHttpResponseFactory()));
  1. 配置 HttpClient 来使用自定义连接工厂类。
PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager(connFactory);
CloseableHttpClient httpclient = HttpClients.custom()
        .setConnectionManager(cm)
        .build();

7.2 有状态的 HTTP 连接

虽然 HTTP 规范假设会话状态信息总是以 HTTP cookie 的形式嵌入 HTTP 消息中,因此 HTTP 连接始终是无状态的,但这种假设在现实生活中并不总是成立。有些情况下,使用特定身份的用户或在特定的安全上下文内创建的 HTTP 连接是不能与其他用户共享的,只能由相同用户重复使用。有状态 HTTP 连接的例子是 NTLM 认证的连接和具有客户端证书认证的 SSL 连接。

7.2.1 用户令牌处理器

HttpClient 依赖于 UserTokenHandler 接口来确定给定的执行上下文是否为用户特定的。如果是,则该处理程序返回的令牌对象应该唯一标识当前用户,如果上下文不包含当前用户特有的任何资源或详细信息,则该对象将为 null。 用户令牌将用于确保用户特定资源不会被其他用户共享或重复使用。

UserTokenHandler 接口的默认实现类作为 Principal 类的实例来表示 HTTP 连接的状态对象,如果它可以从给定的执行上下文获得的话。

DefaultUserTokenHandler 将使用基于连接的认证方案(例如 NTLM)或使用客户端认证的 SSL 会话的用户主体。 如果两者都不可用,将返回 NULL 令牌。

CloseableHttpClient httpclient = HttpClients.createDefault();
HttpClientContext context = HttpClientContext.create();
HttpGet httpget = new HttpGet("http://localhost:8080/");
CloseableHttpResponse response = httpclient.execute(httpget, context);
try {
    Principal principal = context.getUserToken(Principal.class);
    System.out.println(principal);
} finally {
    response.close();
}

如果默认设置不能满足需要,用户可以提供自定义实现:

UserTokenHandler userTokenHandler = new UserTokenHandler() {

    public Object getUserToken(HttpContext context) {
        return context.getAttribute("my-token");
    }
};

CloseableHttpClient httpclient = HttpClients.custom()
        .setUserTokenHandler(userTokenHandler)
        .build();

7.2.2 持久状态连接

请注意,只有当执行请求时相同的状态对象绑定到执行上下文时,携带状态对象的持久连接才可重复使用。因此,确保用户执行后续 HTTP 请求时重用了相同的上下文或用户令牌在请求执行之前就被绑定到上下文,是非常重要的。

CloseableHttpClient httpclient = HttpClients.createDefault();
HttpClientContext context1 = HttpClientContext.create();
HttpGet httpget1 = new HttpGet("http://localhost:8080/");
CloseableHttpResponse response1 = httpclient.execute(httpget1, context1);
try {
    HttpEntity entity1 = response1.getEntity();
} finally {
    response1.close();
}
Principal principal = context1.getUserToken(Principal.class);

HttpClientContext context2 = HttpClientContext.create();
context2.setUserToken(principal);
HttpGet httpget2 = new HttpGet("http://localhost:8080/");
CloseableHttpResponse response2 = httpclient.execute(httpget2, context2);
try {
    HttpEntity entity2 = response2.getEntity();
} finally {
    response2.close();
}

7.3 使用 FutureRequestExecutionService

使用 FutureRequestExecutionService,您可以有计划的调用 http 并且在未来做出响应。 这是很有用的,例如, 对 Web 服务进行多个调用。使用 FutureRequestExecutionService 的优点是,您可以使用多个线程来并发调度请求,也可以设置这些任务超时,或在不再需要响应的时候取消它们。

FutureRequestExecutionService 使用扩展了 FutureTaskHttpRequestFutureTask 类来封装请求。该类允许您取消任务以及追踪各个数据,如请求持续时间。

7.3.1 创建 FutureRequestExecutionService

FutureRequestExecutionService 类的构造函数接受任何已有的 httpClient 实例和 ExecutorService 实例。 当配置这两者时,重要的是将最大连接数与要使用的线程数一致。当线程数超过了最大连接数时,因为没有了可用的连接,连接将会进入超时。而出现相反的情况时,FutureRequestExecutionService 将不会使用它们。

HttpClient httpClient = HttpClientBuilder.create().setMaxConnPerRoute(5).build();
ExecutorService executorService = Executors.newFixedThreadPool(5);
FutureRequestExecutionService futureRequestExecutionService =
    new FutureRequestExecutionService(httpClient, executorService);

7.3.2 计划请求

要计划请求,只需提供一个 HttpUriRequestHttpContext 和一个 ResponseHandler。 因为请求由执行器服务处理,所以会强制使用 ResponseHandler

private final class OkidokiHandler implements ResponseHandler<Boolean> {
    public Boolean handleResponse(
            final HttpResponse response) throws ClientProtocolException, IOException {
        return response.getStatusLine().getStatusCode() == 200;
    }
}

HttpRequestFutureTask<Boolean> task = futureRequestExecutionService.execute(
    new HttpGet("http://www.google.com"), HttpClientContext.create(),
    new OkidokiHandler());
// blocks until the request complete and then returns true if you can connect to Google
boolean ok=task.get();

7.3.3 取消任务

计划任务有可能被取消。如果任务一直就在队列中等待执行,那么它将永远不会执行。如果它正在执行中并且 mayInterruptIfRunning 参数为 true,那么将在请求上调用 abort();否则虽然会正常完成请求,但是会忽略响应。任何对 task.get() 的后续调用都将失败并返回 IllegalStateException 异常。 应当注意,取消任务仅会释放客户端资源。 该请求实际上可以在服务器端正常处理。

task.cancel(true)
task.get() // throws an Exception

7.3.4 回调

如果要代替手动调用 task.get(),还可以使用 FutureCallback 实例在请求完成时获取回调, 它与 HttpAsyncClient 中使用的接口相同。

private final class MyCallback implements FutureCallback<Boolean> {

    public void failed(final Exception ex) {
        // do something
    }

    public void completed(final Boolean result) {
        // do something
    }

    public void cancelled() {
        // do something
    }
}

HttpRequestFutureTask<Boolean> task = futureRequestExecutionService.execute(
    new HttpGet("http://www.google.com"), HttpClientContext.create(),
    new OkidokiHandler(), new MyCallback());

7.3.5 数据

FutureRequestExecutionService 通常用于进行大量 Web 服务调用的应用程序中。 为了方便监控或配置调整等,FutureRequestExecutionService 会追踪多项数据。

每个HttpRequestFutureTask 提供了获取任务调度,启动和结束时间的方法。 此外,请求和任务持续时间也可用。这些数据标准在 FutureRequestExecutionService 中的 FutureRequestExecutionMetrics 实例中聚合,可通过 FutureRequestExecutionService.metrics() 访问。

task.scheduledTime() // returns the timestamp the task was scheduled
task.startedTime() // returns the timestamp when the task was started
task.endedTime() // returns the timestamp when the task was done executing
task.requestDuration // returns the duration of the http request
task.taskDuration // returns the duration of the task from the moment it was scheduled

FutureRequestExecutionMetrics metrics = futureRequestExecutionService.metrics()
metrics.getActiveConnectionCount() // currently active connections
metrics.getScheduledConnectionCount(); // currently scheduled connections
metrics.getSuccessfulConnectionCount(); // total number of successful requests
metrics.getSuccessfulConnectionAverageDuration(); // average request duration
metrics.getFailedConnectionCount(); // total number of failed tasks
metrics.getFailedConnectionAverageDuration(); // average duration of failed tasks
metrics.getTaskCount(); // total number of tasks scheduled
metrics.getRequestCount(); // total number of requests
metrics.getRequestAverageDuration(); // average request duration
metrics.getTaskAverageDuration(); // average task duration
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容