golang http库的使用 并发 get post请求处理

golang http库的使用

一个简单的golang get请求连接

我们这里是通过网站聚合数据获取到的公共API接口,也可以直接访问https://baidu.com来进行测试,但是效果不佳

下文中访问url所用到的key需要自己去聚合数据申请,也可以直接使用<u>https://baidu.com</u>代替

package main

import (
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
)

func testGet() {
    url := "http://apis.juhe.cn/fapig/nba/query?key="*********""
    //通过http.get建立网络连接获取数据
    r, err := http.Get(url)
    if err != nil {
        log.Fatal(err)
    }
    //关闭链接连接
    defer r.Body.Close()
    //格式化我们拿到的数据
    b, err2 := ioutil.ReadAll(r.Body)
    if err2 != nil {
        log.Fatal(err2)
    }
    fmt.Printf("b: %v\n", string(b))
}
func main() {
    testGet()
}
b: {"reason":"查询成功","result":{"title":"美国职业篮球联赛","duration":"2021-2022","matchs":[{"date":"2022-06-17","week":"周五","list":[{"time_start":"09:00","status":"3","status_text":"完赛","team1":"金州勇士","team2":"波士顿凯尔特人","team1_score":"103","team2_score":"90"}]}]},"error_code":0}

自定义参数添加

如果用上述的方法的话,我们需要把所有的参数一个个直接拼接在url后,非常不方便也不美观,所以我们可以调用url.Values库来达到我们想要的效果

package main

import (
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
    "net/url"
)

func testGet() {
    params := url.Values{}
    Url, _ := url.Parse("http://apis.juhe.cn/simpleWeather/query")
    params.Set("key", "***********")
    params.Set("city", "深圳")
    //参数有中文,进行转码
    Url.RawQuery = params.Encode()
    urlPath := Url.String()
    r, err := http.Get(urlPath)
    if err != nil {
        log.Fatal(err)
    }
    defer r.Body.Close()
    b, err2 := ioutil.ReadAll(r.Body)
    if err2 != nil {
        log.Fatal(err2)
    }
    fmt.Printf("b: %v\n", string(b))
}
func main() {
    testGet()
}

解析结果为json的数据

解析json结果数据的大概思路就是,先定义一个结构体,结构体中定义我们想要的字段名和字段类型,然后通过json.Unmarshal方法进行解析

func testGet() {
    type result struct {
        Args    string            `json:"args"`
        Headers map[string]string `json:"headers"`
        Origin  string            `json:"origin"`
        Url     string            `json:"url"`
    }
    r, err := http.Get("http://httpbin.org/get")
    if err != nil {
        log.Fatal(err)
    }
    defer r.Body.Close()
    b, err2 := ioutil.ReadAll(r.Body)
    if err2 != nil {
        log.Fatal(err2)
    }
    var res result
    _ = json.Unmarshal(b, &res)
    fmt.Printf("b: %v\n", string(b))
    fmt.Printf("res: %#v\n", res)
}

http://httpbin.org/get网站是一个专门测验网络请求头的一个开源接口

得到数据

b: {
  "args": {},
  "headers": {
    "Accept-Encoding": "gzip",
    "Host": "httpbin.org",
    "User-Agent": "Go-http-client/1.1",
    "X-Amzn-Trace-Id": "Root=1-62b1643e-14da6e0c6b8484091d3829d9"
  },
  "origin": "34.217.130.230",
  "url": "http://httpbin.org/get"
}

res: main.result{Args:"", Headers:map[string]string{"Accept-Encoding":"gzip", "Host":"httpbin.org", "User-Agent":"Go-http-client/1.1", "X-Amzn-Trace-Id":"Root=1-62b1643e-14da6e0c6b8484091d3829d9"}, Origin:"34.217.130.230", Url:"http://httpbin.org/get"}

添加请求头

  • 先通过http.NewRequest得到一个请求信息req
  • 通过req.Header.Add(key,value)添加信息
  • 通过client.Do(req)得到响应信息
  • 获得相应信息
package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
)

func testGet() {
    client := &http.Client{}
    //得到请求信息req
    req, _ := http.NewRequest("GET", "http://httpbin.org/get", nil)
    //设置请求头
    req.Header.Add("name", "lyizriii")
    req.Header.Add("age", "22")
    resp, _ := client.Do(req)
    b, _ := ioutil.ReadAll(resp.Body)
    fmt.Printf("string(b): %v\n", string(b))

}

func main() {
    testGet()
}

响应结果

string(b): {
  "args": {},
  "headers": {
    "Accept-Encoding": "gzip",
    "Age": "22",
    "Host": "httpbin.org",
    "Name": "lyizriii",
    "User-Agent": "Go-http-client/1.1",
    "X-Amzn-Trace-Id": "Root=1-62b166b5-6a73b006211098db470a3280"
  },
  "origin": "34.217.130.230",
  "url": "http://httpbin.org/get"
}

可以看到 name和age已经被我们添加到请求头中了

http post连接

建立一个post连接
post请求不同于get请求,需要将params跟在url后面
post请求的参数和url是作为两个参数存在的

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "net/url"
)

func testPost() {
    urlStr := "http://apis.juhe.cn/simpleWeather/query"
    values := url.Values{}
    values.Add("city", "深圳")
    values.Add("key", "*****")
    //建立请求链接
    r, _ := http.PostForm(urlStr, values)
    defer r.Body.Close()
    //读取buffer
    b, _ := ioutil.ReadAll(r.Body)
    fmt.Printf("b: %v\n", string(b))
}

func main() {
    testPost()
}

使用json方法使用post请求

过程和上边的差不多,只不过要先建立一个map(json),然后将json转化为byte,再将byte转化为io.Reader类型

package main

import (
    "bytes"
    "encoding/json"
    "fmt"
    "io/ioutil"
    "net/http"
)

func testPost() {
    values := make(map[string]interface{})
    values["name"] = "lyizrii"
    values["age"] = "22"
    //将json转化为字节数据
    byteValues, _ := json.Marshal(values)
    r, _ := http.Post("http://httpbin.org/post", "application/html", bytes.NewReader(byteValues))
    defer r.Body.Close()
    b, _ := ioutil.ReadAll(r.Body)
    fmt.Printf("b: %v\n", string(b))
}

func main() {
    testPost()
}

响应结果

b: {
  "args": {},
  "data": "{\"age\":\"22\",\"name\":\"lyizrii\"}",
  "files": {},
  "form": {},
  "headers": {
    "Accept-Encoding": "gzip",
    "Content-Length": "29",
    "Content-Type": "application/html",
    "Host": "httpbin.org",
    "User-Agent": "Go-http-client/1.1",
    "X-Amzn-Trace-Id": "Root=1-62b17d89-5b9af2da0003537d30f90137"
  },
  "json": {
    "age": "22",
    "name": "lyizrii"
  },
  "origin": "54.186.169.115",
  "url": "http://httpbin.org/post"
}

建立一个httpServer

  • 获得一个请求处理函数
  • 建立一个响应路径,路径前一定要跟/
  • 设置监听端口,并对端口进行监听,注意端口前要加冒号
package main

import (
    "io"
    "net/http"
)

func testServer() {
    f := func(resq http.ResponseWriter, req *http.Request) {
        //写入一个string文件
        io.WriteString(resq, "hello go!")
    }
    //
    http.HandleFunc("/", f)
    http.ListenAndServe(":9999", nil)
}

func main() {
    testServer()
}

打开网页localhost:9999,就能看到hello go!的文字了

并发

在处理并发时,为了防止多端修改数据造成紊乱,使用锁的方法进行解决

package main

import (
    "fmt"
    "log"
    "net/http"
    "sync"
)

type countHeader struct {
    mu sync.Mutex
    n  int
}

//ServeHTTP 这个函数不能改名字,必须严格遵守,这是Handle的要求,这块是个大坑
func (h *countHeader) ServeHTTP(w http.ResponseWriter, r *http.Request) {
//加解锁
    h.mu.Lock()
    defer h.mu.Unlock()
    h.n++
    fmt.Fprintf(w, "count is %d\n", h.n)
}

func testHttpServer() {
    count := new(countHeader)
    fmt.Printf("count: %v\n", count)
    http.Handle("/hello", count)
    log.Fatal(http.ListenAndServe(":8080", nil))
}

func main() {
    testHttpServer()
}

运行之后,访问localhost:8080/hello 我们访问页面会发现有count is 0的字样,并且每刷新一次就加1

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,236评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,867评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,715评论 0 340
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,899评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,895评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,733评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,085评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,722评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,025评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,696评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,816评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,447评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,057评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,009评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,254评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,204评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,561评论 2 343

推荐阅读更多精彩内容

  • requests是python实现的最简单易用的HTTP库,建议爬虫使用requests import reque...
    HaringLi阅读 583评论 0 0
  • 爬虫的基本流程 一、发送HTTP请求(Request)通过Python库向目标站点发送HTTP请求,等待服务器响应...
    晓枫_0544阅读 758评论 0 0
  • 一、Ajax概述 1、Ajax介绍 (1)AJAX全称:Asynchronous: 异步(默认true) syn...
    码课sir阅读 2,559评论 1 95
  • urllib库 python2中,由urllib和urllib2两个库来发送请求,python3中没有urllib...
    Arale_zh阅读 171评论 0 0
  • 一、什么是RequestsRequests 是⽤Python语⾔编写,基于urllib,采⽤Apache2 Lic...
    小马哥China阅读 445评论 0 1