Go实现爬虫v0.2

原址

在之前上一版本中，我们通过最简单的 Get 请求获取了网页地址，并解析出图片地址，然后再通过 Get 请求获取了图片内容。接下来的问题是，对于有登陆限制的网页，登陆之前是看不到相关信息的，那么对于这一类网页该如何处理呢？

1. HTTP 请求与响应的格式

参见这篇文章，我们知道，在浏览器发出 Get 或 Post 请求时，请求的格式大致如下：

<request-line>
<headers>
<blank line>
[<request-body>]

浏览器在我们访问网页时会自动构造相关请求内容，在 chrome 中 F12 过后看到的视图下，选择 Network 标签并选择下方的 Headers 标签，然后刷新网页，随意选择 Headers 标签左边 Name 栏下的任一元素（一般选第一个）便可看到浏览器发送与接收消息时，消息的 Header 中的内容，如下图：

微博截图

我们需要用到的就是最下面红色标注的 Request Headers 部分的内容 —— 即 cookie 字段

Request Headers

图中的 cookie 即网站存储在浏览器中的 cookie 值，我们将该 cookie 值复制出来，粘贴在我们下一步将要在代码中构造的 Request Header 头中，网站就会认为我们已经登录过了。

2. Go net/http 包 client 介绍

为了能够控制 HTTP 客户端的头结构，重定向规则以及其他一些设置， Go 在 net/http 中给了一个 client 结构体类型，结构详情如下：

type Client struct {Transport RoundTripper // CheckRedirect 明确了处理重定向的机制// 如果该字段不为 nil，则客户端在重新请求重定向的链接之前，先执行该函数CheckRedirect func(req *Request, via []*Request) error// CookieJar 是用来管理与使用众多 HTTP 请求中的 cookies的Jar CookieJarTimeout time.Duration
}

在构造 http 请求时，我们先构造一个 client，用来模拟本地的客户端的种种行为。 client 有这样一些方法：

// Do 方法发送一个 HTTP request 并获得一个 HTTP response
// 所以在调用之前需要先构造一个 request
func (c *Client) Do(req *Request) (*Response, error)
// Get 方法向给定的 URL 发送 Get 请求
func (c *Client) Get(url string) (resp *Response, err error)
// Head 方法向给定的 URL 发送一个 Head
func (c *Client) Head(url string) (resp *Response, err error)
// Post 方法向给定的 URL 发送 Post 请求
func (c *Client) Post(url string, contentType string, body io.Reader) (resp *Response, err error)
......

上一篇文章我们使用 http.Get() 方法发送了一个 Get 请求，通过源码我们看到， http.Get() 方法实际是构造了一个 DefaultClient = &Client{}，再调用 Default.Get() 方法。而通过阅读源码发现， func (c *Client) Get(url string) (resp *Response, err error) 方法的实现实际就是先构造 Request 对象，再调用 Client.Do 方法，如下：

func (c *Client) Get(url string) (resp *Response, err error) {req, err := NewRequest("GET", url, nil)if err != nil {return nil, err}return c.Do(req)
}

总结来看，我们在使用 Client 时，先构造一个 Request 再调用 Client.Do() 方法。（关于 type Request struct详见该链接下的相关内容）

3. 代码实现

该代码没有实现模拟登陆存取网站返回的cookie，只是简单验证了构造 header 使用 http 包中 client 结构体访问相关有验证网页的可行性。代码如下：

package mainimport ("net/http""fmt""io/ioutil"
)func check(err error){if err != nil {panic(err)}
}func main(){url := "http://weibo.com/u/5765378903"client := &http.Client{}req, err := http.NewRequest("GET", url, nil)check(err)cookie_str := "your cookie"  //从浏览器复制的 cookie 字符串req.Header.Set("Cookie",cookie_str)resp, err := client.Do(req)check(err)resp_byte, err := ioutil.ReadAll(resp.Body)defer resp.Body.Close()fmt.Println(string(resp_byte))
}

最后结果表明该代码能够获取所期望的网页信息。