写爬虫，Python 是目前的第一选择，但总觉得 Python 太慢了，而且缺乏静态类型。能不能换 Go 语言来试试呢？Colly，这个既优雅又快速的 Go 语言爬虫框架，是你的不二选择。

爬虫框架

简介

Colly，是 gocolly 组织在 Github 上开源的 Go 语言爬虫框架，代码仓库在 https://github.com/gocolly/colly，目前版本为 2.1.0。Colly 具有简洁的 API 设计；性能优越，单核上能达超越每秒一千请求；具备同步、异步和并行模式；支持缓存，能管理请求延迟和最大并发数；自动的 Cookie 和 Session 处理；自动的非 Unicode 响应编码处理；支持分布式爬取等等。

Colly框架

安装

使用 go get 直接安装：

go get -u github.com/gocolly/colly/v2

示例

我们首先来看一个简单的例子：

package mainimport (    "fmt"    "github.com/gocolly/colly/v2")func main() {    // 初始化默认的收集器    c := colly.NewCollector(        // 设置只访问设定的域名        colly.AllowedDomains("hackerspaces.org", "wiki.hackerspaces.org"),    )    // 对于每一个包含href属性的a元素，执行回调    c.OnHTML("a[href]", func(e *colly.HTMLElement) {        link := e.Attr("href")        // 输出链接        fmt.Printf("Link found: %q -> %s", e.Text, link)        // 访问链接        c.Visit(e.Request.AbsoluteURL(link))    })    // 在进行每个请求前输出URL    c.OnRequest(func(r *colly.Request) {        fmt.Println("Visiting", r.URL.String())    })    // 开始爬取    c.Visit("https://hackerspaces.org/")}

可以看到，Colly 主要使用收集器 Collector 作为主界面进行爬取，首先进行了 Collector 的实例化，并进行了相关配置，限制了爬取过程的域名，防止爬取到其他网站。

然后，使用回调函数的挂载实现爬取过程中的处理。使用 OnHTML 实现对于特定 HTML 元素的处理，获取页面上所有链接，并进行递归访问；使用 OnRequest 实现对于每一个请求的处理，进行请求信息的输出。

最后，使用收集器的 Visit 接口开始第一个页面爬取，启动了爬虫。

我们可以对访问的 URL 进行更为复杂的筛选，使用 Colly 的 URLFilters：

c := colly.NewCollector(// Visit only root url and urls which start with "e" or "h" on httpbin.orgcolly.URLFilters(regexp.MustCompile("http://httpbin.org/(|e.+)$"),regexp.MustCompile("http://httpbin.org/h.+"),),)

此外，Colly 对于 HTTP 代理有很好的支持，可以支持代理列表的自动轮转选择：

rp, err := proxy.RoundRobinProxySwitcher("socks5://127.0.0.1:1337", "socks5://127.0.0.1:1338")c.SetProxyFunc(rp)

RoundRobinProxySwitcher 实现了对于两个 SOCKS 代理的轮流使用。

另外，可以使用 Redis 作为存储实现一个请求队列以控制并发：

package mainimport (    "log"    "github.com/gocolly/colly"    "github.com/gocolly/colly/queue"    "github.com/gocolly/redisstorage")func main() {    urls := []string{        "http://httpbin.org/",        "http://httpbin.org/ip",        "http://httpbin.org/cookies/set?a=b&c=d",        "http://httpbin.org/cookies",    }    c := colly.NewCollector()    // 创建Redis储存    storage := &redisstorage.Storage{        Address:  "127.0.0.1:6379",        Password: "",        DB:       0,        Prefix:   "httpbin_test",    }    // 添加储存到收集器    err := c.SetStorage(storage)    if err != nil {        panic(err)    }    // 清空存储    if err := storage.Clear(); err != nil {        log.Fatal(err)    }    defer storage.Client.Close()    // 创建一个新的请求队列    q, _ := queue.New(2, storage)    c.OnResponse(func(r *colly.Response) {        log.Println("Cookies:", c.Cookies(r.Request.URL.String()))    })    // 把URL添加到队列    for _, u := range urls {        q.AddURL(u)    }    // 消费请求    q.Run(c)}

代码使用了 redisstorage 创建了一个 Redis 后端的存储，然后创建了一个具有2个消费者线程的队列。把所有初始的 URL 添加到队列中，并开始消费，消费者从队列中取出 URL 开始执行爬取工作。

爬虫框架

总结

Colly 作为一个爬虫框架，接口设计简洁优雅，功能丰富，可以在多种数据收集场景中发挥作用，且无论是开发效率还是运行效率都非常高，实用价值高。

Colly 开源贡献众多，社区活跃，目前已被许多开发者在实践中使用。Colly 文档完善，例子丰富，包括了爬取 Coursera、Instagram、Reddit 等网站的示例，方便学习者参考使用。