Colly简介

Colly是一个优雅的网页爬虫框架，使用Go语言编写，具有快速、灵活且易于使用的特点。通过Colly，开发者可以轻松实现复杂的网页数据抓取任务。

其主要特点包括：

• 线程安全
• 用户友好的API
• 支持XHR（Ajax）和WebSocket
• 缓存和持久化
• 支持限速、分布式爬取
• 扩展性强

快速开始

在开始之前，确保你的系统已经安装了Go环境。使用以下命令安装Colly：

go get -u github.com/gocolly/colly/...

接下来，我们通过一个简单的例子开始探索Colly的基本使用。

实例：爬取某网站标题

以下是一个使用Colly抓取网页标题的简单例子：

package main

import (
    "fmt"
    "github.com/gocolly/colly"
)

func main() {
    // 创建Collector实例
    c := colly.NewCollector()

    // 设置请求处理逻辑
    c.OnHTML("head > title", func(e *colly.HTMLElement) {
        fmt.Println("网页标题：", e.Text)
    })

    // 设置错误处理逻辑
    c.OnError(func(r *colly.Response, err error) {
        fmt.Println("请求错误:", err)
    })

    // 开始爬取
    c.Visit("http://example.com")
}

在这个例子中，我们首先创建了一个Collector实例，然后定义了当框架遇到<title>标签时的处理逻辑，这里是打印出网页标题。最后，通过调用Visit方法来启动爬取任务。

设置代理和限速

在复杂的爬虫项目中，经常需要设置代理和限速来避免IP被封锁。Colly提供了简单的方法来实现这些功能：

c.SetProxyFunc(colly.ProxySwitcher(/* 代理服务器列表 */))
c.Limit(&colly.LimitRule{
    DomainGlob:  "*.example.*",
    Parallelism: 2,
    Delay:       5 * time.Second,
})

使用SetProxyFunc可以设置代理服务器，而Limit方法则用于设置域名匹配模式、并发数及请求间的延迟时间。

高级用法

Cookie和Session处理

如果目标网站需要登录认证，Cookie和Session的处理就显得至关重要。以下示例说明了如何手动管理Cookie：

c.OnRequest(func(r *colly.Request) {
    r.Headers.Set("Cookie", "name=value")
})

此外，Colly支持在Collector中自动管理Cookies，只需使用c.SetCookies(url string, cookies []*http.Cookie)方法即可。

异步请求

Colly支持异步发出请求，这对于提高爬取效率非常有用：

c.Async = true
// ... 设置爬取逻辑
c.Wait()

将Collector的Async属性设置为true即可启用异步请求，在所有异步请求完成之后，调用Wait等待所有工作协程结束。

扩展Colly

Colly提供了一系列的扩展，能够实现多种高级功能，包括但不限于：

• 认证：支持表单认证和OAuth
• 存储：支持内存、文件系统、数据库存储cookies、请求和结果
• 分布式：通过配合redis等技术可以实现分布式爬取

import (
    "github.com/gocolly/colly/extensions"
)

// ... 创建Collector实例
extensions.RandomUserAgent(c)
extensions.Referer(c)
// ... 其他逻辑

使用extensions包中的方法即可方便地扩展Collector的功能，如上例所示，可以为每个请求随机设置User-Agent。