简单爬虫

//爬取网页内容
func httpGet(url string) (result string, err error) {resp, err1 := http.Get(url)if err1 != nil {err = err1return}defer resp.Body.Close()//读取网页的内容buf := make([]byte, 1024*4)for {n, err := resp.Body.Read(buf)if n == 0 { //读取结束,或者出问题fmt.Println("resp.body err: ", err)break}result += string(buf[:n])}return
}func DoWork(start, end int) {fmt.Printf("正在爬取 %d 到 %d的页面\n", start, end)//明确目标for i := start; i <= end; i++ {url := "https://tieba.baidu.com/f?kw=%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9F&ie=utf-8&pn=" + strconv.Itoa((i-1)*50)fmt.Println(url)//爬取页面result, err := httpGet(url)if err != nil {fmt.Println("http err: ", err)//跳出continue}fmt.Println("内容是: ", result)}
}func main() {//https://tieba.baidu.com/f?kw=%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9F&ie=utf-8&pn=200var start, end intfmt.Println("请输入起始页( >= 1): ")fmt.Scan(&start)fmt.Printf("请输入终止页(>=起始页): ")fmt.Scan(&end)DoWork(start, end)
}

golang中的爬虫相关推荐

Golang实现简单爬虫框架（4）——队列实现并发任务调度
前言在上一篇文章<Golang实现简单爬虫框架(3)--简单并发版>中我们实现了一个最简单并发爬虫,调度器为每一个Request创建一个goroutine,每个goroutine往Wor ...
golang中http协议实现
golang中http协议实现写了一个爬虫,发现出现了socket泄露的情况.百度了一下发现是缺少了Response.Body.Close(),所以导致连接没有被正常的关闭.也没有被gc回收.下面 ...
Golang实现简单爬虫框架（5）——项目重构与数据存储
前言在上一篇文章<Golang实现简单爬虫框架(4)--队列实现并发任务调度>中,我们使用用队列实现了任务调度,接下来首先对两种并发方式做一个同构,使代码统一.然后添加数据存储模块. 注 ...
Golang中Buffer高效拼接字符串以及自定义线程安全Buffer
本文原创文章,转载注明出处,博客地址 https://segmentfault.com/u/to... 第一时间看后续精彩文章.觉得好的话,顺手分享到朋友圈吧,感谢支持. Go中可以使用"+ ...
如何在golang中关闭bufio.reader_Golang 并发模型系列：1. 轻松入门流水线模型
Go语言中文网,致力于每日分享编码.开源等知识,欢迎关注我,会有意想不到的收获! Golang作为一个实用主义的编程语言,非常注重性能,在语言特性上天然支持并发,它有多种并发模型,通过流水线模型系列文 ...
go语言的iota是什么意思_关于Golang中的iota
快速一览 iota是Golang中提供的一个简化常量和枚举编程的标识符,合理的使用这个标识符可以让代码变得更简洁,省去大量的不必要的代码. 比如下面的这个常量定义 const ( a = 1 b = ...
Golang中的panic和recover(捕获异常)
Golang中的panic和recover(捕获异常) 参考文章: (1)Golang中的panic和recover(捕获异常) (2)https://www.cnblogs.com/zhzhlong ...
golang 中string和int类型相互转换
总结了golang中字符串和各种int类型之间的相互转换方式: string转成int: test_int, err := strconv.Atoi(test_string) if err != ni ...
golang中并发sync和channel
golang中并发sync和channel chenbaoke · 2014-12-08 13:00:01 · 19151 次点击 · 预计阅读时间 5 分钟 · 不到1分钟之前开始浏览这是一个创 ...

golang中的爬虫

简单爬虫

golang中的爬虫相关推荐

最新文章

热门文章