golang 使用 goquery 抓取知乎周刊

刚刚玩了一下 goquery 看到最近抓知乎数据的比较多。那我也抓一个玩玩。

我也不跟人家比数据量什么的了。也不证明golang是最好的语言

只是单单的做练手了

package mainimport ("fmt""github.com/PuerkitoBio/goquery"
)type Book struct {Title  string //标题Img    string //图片地址Author string //作者Sell   string //价格Url    string //访问链接
}func main() {var (url string = "https://www.zhihu.com/publications")//使用 goquery 创建 dom 对象query, query_err := goquery.NewDocument(url)if query_err != nil {fmt.Println(query_err)}data_arr := make(map[int]Book, 100)//查看元素发现 他是一个大的 ul 那么我们直接 找到这个对象就好了。//每一本书的数据 为一个 li 那么直接对 li的元素进行遍历就好了//需要设置两个参数 i 为当前是第几个元素 s 为当时元素对象query.Find("ul[class=\"publications-list  weekly\"]").Eq(0).Find("li").Each(func(i int, s *goquery.Selection) {a := s.Find("a").Eq(0)a.Next()r := Book{}//获取对应 跳转链接r.Url, _ = a.Attr("href")//获取书的名字r.Title = a.Find(".publications-item-title").Eq(0).Text()//获取书的图片r.Img, _ = a.Find(".publications-item-image").Eq(0).Attr("src")//获取书的作者r.Author = a.Find(".publications-item-author").Eq(0).Text()//获取书的售价r.Sell = a.Find(".publications-item-promotion").Eq(0).Find("span").Eq(0).Text()data_arr[i] = r})for k, v := range data_arr {fmt.Println(k, v)}}

golang 使用 goquery 抓取知乎周刊相关推荐

python学习-抓取知乎图片
python学习-抓取知乎图片 #!/bin/usr/env python3__author__ = 'nxz'""" 抓取知乎图片 webdriver Chromedr ...
Scrapy Python爬虫实战：抓取知乎问题下所有回答！
今天趁摸鱼的时候玩了会知乎,突然看到一个非常有意思的话题单身狗不知道还能干什么,所以特地把这些数据都抓下来,看看不除了第二杯半价还能干什么? 创建scrapy项目前面教程概念讲的我嘴都麻了,估计大 ...
java爬虫抓取知乎,java爬虫抓取知乎推荐总是乱码
求助java爬虫抓取知乎推荐总是乱码仿照http://blog.csdn.net/pleasecallmewhy/article/details/17630063写一个简单的抓取知乎推荐(http: ...
Zotero 抓取知网文献失败解决办法梳理（针对问题：更新Translator无效，更新茉莉花插件无效，卸载Zotero无效，使用学校VPN访问知网）
Zotero 抓取知网文献失败解决办法梳理(针对问题:更新Translator无效,更新茉莉花插件无效,卸载Zotero无效,使用学校VPN访问知网) 问题背景解决方案一解决方案二解决方案三说 ...
python 抓取知乎
刚入门python,本着就是干的原则,从小项目开始. 今天在抓取网页的时候遇到了问题. import urllib.requesturl="http://www.fafu.edu.cn&qu ...
scrapy抓取知乎话题v0.1
一.简介抓取知乎某一子话题,赞同人数超过10的会被抓取.回答ID.赞同人数.回答时间.内容.提问被保存到mysql数据库中,支持更新(多次抓取时对于同一回答的ID只更新赞同人数). usage: s ...
Python爬虫实战一：抓取知乎问题下所有回答
代码是最近(2021.09)新写的~ 需求任务需求:抓取知乎问题下所有回答,包括其作者.作者粉丝数.回答内容.时间.回答的评论数.回答赞同数以及该回答的链接. 分析以最近比较引人关注的" ...
Python爬虫实战，requests模块，Python实现抓取知乎热点话题
前言利用Python实现抓取知乎热点话题,废话不多说. 让我们愉快地开始吧~ 开发工具 Python版本: 3.6.4 相关模块: requests模块: re模块: pandas模块: lxml模 ...
python 赚钱知乎_爬虫实战：抓取知乎问题 “大学生如何赚到一万元”
最近对赚钱的话题很感兴趣,在知乎上关注了很多"赚钱"相关的问题,高质量的有不少,但是夹杂着私货的也不少.不过知乎的数据比较全,我们完全可以用来做文本分析. 爬虫的原理我就不细讲了, ...
scrapy——抓取知乎
主要目标是: · 从如何评价X的话题下开始抓取问题,然后开始爬相关问题再循环 · 对于每个问题抓取标题,关注人数,回答数等数据 1 创建项目 $ scrapy start ...

golang 使用 goquery 抓取知乎周刊

golang 使用 goquery 抓取知乎周刊相关推荐

最新文章

热门文章

golang 使用 goquery 抓取 知乎周刊

golang 使用 goquery 抓取 知乎周刊相关推荐

最新文章

热门文章

golang 使用 goquery 抓取知乎周刊

golang 使用 goquery 抓取知乎周刊相关推荐