爬取腾讯新闻

了解ajax加载
通过chrome的开发者工具，监控网络请求，并分析
用selenium完成爬虫
- 具体流程如下：
- 用selenium爬取https://news.qq.com/ 的热点精选

import time
from  selenium import webdriver
driver=webdriver.Chrome(executable_path="D:\chromedriver\chromedriver.exe")
driver.get("https://news.qq.com")
#了解ajax加载
for i in range(1,100):time.sleep(2)driver.execute_script("window.scrollTo(window.scrollX, %d);"%(i*200))from bs4 import BeautifulSoup
html=driver.page_source
bsObj=BeautifulSoup(html,"lxml")
jxtits=bsObj.find_all("div",{"class":"jx-tit"})[0].find_next_sibling().find_all("li")print("index",",","title",",","url")
for i,jxtit in enumerate(jxtits):
#     print(jxtit)try:text=jxtit.find_all("img")[0]["alt"]except:text=jxtit.find_all("div",{"class":"lazyload-placeholder"})[0].texttry:url=jxtit.find_all("a")[0]["href"]except:print(jxtit)print(i+1,",",text,",",url)

知乎爬虫

import requests
from http import cookiejar
Session=requests.session()
Session.cookies = cookiejar.LWPCookieJar(filename='./cookies.txt')
Session.cookies.load(ignore_discard=True)
Session.headers={'Host': 'www.zhihu.com','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ''(KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'}
r=Session.get("https://www.zhihu.com/search?q=Datawhale&utm_content=search_history&type=content")
r.encoding="utf-8"from bs4 import BeautifulSoup
import re
compiler=re.compile('"next":"(https:\\\\u002F\\\\u002Fapi.zhihu.com\\\\u002Fsearch_v3.*?)"')bsObj=BeautifulSoup(r.text,"lxml")
url=compiler.findall(r.text)[0]from urllib.parse import unquote
url=unquote(url,encoding="utf-8", errors='replace')
url=url.replace("\\u002F","/")
search_hash_id=re.search("search_hash_id=(.*?)&show_all_topics",url).group(1)offset=20
lc_idx=21
for i in range(5):r=Session.get("https://www.zhihu.com/api/v4/search_v3?t=general&q=Datawhale&correction=1&offset={offset}&limit=20&lc_idx={lc_idx}&show_all_topics=0&search_hash_id={search_hash_id}&vertical_info=0%2C0%2C1%2C0%2C0%2C0%2C0%2C0%2C0%2C0".format(**{"offset":offset+i*20,"lc_idx":lc_idx+i*20,"search_hash_id":search_hash_id}))r.encoding="utf-8"print(r.json())print("\n"*20)

Python爬虫编程实践 Task04相关推荐

Python爬虫编程实践 Task03
文章目录 IP代理获取代理IP地址的方法代码实现 selenium session 和 cookie 动态网页和静态网页静态网页动态网页 session和cookies session coo ...
Python爬虫编程实践 Task02
文章目录一.Xpath Xpath常用的路径表达式使用lxml解析实战:爬取丁香园-用户名和回复内容二.正则表达式 re库正则表达式的语法正则表达式re库的使用 re库的主要功能函数 re ...
Python爬虫编程实践Task 01
文章目录 1.互联网.HTTP 互联网 HTTP 2.开发者工具 3.request库 request.get request.post request.get进阶:爬取豆瓣电影 1.互联网.HTTP ...
Python爬虫编程实践--task01
主要内容 HTTP基础 HTML基础 requests.get的使用 API的使用 HTTP HTTP是一个客户端(用户)和服务器端(网站)之间进行请求和应答的标准.通过使用网页浏览器.网络爬虫或者其 ...
Datawhale第十二期组队学习--Python爬虫编程实践 Task03：session和cookie、代理、selenium自动化拔高：丁香园留言板爬取
一. session和cookie 常用的 web 容器有 Nginx . Apache . Tomcat .Weblogic . Jboss . Resin 等等 http 1.0 HTTP1.0的 ...
Python爬虫编程实践--task02
主要学习内容: Beautiful Soup库的入门 xpath的使用 re的使用 1. Beautiful Soup库入门 Beautiful Soup 是一个HTML/XML 的解析器,主要用于解 ...
Python爬虫编程常见问题解决方法
Python爬虫编程常见问题解决方法参考文章: (1)Python爬虫编程常见问题解决方法 (2)https://www.cnblogs.com/xpwi/p/9604015.html (3)htt ...
Python爬虫编程思想（6）：实战案例：抓取所有的网络资源
Python爬虫编程思想(7):实战案例:抓取博客文章列表到现在为止,我们已经对网络爬虫涉及到的基本知识有了一个初步的了解.本文会编写一个简单的爬虫应用,以便让读者对爬虫有一个基本的认识.本节要编写 ...
Python游戏编程实践2：魔塔
Python游戏编程实践2:魔塔前言运行前言在逗游游戏盒上玩了一个名叫<魔塔>的游戏,感觉颇有心得体会."与其临渊羡鱼,不如退而结网",使用Python语言编写 ...

Python爬虫编程实践 Task04

爬取腾讯新闻

知乎爬虫

Python爬虫编程实践 Task04相关推荐

最新文章

热门文章