python简单爬虫

python简单爬虫某网站简历模板

from lxml import etree
import requestsdef main():url = "https://sc.chinaz.com/jianli/free.html"header = {"User-Agent":"hahhaha"}res = requests.get(url = url ,headers = header)print(res.status_code)tree = etree.HTML(res.text)   #使用xpath导入页面源码div_list = tree.xpath('//div[@id="container"]/div') #定位到div标签因为有好多所以返回列表#print(div_list)jl_list = []for div in div_list:href = div.xpath('./a/@href')  #取出每个标签下的网站地址#haha = "http:"+hrefjl_list.append(href)  #添加到列表#print(href)#print(jl_list)main2(jl_list)def main2(jl_list):xz_list = []for xz in jl_list:   #从列表中把地址拿出url = "http:"+xz[0]  #组建正确地址header = {"User-Agent":"haha"}res = requests.get(url = url,headers = header)#print(res.status_code)tree = etree.HTML(res.text)li = tree.xpath('//div[@class="clearfix mt20 downlist"]//li')[0] #定位标签href = li.xpath('./a/@href')  #取出地址xz_list.append(href)#print(xz_list)main3(xz_list)def main3(xz_list):t = 0for rarxz in xz_list:url = rarxz[0]header = {"User-Agent":"haha"}res = requests.get(url = url , headers = header)with open("./jx模板/"+str(t)+".rar","wb") as f:  #以二进制写的方式打开文件f.write(res.content)   #写入文件print("is ok ")t +=1f.close()if __name__=="__main__":main()

python简单爬虫相关推荐

python简单爬虫指定汉字的笔画动图下载
python简单爬虫指定汉字的笔画动图下载分析过程打开网址首页http://www.hanzi5.com 选择一个字,比如"虐" 查看该汉字动图地址右键该汉字动图,选择在新 ...
Python 简单爬虫下载小说txt
Python 简单爬虫下载小说txt #第一次写爬虫代码欢迎交流指正我们范例爬取的对象是笔趣阁的<圣墟> (最近非常火的连载小说) ##为什么选择笔趣阁# 主要是因为笔趣阁的源代码没有 ...
Python简单爬虫第六蛋！（完结撒花）
第六讲: 今天我们来实战一个项目,我本人比较喜欢看小说,有一部小时叫<圣墟>不知道大家有没有听说过,个人觉得还是不错的,现在联网的时候,都可以随时随地用手机打开浏览器搜索查看,但是有时候也 ...
python简单爬虫程序分析_[Python专题学习]-python开发简单爬虫
掌握开发轻量级爬虫,这里的案例是不需要登录的静态网页抓取.涉及爬虫简介.简单爬虫架构.URL管理器.网页下载器(urllib2).网页解析器(BeautifulSoup) 一.爬虫简介以及爬虫的技术价 ...
python简单爬虫课题_VS2019python爬虫入门
VS2019新建python项目在vs2019中添加python编译环境创建python控制台应用程序项目配置python环境安装requests第三方库管理程序包,执行安装requests ...
可爱的python下载_GitHub - palxiao/PythonWebSpider: 一个可爱的python简单爬虫
Python网络爬虫语言环境:Python2.7 运行爬虫入口开始爬取 output.html查看结果简单py爬虫,修改入口及解析器改变规则新增存入数据库操作需要插件(MySql) 补充:(折 ...
Python简单爬虫入门-爬取链家租房网上的租房信息
.又到了毕业季,租房成为广大毕业生关注的话题,考虑到只用到广州的租房信息,所以只爬取广州各个地区的租房信息,下面是用Python3.4.4编写简单爬虫爬取租房网信息的代码: #coding:utf-8 ...
python简单爬虫入门一_Python简单爬虫入门二
接着上一次爬虫我们继续研究BeautifulSoup 上一次我们爬虫我们已经成功的爬下了网页的源代码,那么这一次我们将继续来写怎么抓去具体想要的元素首先回顾以下我们BeautifulSoup的基本结 ...
python简单爬虫(一)
学习python前纠结了下,到底是应该一个个知识点吃透,然后写些小程序.还是应该快速掌握基础语法,快速实践.思考后认为前者这么学习速度真心不高,于是花2天时间看了下python3的语法,虽然很多都不明 ...

python简单爬虫

python简单爬虫某网站简历模板

python简单爬虫相关推荐

最新文章

热门文章