你会爬虫吗,我来教你爬海关蜀黍
爬虫是近年来一直比较流行的,今天无聊就来和你聊聊爬虫.在例子中讲解,让你学会使用爬虫.并将自己爬取的数据保存在excel中,首先来看看网站页面
就是下面这样,不得不说这个页面做的还是比较好看的
现在进入正题,首先的导入利用到的库咯 re,正则表达式;bs4,request和对excel文件夹进行操作的xlwt库.
import re from bs4 import BeautifulSoup import datetime import requests import xlwt
如果你没有这些库,就只有自己安装一下了,安装也比较简单,安装代码如下:
pip install bs4 pip install request pip install xlwt
在准备工作做完之后该进入正题了,我主要是要爬去网站上以问答形式的段落,主要就是交流互动
首先F12查看网站的源html代码,然后找到主题下问题的msgDataId,然后再前往另一个页面爬取答案.同样的找到答案的html位置.不好说,我直接上代码好了
html_frist = "http://www.customs.gov.cn/eportal/ui?currentPage=1&moduleId=76777400f8cf4a66807d98d442234e97&pageId=374089"html = requests.get(html_frist) print html_frist html.encoding="utf-8" title = re.findall("target=\"_blank\" href=\"(.*)\" style",html.text)for each in title:#print each count+=1 html_url = "http://www.customs.gov.cn"+eachprint "\t",html_urlhtml1 = requests.get(html_url)html1.encoding = "utf-8" sensece = html1.textsoup = BeautifulSoup(html1.text, 'html.parser') # 文档对象 str1="" for k in soup.findAll("div",class_="easysite-info-con"):str1 += str(k).replace("<div class=\"easysite-info-con\">","").replace("</div>","").replace("<p>","").replace("</p>","").replace("\n","").strip()+"@#$^@"print str1
这样就获取到了网页上的数据并存在字符串里了,然后再教你python操作excel的方法,依旧用代码说事:
book3 = xlwt.Workbook(encoding='utf-8', style_compression=0) sheet_target3 = book3.add_sheet('test', cell_overwrite_ok=True)
sheet_target3.write(count, 1, q)#q,a是截取的上面str1 sheet_target3.write(count,2,a) book3.save("ceshi.xls")
总结其来就是这样罗
#encoding=utf-8 import re from bs4 import BeautifulSoup import datetime import requests import sys import xlwtreload(sys) sys.setdefaultencoding("utf-8") start = datetime.datetime.now() count=0 book3 = xlwt.Workbook(encoding='utf-8', style_compression=0) sheet_target3 = book3.add_sheet('test', cell_overwrite_ok=True) try:for i in range(500):html_frist = "http://www.customs.gov.cn/eportal/ui?currentPage="+str(i)+"&moduleId=76777400f8cf4a66807d98d442234e97&pageId=374089" try:html = requests.get(html_frist)except:print "垃圾" print html_fristhtml.encoding="utf-8" title = re.findall("target=\"_blank\" href=\"(.*)\" style",html.text)for each in title:#print each count+=1 html_url = "http://www.customs.gov.cn"+eachprint "\t",html_urlhtml1 = requests.get(html_url)html1.encoding = "utf-8" sensece = html1.textsoup = BeautifulSoup(html1.text, 'html.parser') # 文档对象 str1="" for k in soup.findAll("div",class_="easysite-info-con"):str1 += str(k).replace("<div class=\"easysite-info-con\">","").replace("</div>","").replace("<p>","").replace("</p>","").replace("\n","").strip()+"@#$^@" #print str1[:-5] q = str1.split("@#$^@")[0]a = str1.split("@#$^@")[1]sheet_target3.write(count, 1, q)sheet_target3.write(count,2,a)book3.save("ceshi.xls")print countprint "q",qprint "w",a except:print ("hh") end = datetime.datetime.now() print ("耗时:%s S"%((end-start).seconds))
其实爬虫很简单的,不会用soup,就可以只使用request,其中request中的get和post还没涉及到,期待下次我的杰作.
下次就会讲解具体:
还是简要介绍一下吧:
Get是从服务器上获取数据
Post是向服务器传送数据
Get通过构造url中的参数来实现功能
Post将数据放在header提交数据.
你会爬虫吗,我来教你爬海关蜀黍相关推荐
- 【爬虫】Yhen手把手教你爬取表情包,让你成为斗图界最靓的仔!
以下内容为本人原创,欢迎大家观看学习,禁止用于商业用途,转载请说明出处,谢谢合作! ·作者:@Yhen ·原文网站:CSDN ·原文链接:https://blog.csdn.net/Yhen1/art ...
- python爬虫怎么爬小说_小白的python爬虫,40代码教你爬取豆瓣小说
这篇文章写了很久了,一直没有发布: 爬虫学的差不多了,觉得这篇文章对新手实践还是有些作用的.毕竟这也是我刚学爬虫的时候练习的,爬取了比较好爬的网站,也比较经典:多余的解释不说了,代码里每一行都有注释, ...
- python爬取豆瓣代码_小白的python爬虫,40代码教你爬取豆瓣小说
这篇文章写了很久了,一直没有发布: 爬虫学的差不多了,觉得这篇文章对新手实践还是有些作用的.毕竟这也是我刚学爬虫的时候练习的,爬取了比较好爬的网站,也比较经典:多余的解释不说了,代码里每一行都有注释, ...
- 不可错过的爬虫实例(一):教你爬取优美图库
一.前言 前几天有小伙伴私信我说能不能用爬虫爬取美女图片,那必须能啊,本次就用爬虫知识爬取你们想要的(懂得都懂),话不多说,正题开始! 二.准备工作 1.所用模块 requests Beautiful ...
- python爬取股吧评论_神级的爬虫工程师用Python教你爬取全站股票评论!买哪只有底呢!...
爬取思路是这样的,先挖取所有股票的代码,放进数据库,然后根据股票代码爬取每一只股票的评论,多了,一定要加入代理池,我这里用的上上一篇文章写的代理池,我们给每个股票代码赋予一个状态值,一开始是outst ...
- 爬虫案例:手把手教你爬取图片
大家好,我是一行 今天是小白菜同学的投稿,老规矩一个赞10积分 一.确认目标和思路: 写在最前面:程序很简单,重要的是思路以及对错误的分析 1.确认目标和大体思路: 今天我们需要爬取的网站是:http ...
- 抓取手机https_python爬虫入门02:教你通过 Fiddler 进行手机抓包
哟~哟~哟~ hi起来 everybody 今天要说说怎么在我们的手机抓包 通过 python爬虫入门01:教你在 Chrome 浏览器轻松抓包 我们知道了 HTTP 的请求方式 以及在 Chrome ...
- 叫声大哥,教你爬上天(爬虫入门篇)
** 叫声大哥,教你爬上天(爬虫入门篇) **走过路过不要错过,python学一手,快活似神仙. 爬上天,先得做楼阶,今天先开始我们的入门篇. a.爬链接示例 ***第一步:首先找你要爬的网站,然后根 ...
- 爬虫学习笔记(用python爬取东方财富网实验)
参考文章以及视频:(11条消息) 爬虫实战 | 爬取东方财富网股票数据_简说Python的博客-CSDN博客.手把手教你从东方财富网上获取股票数据_哔哩哔哩_bilibili.[Python爬虫案例] ...
最新文章
- 多才多艺的移动式人形机器人iPal,担当起小朋友的“好家教”
- tomcat启动出现闪退_(转)Tomcat 启动后 “闪退”
- OpenCV环境下Laplace(拉普拉斯)和Roberts基本边缘检测算子的实现代码
- Django(part12)--模板的标签
- matlab表达式部分项求和,matlab如何得到符号表达式中某一部分项的系数
- HTML网页设计综合题,网页设计(Html5)试题C卷
- Java的String/byte[]/16进制相互转换
- Linux下连接SQL Server
- Topcoder的使用方法
- mysql将日期转换年份_mysql将日期转换为当前年份的相同日期
- 步进电机驱动技术1:基于TMC2660的步进电机驱动
- 【转载】Confluence(wiki)配置数据库及修改数据库地址
- windows远程连接不能复制粘贴
- 大地测量常用的四种坐标系
- Win10锁屏壁纸文件夹Assets无文件问题的解决方法
- 台灯照度均匀度多少最好?2022最新护眼灯照度标准值
- 解读CDN的应用场景与产品价值
- 手机安装python jam有什么影响_Python入门用Bug修改和.jam文件需要注意的问题
- chrome中下载文档时设置成不使用idm下载器的方法
- SpringBoot2入门教程