Datawhale打卡任务 Task 05爬虫入门与综合应用
Task 05爬虫入门与综合应用
Task 05爬虫入门与综合应用
- 5.0 前言
- 5.1 Requests简介
- 5.1.1 访问百度
- 5.1.2 下载txt文件
- 5.1.3 下载图片
- 5.2 HTML解析和提取
- 5.3 BeautifulSoup简介
- 5.4 实践项目1:自如公寓数据抓取
- 5.5 实践项目2:36kr信息抓取与邮件发送
5.0 前言
对于自动化办公而言,网络数据的批量获取完数据可以节约相当的时间,因此爬虫在自动化办公中占据了一个比较重要的位置。
因而本节针对爬虫项目进行一个介绍,力求最大程度还原实际的办公场景。
5.1 Requests简介
Requests是一款目前非常流行的http请求库,使用python编写,能非常方便的对网页Requests进行爬取,也是爬虫最常用的发起请求第三方库。
安装方法:
In [ ]:
''' pip install requests 或者conda安装 conda install requests'''
Out[ ]:
'\npip install requests\n或者conda安装\nconda install requests'
In [ ]:
# re.status_code 响应的HTTP状态码 # re.text 响应内容的字符串形式 # rs.content 响应内容的二进制形式 # rs.encoding 响应内容的编码
5.1.1 访问百度
试一试对百度首页进行数据请求:
项目难度:⭐
In [ ]:
import requests # 发出http请求 re = requests.get('https://www.baidu.com') # 查看响应情况 print(re.status_code) #输出:200 #200就是响应的状态码,表示请求成功 #我们可以通过res.status_code的值来判断请求是否成功。 print(re.text[:50]) # res.text 返回的是服务器响应内容的字符串形式,也就是文本内容###
200 <!DOCTYPE html> <!--STATUS OK--><html> <head><met
5.1.2 下载txt文件
例:用爬虫下载孔乙己的文章,网址是https://apiv3.shanbay.com/codetime/articles/mnvdu
我们打开这个网址 可以看到是鲁迅的文章
我们尝试着用爬虫保存文章的内容
项目难度:⭐
In [ ]:
import requests # 发出http请求 re = requests.get('https://apiv3.shanbay.com/codetime/articles/mnvdu') # 查看响应状态 print('网页的状态码为%s'%re.status_code) with open('鲁迅文章.txt', 'w',encoding='utf-8') as file:# 将数据的字符串形式写入文件中print('正在爬取小说')file.write(re.text)# re.txt就是网页中的内容,将内容保存到txt文件中
网页的状态码为200 正在爬取小说
5.1.3 下载图片
re.text用于文本内容的获取、下载 re.content用于图片、视频、音频等内容的获取、下载
项目难度:⭐⭐
In [ ]:
import requests # 发出http请求 #下载图片 res=requests.get('https://img-blog.csdnimg.cn/20210424184053989.PNG') # 以二进制写入的方式打开一个名为 info.jpg 的文件 with open('datawhale.png','wb') as ff:# 将数据的二进制形式写入文件中print('爬取图片')ff.write(res.content)# **re.encoding** 爬取内容的编码形似, # 常见的编码方式有 ASCII、GBK、UTF-8 等。 # 如果用和文件编码不同的方式去解码,我们就会得到一些乱码。
爬取图片
5.2 HTML解析和提取
浏览器工作原理:
向浏览器中输入某个网址,浏览器回向服务器发出请求,然后服务器就会作出响应。其实,服务器返回给浏览器的这个结果就是HTML代码,浏览器会根据这个HTML代码将网页解析成平时我们看到的那样
比如我们来看看百度的html页面
In [ ]:
import requests res=requests.get('https://baidu.com') print(res.text)
<!DOCTYPE html> <!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>ç¾åº¦ä¸ä¸ï¼ä½ å°±ç¥é</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=ç¾åº¦ä¸ä¸ class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>æ°é»</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>å°å¾</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>è§é¢</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>è´´å§</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>ç»å½</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">ç»å½</a>');</script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">æ´å¤äº§å</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>å³äºç¾åº¦</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>©2017 Baidu <a href=http://www.baidu.com/duty/>使ç¨ç¾åº¦åå¿è¯»</a> <a href=http://jianyi.baidu.com/ class=cp-feedback>æè§åé¦</a> 京ICPè¯030173å· <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>
将会看到很多带有标签的信息
HTML(Hyper Text Markup Language) 是一种超文本标记语言,是由一堆标记组成。
例如
In [ ]:
''' <html><head><title>我的网页</title></head><body>Hello,World</body> </html>'''
上面即为一个最简单的html,我们所需要的信息就是夹在标签中
想对html有根据深入的了解,可以html菜鸟教程
HTML 教程 | 菜鸟教程
那么我们如何解析html页面呢?
5.3 BeautifulSoup简介
我们一般会使用BeautifulSoup这个第三方库
安装方法:
In [ ]:
''' pip install bs4 或 conda install bs4'''
我们来解析豆瓣读书 Top250
它的网址是:豆瓣读书 Top 250
项目难度:⭐⭐
In [ ]:
import io import sys import requests from bs4 import BeautifulSoup ###运行出现乱码时可以修改编码方式 #sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030') ### headers = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36' } res = requests.get('https://book.douban.com/top250', headers=headers) soup = BeautifulSoup(res.text, 'lxml') print(soup)
<!DOCTYPE html> <html class="ua-mac ua-webkit book-new-nav" lang="zh-cmn-Hans"> <head> <meta content="text/html; charset=utf-8" http-equiv="Content-Type"/> <title>豆瓣读书 Top 250</title> <script>!function(e){var o=function(o,n,t){var c,i,r=new Date;n=n||30,t=t||"/",r.setTime(r.getTime()+24*n*60*60*1e3),c="; expires="+r.toGMTString();for(i in o)e.cookie=i+"="+o[i]+c+"; path="+t},n=function(o){var n,t,c,i=o+"=",r=e.cookie.split(";");for(t=0,c=r.length;t<c;t++)if(n=r[t].replace(/^\s+|\s+$/g,""),0==n.indexOf(i))return n.substring(i.length,n.length).replace(/\"/g,"");return null},t=e.write,c={"douban.com":1,"douban.fm":1,"google.com":1,"google.cn":1,"googleapis.com":1,"gmaptiles.co.kr":1,"gstatic.com":1,"gstatic.cn":1,"google-analytics.com":1,"googleadservices.com":1},i=function(e,o){var n=new Image;n.οnlοad=function(){},n.src="https://www.douban.com/j/except_report?kind=ra022&reason="+encodeURIComponent(e)+"&environment="+encodeURIComponent(o)},r=function(o){try{t.call(e,o)}catch(e){t(o)}},a=/<script.*?src\=["']?([^"'\s>]+)/gi,g=/http:\/\/(.+?)\.([^\/]+).+/i;e.writeln=e.write=function(e){var t,l=a.exec(e);return l&&(t=g.exec(l[1]))?c[t[2]]?void r(e):void("tqs"!==n("hj")&&(i(l[1],location.href),o({hj:"tqs"},1),setTimeout(function(){location.replace(location.href)},50))):void r(e)}}(document);</script> <meta content="no-cache" http-equiv="Pragma"/> <meta content="Sun, 6 Mar 2005 01:00:00 GMT" http-equiv="Expires"/> <script>var _head_start = new Date();</script> <link href="https://img3.doubanio.com/f/book/4cc1d754ffe6fbd776215e84f222dcb2a4265882/css/book/master.css" rel="stylesheet" type="text/css"/> <link href="https://img3.doubanio.com/f/book/222a5c61e041638af8defc87cf97f4a863a77922/css/book/base/init.css" rel="stylesheet"/> <style type="text/css"></style> <script src="https://img3.doubanio.com/f/book/0495cb173e298c28593766009c7b0a953246c5b5/js/book/lib/jquery/jquery.js"></script> <script src="https://img3.doubanio.com/f/shire/22ee83f45f94c7a90e73e0ee4acd18f902a6991f/js/douban.js"></script> <script src="https://img3.doubanio.com/f/book/0322e3e810e475f1c82adb7d1c6ccfa1c0fa969c/js/book/master.js"></script> <script> </script> <!-- COLLECTED CSS --> <link href="https://img3.doubanio.com/favicon.ico" rel="shortcut icon" type="image/x-icon"/> </head> <body> <script>var _body_start = new Date();</script> <link href="//img3.doubanio.com/dae/accounts/resources/d3e2921/shire/bundle.css" rel="stylesheet" type="text/css"/> <div class="global-nav" id="db-global-nav"> <div class="bd"> <div class="top-nav-info"> <a class="nav-login" href="https://accounts.douban.com/passport/login?source=book" rel="nofollow">登录/注册</a> </div> <div class="top-nav-doubanapp"> <a class="lnk-doubanapp" href="https://www.douban.com/doubanapp/app?channel=top-nav">下载豆瓣客户端</a> <div id="doubanapp-tip"> <a class="tip-link" href="https://www.douban.com/doubanapp/app?channel=qipao">豆瓣 <span class="version">6.0</span> 全新发布</a> <a class="tip-close" href="javascript: void 0;">×</a> </div> <div class="more-items" id="top-nav-appintro"> <p class="appintro-title">豆瓣</p> <p class="qrcode">扫码直接下载</p> <div class="download"> <a href="https://www.douban.com/doubanapp/redirect?channel=top-nav&direct_dl=1&download=iOS">iPhone</a> <span>·</span> <a class="download-android" href="https://www.douban.com/doubanapp/redirect?channel=top-nav&direct_dl=1&download=Android">Android</a> </div> </div> </div> <div class="global-nav-items"> <ul> <li class=""> <a data-moreurl-dict='{"from":"top-nav-click-main","uid":"0"}' href="https://www.douban.com" target="_blank">豆瓣</a> </li> <li class="on"> <a data-moreurl-dict='{"from":"top-nav-click-book","uid":"0"}' href="https://book.douban.com">读书</a> </li> <li class=""> <a data-moreurl-dict='{"from":"top-nav-click-movie","uid":"0"}' href="https://movie.douban.com" target="_blank">电影</a> </li> <li class=""> <a data-moreurl-dict='{"from":"top-nav-click-music","uid":"0"}' href="https://music.douban.com" target="_blank">音乐</a> </li> <li class=""> <a data-moreurl-dict='{"from":"top-nav-click-location","uid":"0"}' href="https://www.douban.com/location" target="_blank">同城</a> </li> <li class=""> <a data-moreurl-dict='{"from":"top-nav-click-group","uid":"0"}' href="https://www.douban.com/group" target="_blank">小组</a> </li> <li class=""> <a data-moreurl-dict='{"from":"top-nav-click-read","uid":"0"}' href="https://read.douban.com/?dcs=top-nav&dcm=douban" target="_blank">阅读</a> </li> <li class=""> <a data-moreurl-dict='{"from":"top-nav-click-fm","uid":"0"}' href="https://douban.fm/?from_=shire_top_nav" target="_blank">FM</a> </li> <li class=""> <a data-moreurl-dict='{"from":"top-nav-click-time","uid":"0"}' href="https://time.douban.com/?dt_time_source=douban-web_top_nav" target="_blank">时间</a> </li> <li class=""> <a data-moreurl-dict='{"from":"top-nav-click-market","uid":"0"}' href="https://market.douban.com/?utm_campaign=douban_top_nav&utm_source=douban&utm_medium=pc_web" target="_blank">豆品</a> </li> </ul> </div> </div> </div> <script>;window._GLOBAL_NAV = {DOUBAN_URL: "https://www.douban.com",N_NEW_NOTIS: 0,N_NEW_DOUMAIL: 0}; </script> <script defer="defer" src="//img3.doubanio.com/dae/accounts/resources/d3e2921/shire/bundle.js"></script> <link href="//img3.doubanio.com/dae/accounts/resources/d3e2921/book/bundle.css" rel="stylesheet" type="text/css"/> <div class="nav" id="db-nav-book"> <div class="nav-wrap"> <div class="nav-primary"> <div class="nav-logo"> <a href="https://book.douban.com">豆瓣读书</a> </div> <div class="nav-search"> <form action="https://search.douban.com/book/subject_search" method="get"> <fieldset> <legend>搜索:</legend> <label for="inp-query"> </label> <div class="inp"><input id="inp-query" maxlength="60" name="search_text" placeholder="书名、作者、ISBN" size="22" value=""/></div> <div class="inp-btn"><input type="submit" value="搜索"/></div> <input name="cat" type="hidden" value="1001"/> </fieldset> </form> </div> </div> </div> <div class="nav-secondary"> <div class="nav-items"> <ul> <li><a href="https://book.douban.com/cart/">购书单</a> </li> <li><a href="https://read.douban.com/ebooks/?dcs=book-nav&dcm=douban" target="_blank">电子图书</a> </li> <li><a href="https://market.douban.com/book?utm_campaign=book_nav_freyr&utm_source=douban&utm_medium=pc_web">豆瓣书店</a> </li> <li><a href="https://book.douban.com/annual/2020?source=navigation" target="_blank">2020年度榜单</a> </li> <li><a href="https://www.douban.com/standbyme/2020?fullscreen=true&hidenav=true&autorotate=false&source=book_navigation" target="_blank">2020书影音报告</a> </li> <li class="book-cart"><a href="https://market.douban.com/cart/?biz_type=book&utm_campaign=book_nav_cart&utm_source=douban&utm_medium=pc_web" target="_blank">购物车</a> </li> </ul> </div> <a class="bookannual" href="https://book.douban.com/annual/2020?source=book_navigation"></a> </div> </div> <script id="suggResult" type="text/x-jquery-tmpl"><li data-link="{{= url}}"><a href="{{= url}}" οnclick="moreurl(this, {from:'book_search_sugg', query:'{{= keyword }}', subject_id:'{{= id}}', i: '{{= index}}', type: '{{= type}}'})"><img src="{{= pic}}" width="40" /><div><em>{{= title}}</em>{{if year}}<span>{{= year}}</span>{{/if}}<p>{{if type == "b"}}{{= author_name}}{{else type == "a" }}{{if en_name}}{{= en_name}}{{/if}}{{/if}}</p></div></a></li></script> <script defer="defer" src="//img3.doubanio.com/dae/accounts/resources/d3e2921/book/bundle.js"></script> <div id="wrapper"> <div id="content"> <h1>豆瓣读书 Top 250</h1> <div class="grid-16-8 clearfix"> <div class="article"> <div class="indent"> <p class="ulfirst"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/1007305/" οnclick="moreurl(this,{i:'0'})"> <img src="https://img1.doubanio.com/view/subject/s/public/s1070959.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/1007305/" οnclick=""moreurl(this,{i:'0'})"" title="红楼梦">红楼梦</a><img alt="可试读" src="/pics/read.gif" title="可试读"/> </div> <p class="pl">[清] 曹雪芹 著 / 人民文学出版社 / 1996-12 / 59.70元</p> <div class="star clearfix"> <span class="allstar50"></span> <span class="rating_nums">9.6</span> <span class="pl">(352714人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">都云作者痴,谁解其中味?</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/4913064/" οnclick="moreurl(this,{i:'1'})"> <img src="https://img9.doubanio.com/view/subject/s/public/s27279654.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/4913064/" οnclick=""moreurl(this,{i:'1'})"" title="活着">活着</a> </div> <p class="pl">余华 / 作家出版社 / 2012-8-1 / 20.00元</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">9.4</span> <span class="pl">(638363人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">生的苦难与伟大</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/6082808/" οnclick="moreurl(this,{i:'2'})"> <img src="https://img3.doubanio.com/view/subject/s/public/s27237850.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/6082808/" οnclick=""moreurl(this,{i:'2'})"" title="百年孤独">百年孤独</a> <br/> <span style="font-size:12px;">Cien años de soledad</span> </div> <p class="pl">[哥伦比亚] 加西亚·马尔克斯 / 范晔 / 南海出版公司 / 2011-6 / 39.50元</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">9.3</span> <span class="pl">(355576人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">魔幻现实主义文学代表作</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/4820710/" οnclick="moreurl(this,{i:'3'})"> <img src="https://img1.doubanio.com/view/subject/s/public/s4371408.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/4820710/" οnclick=""moreurl(this,{i:'3'})"" title="1984">1984</a> <br/> <span style="font-size:12px;">Nineteen Eighty-Four</span> </div> <p class="pl">[英] 乔治·奥威尔 / 刘绍铭 / 北京十月文艺出版社 / 2010-4-1 / 28.00</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">9.4</span> <span class="pl">(197104人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">栗树荫下,我出卖你,你出卖我</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/1068920/" οnclick="moreurl(this,{i:'4'})"> <img src="https://img1.doubanio.com/view/subject/s/public/s1078958.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/1068920/" οnclick=""moreurl(this,{i:'4'})"" title="飘">飘</a> <br/> <span style="font-size:12px;">Gone with the Wind</span> </div> <p class="pl">[美国] 玛格丽特·米切尔 / 李美华 / 译林出版社 / 2000-9 / 40.00元</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">9.3</span> <span class="pl">(185637人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">革命时期的爱情,随风而逝</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/6518605/" οnclick="moreurl(this,{i:'5'})"> <img src="https://img9.doubanio.com/view/subject/s/public/s28357056.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/6518605/" οnclick=""moreurl(this,{i:'5'})"" title="三体全集">三体全集<span style="font-size:12px;"> : 地球往事三部曲 </span> </a> </div> <p class="pl">刘慈欣 / 重庆出版社 / 2012-1-1 / 168.00元</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">9.4</span> <span class="pl">(113411人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">地球往事三部曲</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/1019568/" οnclick="moreurl(this,{i:'6'})"> <img src="https://img2.doubanio.com/view/subject/s/public/s1076932.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/1019568/" οnclick=""moreurl(this,{i:'6'})"" title="三国演义(全二册)">三国演义(全二册)</a><img alt="可试读" src="/pics/read.gif" title="可试读"/> </div> <p class="pl">[明] 罗贯中 / 人民文学出版社 / 1998-05 / 39.50元</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">9.3</span> <span class="pl">(143123人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">是非成败转头空</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/3259440/" οnclick="moreurl(this,{i:'7'})"> <img src="https://img2.doubanio.com/view/subject/s/public/s4610502.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/3259440/" οnclick=""moreurl(this,{i:'7'})"" title="白夜行">白夜行</a><img alt="可试读" src="/pics/read.gif" title="可试读"/> <br/> <span style="font-size:12px;">白夜行</span> </div> <p class="pl">[日] 东野圭吾 / 刘姿君 / 南海出版公司 / 2008-9 / 29.80元</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">9.1</span> <span class="pl">(479799人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">暗夜独行的残破灵魂,爱与恶本就难分难舍</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/1084336/" οnclick="moreurl(this,{i:'8'})"> <img src="https://img2.doubanio.com/view/subject/s/public/s1103152.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/1084336/" οnclick=""moreurl(this,{i:'8'})"" title="小王子">小王子</a> <br/> <span style="font-size:12px;">Le Petit Prince</span> </div> <p class="pl">[法] 圣埃克苏佩里 / 马振聘 / 人民文学出版社 / 2003-8 / 22.00元</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">9.0</span> <span class="pl">(662061人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">献给长成了大人的孩子们</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/1040211/" οnclick="moreurl(this,{i:'9'})"> <img src="https://img3.doubanio.com/view/subject/s/public/s1229240.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/1040211/" οnclick=""moreurl(this,{i:'9'})"" title="福尔摩斯探案全集(上中下)">福尔摩斯探案全集(上中下)</a> </div> <p class="pl">[英] 阿·柯南道尔 / 丁钟华 等 / 群众出版社 / 1981-8 / 53.00元/68.00元</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">9.3</span> <span class="pl">(111779人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">名侦探的代名词</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/27614904/" οnclick="moreurl(this,{i:'10'})"> <img src="https://img2.doubanio.com/view/subject/s/public/s29651121.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/27614904/" οnclick=""moreurl(this,{i:'10'})"" title="房思琪的初恋乐园">房思琪的初恋乐园</a><img alt="可试读" src="/pics/read.gif" title="可试读"/> </div> <p class="pl">林奕含 / 北京联合出版公司 / 2018-2 / 45.00元</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">9.2</span> <span class="pl">(278639人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">向死而生的文学绝唱</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/2035179/" οnclick="moreurl(this,{i:'11'})"> <img src="https://img3.doubanio.com/view/subject/s/public/s2347590.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/2035179/" οnclick=""moreurl(this,{i:'11'})"" title="动物农场">动物农场</a> <br/> <span style="font-size:12px;">Animal Farm</span> </div> <p class="pl">[英] 乔治·奥威尔 / 荣如德 / 上海译文出版社 / 2007-3 / 10.00元</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">9.3</span> <span class="pl">(121691人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">太阳底下并无新事</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/1060068/" οnclick="moreurl(this,{i:'12'})"> <img src="https://img3.doubanio.com/view/subject/s/public/s1066570.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/1060068/" οnclick=""moreurl(this,{i:'12'})"" title="撒哈拉的故事">撒哈拉的故事</a> </div> <p class="pl">三毛 / 哈尔滨出版社 / 2003-8 / 15.80元</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">9.2</span> <span class="pl">(125572人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">游荡的自由灵魂</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/1255625/" οnclick="moreurl(this,{i:'13'})"> <img src="https://img9.doubanio.com/view/subject/s/public/s26018275.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/1255625/" οnclick=""moreurl(this,{i:'13'})"" title="天龙八部">天龙八部</a> </div> <p class="pl">金庸 / 生活·读书·新知三联书店 / 1994-5 / 96.00元</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">9.1</span> <span class="pl">(117009人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">有情皆孽,无人不冤</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/1046209/" οnclick="moreurl(this,{i:'14'})"> <img src="https://img2.doubanio.com/view/subject/s/public/s1034062.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/1046209/" οnclick=""moreurl(this,{i:'14'})"" title="安徒生童话故事集">安徒生童话故事集</a> </div> <p class="pl">(丹麦)安徒生 / 叶君健 / 人民文学出版社 / 1997-08 / 25.00元</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">9.2</span> <span class="pl">(108483人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">为了争取未来的一代</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/1200840/" οnclick="moreurl(this,{i:'15'})"> <img src="https://img2.doubanio.com/view/subject/s/public/s1144911.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/1200840/" οnclick=""moreurl(this,{i:'15'})"" title="平凡的世界(全三部)">平凡的世界(全三部)</a> </div> <p class="pl">路遥 / 人民文学出版社 / 2005-1 / 64.00元</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">9.0</span> <span class="pl">(286212人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">中国当代城乡生活全景</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/1008145/" οnclick="moreurl(this,{i:'16'})"> <img src="https://img2.doubanio.com/view/subject/s/public/s1070222.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/1008145/" οnclick=""moreurl(this,{i:'16'})"" title="围城">围城</a> </div> <p class="pl">钱锺书 / 人民文学出版社 / 1991-2 / 19.00</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">8.9</span> <span class="pl">(410362人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">幽默的语言和对生活深刻的观察</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/10594787/" οnclick="moreurl(this,{i:'17'})"> <img src="https://img2.doubanio.com/view/subject/s/public/s11284102.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/10594787/" οnclick=""moreurl(this,{i:'17'})"" title="霍乱时期的爱情">霍乱时期的爱情</a> <br/> <span style="font-size:12px;">El amor en los tiempos del cólera</span> </div> <p class="pl">[哥伦比亚] 加西亚·马尔克斯 / 杨玲 / 南海出版公司 / 2012-9-1 / 39.50元</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">9.0</span> <span class="pl">(228877人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">义无反顾地直达爱情的核心</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/4908885/" οnclick="moreurl(this,{i:'18'})"> <img src="https://img9.doubanio.com/view/subject/s/public/s4468484.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/4908885/" οnclick=""moreurl(this,{i:'18'})"" title="局外人">局外人</a> <br/> <span style="font-size:12px;">L'Etranger</span> </div> <p class="pl">[法] 阿尔贝·加缪 / 柳鸣九 / 上海译文出版社 / 2010-8 / 22.00元</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">9.0</span> <span class="pl">(179675人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">人生在世,永远也不该演戏作假</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/3674537/" οnclick="moreurl(this,{i:'19'})"> <img src="https://img9.doubanio.com/view/subject/s/public/s3745215.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/3674537/" οnclick=""moreurl(this,{i:'19'})"" title="明朝那些事儿(1-9)">明朝那些事儿(1-9)<span style="font-size:12px;"> : 限量版 </span> </a> </div> <p class="pl">当年明月 / 中国海关出版社 / 2009-4 / 358.20元</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">9.1</span> <span class="pl">(126137人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">不拘一格的历史书写</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/1054685/" οnclick="moreurl(this,{i:'20'})"> <img src="https://img1.doubanio.com/view/subject/s/public/s1447349.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/1054685/" οnclick=""moreurl(this,{i:'20'})"" title="沉默的大多数">沉默的大多数<span style="font-size:12px;"> : 王小波杂文随笔全编 </span> </a> </div> <p class="pl">王小波 / 中国青年出版社 / 1997-10 / 27.00元</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">9.1</span> <span class="pl">(125550人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">沉默是沉默者的通行证</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/1770782/" οnclick="moreurl(this,{i:'21'})"> <img src="https://img3.doubanio.com/view/subject/s/public/s1727290.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/1770782/" οnclick=""moreurl(this,{i:'21'})"" title="追风筝的人">追风筝的人</a><img alt="可试读" src="/pics/read.gif" title="可试读"/> <br/> <span style="font-size:12px;">The Kite Runner</span> </div> <p class="pl">[美] 卡勒德·胡赛尼 / 李继宏 / 上海人民出版社 / 2006-5 / 29.00元</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">8.9</span> <span class="pl">(718759人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">为你,千千万万遍</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/25985021/" οnclick="moreurl(this,{i:'22'})"> <img src="https://img2.doubanio.com/view/subject/s/public/s27814883.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/25985021/" οnclick=""moreurl(this,{i:'22'})"" title="人类简史">人类简史<span style="font-size:12px;"> : 从动物到上帝 </span> </a><img alt="可试读" src="/pics/read.gif" title="可试读"/> <br/> <span style="font-size:12px;">A brief history of humankind</span> </div> <p class="pl">[以色列] 尤瓦尔·赫拉利 / 林俊宏 / 中信出版社 / 2014-11 / 68.00元</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">9.1</span> <span class="pl">(163766人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">跟着人类一同走过十万年</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/24531956/" οnclick="moreurl(this,{i:'23'})"> <img src="https://img9.doubanio.com/view/subject/s/public/s29101586.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/24531956/" οnclick=""moreurl(this,{i:'23'})"" title="哈利·波特">哈利·波特</a> <br/> <span style="font-size:12px;">Harry Potter</span> </div> <p class="pl">J.K.罗琳 (J.K.Rowling) / 苏农 / 人民文学出版社 / 2008-12-1 / 498.00元</p> <div class="star clearfix"> <span class="allstar50"></span> <span class="rating_nums">9.7</span> <span class="pl">(59266人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">从9¾站台开始的旅程</span> </p> </td> </tr> </table> <p class="ul"></p> <table width="100%"> <tr class="item"> <td valign="top" width="100"> <a class="nbg" href="https://book.douban.com/subject/1858513/" οnclick="moreurl(this,{i:'24'})"> <img src="https://img1.doubanio.com/view/subject/s/public/s2659208.jpg" width="90"/> </a> </td> <td valign="top"> <div class="pl2"> <a href="https://book.douban.com/subject/1858513/" οnclick=""moreurl(this,{i:'24'})"" title="月亮和六便士">月亮和六便士</a> <br/> <span style="font-size:12px;">The Moon and Sixpence</span> </div> <p class="pl">[英] 毛姆 / 傅惟慈 / 上海译文出版社 / 2006-8 / 15.00元</p> <div class="star clearfix"> <span class="allstar45"></span> <span class="rating_nums">9.0</span> <span class="pl">(172736人评价)</span> </div> <p class="quote" style="margin: 10px 0; color: #666"> <span class="inq">有多少人会经历顿悟,就有更少的人甘愿自我放逐</span> </p> </td> </tr> </table> <div class="paginator"> <span class="prev"><前页</span> <span class="thispage">1</span> <a href="https://book.douban.com/top250?start=25">2</a> <a href="https://book.douban.com/top250?start=50">3</a> <a href="https://book.douban.com/top250?start=75">4</a> <a href="https://book.douban.com/top250?start=100">5</a> <a href="https://book.douban.com/top250?start=125">6</a> <a href="https://book.douban.com/top250?start=150">7</a> <a href="https://book.douban.com/top250?start=175">8</a> <a href="https://book.douban.com/top250?start=200">9</a> <a href="https://book.douban.com/top250?start=225">10</a> <span class="next"> <link href="https://book.douban.com/top250?start=25" rel="next"/> <a href="https://book.douban.com/top250?start=25">后页></a> </span> </div> </div> </div> <div class="aside"> <span class="indent pl">豆瓣用户每天都在对“读过”的书进行“很差”到“力荐”的评价,豆瓣根据每本书读过的人数以及该书所得的评价等综合数据,通过算法分析产生了豆瓣读书 Top 250。</span> </div> <div class="extra"> </div> </div> </div> <div id="footer"> <span class="fleft gray-link" id="icp">© 2005-2021 douban.com, all rights reserved 北京豆网科技有限公司 </span> <a href="https://www.douban.com/hnypt/variformcyst.py" style="display: none;"></a> <span class="fright"> <a href="https://www.douban.com/about">关于豆瓣</a>· <a href="https://www.douban.com/jobs">在豆瓣工作</a>· <a href="https://www.douban.com/about?topic=contactus">联系我们</a>· <a href="https://www.douban.com/about/legal">法律声明</a>· <a href="https://help.douban.com/?app=book" target="_blank">帮助中心</a>· <a href="https://book.douban.com/library_invitation">图书馆合作</a>· <a href="https://www.douban.com/doubanapp/">移动应用</a>· <a href="https://www.douban.com/partner/">豆瓣广告</a> </span> </div> </div> <!-- COLLECTED JS --> <!-- mako --> <script type="text/javascript">var _paq = _paq || [];_paq.push(['trackPageView']);_paq.push(['enableLinkTracking']);(function() {var p=(('https:' == document.location.protocol) ? 'https' : 'http'), u=p+'://fundin.douban.com/';_paq.push(['setTrackerUrl', u+'piwik']);_paq.push(['setSiteId', '100001']);var d=document, g=d.createElement('script'), s=d.getElementsByTagName('script')[0]; g.type='text/javascript';g.defer=true; g.async=true; g.src=p+'://s.doubanio.com/dae/fundin/piwik.js';s.parentNode.insertBefore(g,s);})(); </script> <script type="text/javascript"> var setMethodWithNs = function(namespace) {var ns = namespace ? namespace + '.' : '', fn = function(string) {if(!ns) {return string}return ns + string}return fn }var gaWithNamespace = function(fn, namespace) {var method = setMethodWithNs(namespace)fn.call(this, method) }var _gaq = _gaq || [], accounts = [{ id: 'UA-7019765-1', namespace: 'douban' }, { id: 'UA-7019765-16', namespace: '' }], gaInit = function(account) {gaWithNamespace(function(method) {gaInitFn.call(this, method, account)}, account.namespace)}, gaInitFn = function(method, account) {_gaq.push([method('_setAccount'), account.id])_gaq.push([method('_addOrganic'), 'google', 'q'])_gaq.push([method('_addOrganic'), 'baidu', 'wd'])_gaq.push([method('_addOrganic'), 'soso', 'w'])_gaq.push([method('_addOrganic'), 'youdao', 'q'])_gaq.push([method('_addOrganic'), 'so.360.cn', 'q'])_gaq.push([method('_addOrganic'), 'sogou', 'query'])if (account.namespace) {_gaq.push([method('_addIgnoredOrganic'), '豆瓣'])_gaq.push([method('_addIgnoredOrganic'), 'douban'])_gaq.push([method('_addIgnoredOrganic'), '豆瓣网'])_gaq.push([method('_addIgnoredOrganic'), 'www.douban.com'])}if (account.namespace === 'douban') {_gaq.push([method('_setDomainName'), '.douban.com'])}_gaq.push([method('_setCustomVar'), 1, 'responsive_view_mode', 'desktop', 3])_gaq.push([method('_setCustomVar'), 2, 'login_status', '0', 2]);_gaq.push([method('_trackPageview')])}for(var i = 0, l = accounts.length; i < l; i++) {var account = accounts[i]gaInit(account) };(function() {var ga = document.createElement('script');ga.src = ('https:' == document.location.protocol ? 'https://ssl' : 'http://www') + '.google-analytics.com/ga.js';ga.setAttribute('async', 'true');document.documentElement.firstChild.appendChild(ga); })() </script> <!-- dae-web-book--default-579d84bbb5-hs527--> </body> </html>
python 打印信息时会有限制 我们将打印的编码改成gb18030
headers表示我们的请求网页的头,对于没有headers的请求可能会被服务器判定为爬虫而拒绝提供服务
通过 from bs4 import BeautifulSoup 语句导入 BeautifulSoup
然后使用 BeautifulSoup(res.text, lxmlr’) 语句将网页源代码的字符串形式解析成了 BeautifulSoup 对象
解析成了 BeautifulSoup 对象可以较为方便的提取我们需要的信息
那么如何提取信息呢?
BeautifulSoup 为我们提供了一些方法
find()方法和find_all()方法:
- find() 返回符合条件的首个数据
- find_all() 返回符合条件的所有数据
In [ ]:
import io import sys import requests from bs4 import BeautifulSoup #如果出现了乱码报错,可以修改编码形式 #sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030') # headers = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36' } res = requests.get('https://book.douban.com/top250', headers=headers) soup = BeautifulSoup(res.text, 'lxml') print(soup.find('a')) #<a class="nav-login" href="https://accounts.douban.com/passport/login?source=book" rel="nofollow">登录/注册</a> print(soup.find_all('a')) #返回一个列表 包含了所有的<a>标签
<a class="nav-login" href="https://accounts.douban.com/passport/login?source=book" rel="nofollow">登录/注册</a> [<a class="nav-login" href="https://accounts.douban.com/passport/login?source=book" rel="nofollow">登录/注册</a>, <a class="lnk-doubanapp" href="https://www.douban.com/doubanapp/app?channel=top-nav">下载豆瓣客户端</a>, <a class="tip-link" href="https://www.douban.com/doubanapp/app?channel=qipao">豆瓣 <span class="version">6.0</span> 全新发布</a>, <a class="tip-close" href="javascript: void 0;">×</a>, <a href="https://www.douban.com/doubanapp/redirect?channel=top-nav&direct_dl=1&download=iOS">iPhone</a>, <a class="download-android" href="https://www.douban.com/doubanapp/redirect?channel=top-nav&direct_dl=1&download=Android">Android</a>, <a data-moreurl-dict='{"from":"top-nav-click-main","uid":"0"}' href="https://www.douban.com" target="_blank">豆瓣</a>, <a data-moreurl-dict='{"from":"top-nav-click-book","uid":"0"}' href="https://book.douban.com">读书</a>, <a data-moreurl-dict='{"from":"top-nav-click-movie","uid":"0"}' href="https://movie.douban.com" target="_blank">电影</a>, <a data-moreurl-dict='{"from":"top-nav-click-music","uid":"0"}' href="https://music.douban.com" target="_blank">音乐</a>, <a data-moreurl-dict='{"from":"top-nav-click-location","uid":"0"}' href="https://www.douban.com/location" target="_blank">同城</a>, <a data-moreurl-dict='{"from":"top-nav-click-group","uid":"0"}' href="https://www.douban.com/group" target="_blank">小组</a>, <a data-moreurl-dict='{"from":"top-nav-click-read","uid":"0"}' href="https://read.douban.com/?dcs=top-nav&dcm=douban" target="_blank">阅读</a>, <a data-moreurl-dict='{"from":"top-nav-click-fm","uid":"0"}' href="https://douban.fm/?from_=shire_top_nav" target="_blank">FM</a>, <a data-moreurl-dict='{"from":"top-nav-click-time","uid":"0"}' href="https://time.douban.com/?dt_time_source=douban-web_top_nav" target="_blank">时间</a>, <a data-moreurl-dict='{"from":"top-nav-click-market","uid":"0"}' href="https://market.douban.com/?utm_campaign=douban_top_nav&utm_source=douban&utm_medium=pc_web" target="_blank">豆品</a>, <a href="https://book.douban.com">豆瓣读书</a>, <a href="https://book.douban.com/cart/">购书单</a>, <a href="https://read.douban.com/ebooks/?dcs=book-nav&dcm=douban" target="_blank">电子图书</a>, <a href="https://market.douban.com/book?utm_campaign=book_nav_freyr&utm_source=douban&utm_medium=pc_web">豆瓣书店</a>, <a href="https://book.douban.com/annual/2020?source=navigation" target="_blank">2020年度榜单</a>, <a href="https://www.douban.com/standbyme/2020?fullscreen=true&hidenav=true&autorotate=false&source=book_navigation" target="_blank">2020书影音报告</a>, <a href="https://market.douban.com/cart/?biz_type=book&utm_campaign=book_nav_cart&utm_source=douban&utm_medium=pc_web" target="_blank">购物车</a>, <a class="bookannual" href="https://book.douban.com/annual/2020?source=book_navigation"></a>, <a class="nbg" href="https://book.douban.com/subject/1007305/" οnclick="moreurl(this,{i:'0'})"> <img src="https://img1.doubanio.com/view/subject/s/public/s1070959.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/1007305/" οnclick=""moreurl(this,{i:'0'})"" title="红楼梦">红楼梦</a>, <a class="nbg" href="https://book.douban.com/subject/4913064/" οnclick="moreurl(this,{i:'1'})"> <img src="https://img9.doubanio.com/view/subject/s/public/s27279654.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/4913064/" οnclick=""moreurl(this,{i:'1'})"" title="活着">活着</a>, <a class="nbg" href="https://book.douban.com/subject/6082808/" οnclick="moreurl(this,{i:'2'})"> <img src="https://img3.doubanio.com/view/subject/s/public/s27237850.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/6082808/" οnclick=""moreurl(this,{i:'2'})"" title="百年孤独">百年孤独</a>, <a class="nbg" href="https://book.douban.com/subject/4820710/" οnclick="moreurl(this,{i:'3'})"> <img src="https://img1.doubanio.com/view/subject/s/public/s4371408.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/4820710/" οnclick=""moreurl(this,{i:'3'})"" title="1984">1984</a>, <a class="nbg" href="https://book.douban.com/subject/1068920/" οnclick="moreurl(this,{i:'4'})"> <img src="https://img1.doubanio.com/view/subject/s/public/s1078958.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/1068920/" οnclick=""moreurl(this,{i:'4'})"" title="飘">飘</a>, <a class="nbg" href="https://book.douban.com/subject/6518605/" οnclick="moreurl(this,{i:'5'})"> <img src="https://img9.doubanio.com/view/subject/s/public/s28357056.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/6518605/" οnclick=""moreurl(this,{i:'5'})"" title="三体全集">三体全集<span style="font-size:12px;"> : 地球往事三部曲 </span> </a>, <a class="nbg" href="https://book.douban.com/subject/1019568/" οnclick="moreurl(this,{i:'6'})"> <img src="https://img2.doubanio.com/view/subject/s/public/s1076932.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/1019568/" οnclick=""moreurl(this,{i:'6'})"" title="三国演义(全二册)">三国演义(全二册)</a>, <a class="nbg" href="https://book.douban.com/subject/3259440/" οnclick="moreurl(this,{i:'7'})"> <img src="https://img2.doubanio.com/view/subject/s/public/s4610502.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/3259440/" οnclick=""moreurl(this,{i:'7'})"" title="白夜行">白夜行</a>, <a class="nbg" href="https://book.douban.com/subject/1084336/" οnclick="moreurl(this,{i:'8'})"> <img src="https://img2.doubanio.com/view/subject/s/public/s1103152.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/1084336/" οnclick=""moreurl(this,{i:'8'})"" title="小王子">小王子</a>, <a class="nbg" href="https://book.douban.com/subject/1040211/" οnclick="moreurl(this,{i:'9'})"> <img src="https://img3.doubanio.com/view/subject/s/public/s1229240.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/1040211/" οnclick=""moreurl(this,{i:'9'})"" title="福尔摩斯探案全集(上中下)">福尔摩斯探案全集(上中下)</a>, <a class="nbg" href="https://book.douban.com/subject/27614904/" οnclick="moreurl(this,{i:'10'})"> <img src="https://img2.doubanio.com/view/subject/s/public/s29651121.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/27614904/" οnclick=""moreurl(this,{i:'10'})"" title="房思琪的初恋乐园">房思琪的初恋乐园</a>, <a class="nbg" href="https://book.douban.com/subject/2035179/" οnclick="moreurl(this,{i:'11'})"> <img src="https://img3.doubanio.com/view/subject/s/public/s2347590.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/2035179/" οnclick=""moreurl(this,{i:'11'})"" title="动物农场">动物农场</a>, <a class="nbg" href="https://book.douban.com/subject/1060068/" οnclick="moreurl(this,{i:'12'})"> <img src="https://img3.doubanio.com/view/subject/s/public/s1066570.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/1060068/" οnclick=""moreurl(this,{i:'12'})"" title="撒哈拉的故事">撒哈拉的故事</a>, <a class="nbg" href="https://book.douban.com/subject/1255625/" οnclick="moreurl(this,{i:'13'})"> <img src="https://img9.doubanio.com/view/subject/s/public/s26018275.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/1255625/" οnclick=""moreurl(this,{i:'13'})"" title="天龙八部">天龙八部</a>, <a class="nbg" href="https://book.douban.com/subject/1046209/" οnclick="moreurl(this,{i:'14'})"> <img src="https://img2.doubanio.com/view/subject/s/public/s1034062.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/1046209/" οnclick=""moreurl(this,{i:'14'})"" title="安徒生童话故事集">安徒生童话故事集</a>, <a class="nbg" href="https://book.douban.com/subject/1200840/" οnclick="moreurl(this,{i:'15'})"> <img src="https://img2.doubanio.com/view/subject/s/public/s1144911.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/1200840/" οnclick=""moreurl(this,{i:'15'})"" title="平凡的世界(全三部)">平凡的世界(全三部)</a>, <a class="nbg" href="https://book.douban.com/subject/1008145/" οnclick="moreurl(this,{i:'16'})"> <img src="https://img2.doubanio.com/view/subject/s/public/s1070222.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/1008145/" οnclick=""moreurl(this,{i:'16'})"" title="围城">围城</a>, <a class="nbg" href="https://book.douban.com/subject/10594787/" οnclick="moreurl(this,{i:'17'})"> <img src="https://img2.doubanio.com/view/subject/s/public/s11284102.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/10594787/" οnclick=""moreurl(this,{i:'17'})"" title="霍乱时期的爱情">霍乱时期的爱情</a>, <a class="nbg" href="https://book.douban.com/subject/4908885/" οnclick="moreurl(this,{i:'18'})"> <img src="https://img9.doubanio.com/view/subject/s/public/s4468484.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/4908885/" οnclick=""moreurl(this,{i:'18'})"" title="局外人">局外人</a>, <a class="nbg" href="https://book.douban.com/subject/3674537/" οnclick="moreurl(this,{i:'19'})"> <img src="https://img9.doubanio.com/view/subject/s/public/s3745215.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/3674537/" οnclick=""moreurl(this,{i:'19'})"" title="明朝那些事儿(1-9)">明朝那些事儿(1-9)<span style="font-size:12px;"> : 限量版 </span> </a>, <a class="nbg" href="https://book.douban.com/subject/1054685/" οnclick="moreurl(this,{i:'20'})"> <img src="https://img1.doubanio.com/view/subject/s/public/s1447349.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/1054685/" οnclick=""moreurl(this,{i:'20'})"" title="沉默的大多数">沉默的大多数<span style="font-size:12px;"> : 王小波杂文随笔全编 </span> </a>, <a class="nbg" href="https://book.douban.com/subject/1770782/" οnclick="moreurl(this,{i:'21'})"> <img src="https://img3.doubanio.com/view/subject/s/public/s1727290.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/1770782/" οnclick=""moreurl(this,{i:'21'})"" title="追风筝的人">追风筝的人</a>, <a class="nbg" href="https://book.douban.com/subject/25985021/" οnclick="moreurl(this,{i:'22'})"> <img src="https://img2.doubanio.com/view/subject/s/public/s27814883.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/25985021/" οnclick=""moreurl(this,{i:'22'})"" title="人类简史">人类简史<span style="font-size:12px;"> : 从动物到上帝 </span> </a>, <a class="nbg" href="https://book.douban.com/subject/24531956/" οnclick="moreurl(this,{i:'23'})"> <img src="https://img9.doubanio.com/view/subject/s/public/s29101586.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/24531956/" οnclick=""moreurl(this,{i:'23'})"" title="哈利·波特">哈利·波特</a>, <a class="nbg" href="https://book.douban.com/subject/1858513/" οnclick="moreurl(this,{i:'24'})"> <img src="https://img1.doubanio.com/view/subject/s/public/s2659208.jpg" width="90"/> </a>, <a href="https://book.douban.com/subject/1858513/" οnclick=""moreurl(this,{i:'24'})"" title="月亮和六便士">月亮和六便士</a>, <a href="https://book.douban.com/top250?start=25">2</a>, <a href="https://book.douban.com/top250?start=50">3</a>, <a href="https://book.douban.com/top250?start=75">4</a>, <a href="https://book.douban.com/top250?start=100">5</a>, <a href="https://book.douban.com/top250?start=125">6</a>, <a href="https://book.douban.com/top250?start=150">7</a>, <a href="https://book.douban.com/top250?start=175">8</a>, <a href="https://book.douban.com/top250?start=200">9</a>, <a href="https://book.douban.com/top250?start=225">10</a>, <a href="https://book.douban.com/top250?start=25">后页></a>, <a href="https://www.douban.com/hnypt/variformcyst.py" style="display: none;"></a>, <a href="https://www.douban.com/about">关于豆瓣</a>, <a href="https://www.douban.com/jobs">在豆瓣工作</a>, <a href="https://www.douban.com/about?topic=contactus">联系我们</a>, <a href="https://www.douban.com/about/legal">法律声明</a>, <a href="https://help.douban.com/?app=book" target="_blank">帮助中心</a>, <a href="https://book.douban.com/library_invitation">图书馆合作</a>, <a href="https://www.douban.com/doubanapp/">移动应用</a>, <a href="https://www.douban.com/partner/">豆瓣广告</a>]
除了传入 HTML 标签名称外,BeautifulSoup 还支持熟悉的定位
In [ ]:
# 定位div开头 同时id为'doubanapp-tip的标签 soup.find('div', id='doubanapp-tip') # 定位a抬头 同时class为rating_nums的标签 soup.find_all('span', class_='rating_nums') #class是python中定义类的关键字,因此用class_表示HTML中的class
Out[ ]:
[<span class="rating_nums">9.6</span>,<span class="rating_nums">9.4</span>,<span class="rating_nums">9.3</span>,<span class="rating_nums">9.4</span>,<span class="rating_nums">9.3</span>,<span class="rating_nums">9.4</span>,<span class="rating_nums">9.3</span>,<span class="rating_nums">9.1</span>,<span class="rating_nums">9.0</span>,<span class="rating_nums">9.3</span>,<span class="rating_nums">9.2</span>,<span class="rating_nums">9.3</span>,<span class="rating_nums">9.2</span>,<span class="rating_nums">9.1</span>,<span class="rating_nums">9.2</span>,<span class="rating_nums">9.0</span>,<span class="rating_nums">8.9</span>,<span class="rating_nums">9.0</span>,<span class="rating_nums">9.0</span>,<span class="rating_nums">9.1</span>,<span class="rating_nums">9.1</span>,<span class="rating_nums">8.9</span>,<span class="rating_nums">9.1</span>,<span class="rating_nums">9.7</span>,<span class="rating_nums">9.0</span>]
HTML定位方法:BeautifulSoup标签定位方法总结 - bosslv - 博客园
理论看百遍,不如上手一练
5.4 实践项目1:自如公寓数据抓取
首先是先说一声抱歉,在课程设计时,没有想到自如公寓在价格上增加一定程度的反爬措施,因此自如公寓的价格在本节不讨论,在以后的课程中,我们会详细讲解相关的方法。
本节内容为作者原创的项目,整体爬取过程有4星的难度,建议读者跟着课程一步一步的来,如果有不明白的地方,可以在群里面与其他伙伴进行交流。
在输出本节内容时,请注明来源,Datawhale自动化办公课程,谢谢~
日前 , 国务院办公厅印发《关于加快培育和发展住房租赁市场的若干意见》,你是某新媒体公司的一名员工,老板希望对武汉的租房情况进行深度调研与分析,你想调查自如公寓的数据情况。根据工作的安排,你调研的是自如公寓武汉房屋出租分析的任务。
项目难度:⭐⭐⭐⭐
自如公寓官网:【武汉租房房源价格信息】-武汉自如网
通过观察官网你发现
第1页的网页为:【武汉租房房源价格信息】-武汉自如网
第2页的网页为:【武汉租房房源价格信息】-武汉自如网
第3页的网页为:【武汉租房房源价格信息】-武汉自如网
...
第50页的网页为:【武汉租房房源价格信息】-武汉自如网
你继续观察,发现
房屋的信息网页为类似于:唐家墩顶琇国际城朝北次卧合租租房价格信息_武汉江汉租房价格信息-自如网
即:https://wh.ziroom.com/x/XXXX.html
因此你有了思路,通过访问自如公寓的网站,获取每个房间后面的数字号 然后通过数字号访问房屋的直接信息,然后抓取房屋的信息保存在excel中
于是你访问了房屋的网页:唐家墩顶琇国际城朝北次卧合租租房价格信息_武汉江汉租房价格信息-自如网
通过观察房屋的网页,你发现是这些信息是你需要的
房屋的名称,房屋的面积,房屋的朝向,房屋的户型,房屋的位置,房屋的楼层,是否有电梯,房屋的年代,门锁情况,绿化情况
但是你遇到了困难,不知道这些信息的标签信息,不能用beautifulsoup对他们进行定位
通过百度查询,浏览器按F12时能进入源代码模式 或者 点击右键进入审查元素
点击左上角的箭头,可以定位到元素的位置
方法掌握后你开始写代码了
In [ ]:
import requests from bs4 import BeautifulSoup import random import time import csv
写到这里的时候,你想到,我多次访问自如的官网,如果只用一个UA头岂不是很容易被反爬虫识别
你想到,我可以做很多个UA头,然后每次访问的时候可以随机选一个,想到这里,你直呼自己是个天才
于是,你到网上找到了很多UA头信息
In [ ]:
#这里增加了很多user_agent #能一定程度能保护爬虫 user_agent = ["Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50","Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50","Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0","Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko","Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)","Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)","Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)","Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1","Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1","Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11","Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)"]
现在开始正式开始爬取数据了
房屋的名称,房屋的价格,房屋的面积,房屋的朝向,房屋的户型,房屋的位置,房屋的楼层,是否有电梯,房屋的年代,门锁情况,绿化情况
你思考爬取的信息应该保存到csv文件中,于是你导入了csv包 并简单的了解了CSV包的用法
第一步,是要获取房屋的数字标签
于是你打开了自如的官网,用浏览器的元素进行定位
发现房屋的信息标签都是这个
< a href="dd//wh.ziroom.com/x/741955798.html" target="_blank"> 房屋名称< /a >
聪明的你,随手写下了这个代码,便能爬取自如前50页
In [ ]:
def get_info():csvheader=['名称','面积','朝向','户型','位置','楼层','是否有电梯','建成时间',' 门锁','绿化']with open('wuhan_ziru.csv', 'a+', newline='') as csvfile:writer = csv.writer(csvfile)writer.writerow(csvheader)for i in range(1,50): #总共有50页print('正在爬取自如第%s页'%i)timelist=[1,2,3]print('有点累了,需要休息一下啦(¬㉨¬)')time.sleep(random.choice(timelist)) #休息1-3秒,防止给对方服务器过大的压力!!!url='https://wh.ziroom.com/z/p%s/'%iheaders = {'User-Agent': random.choice(user_agent)}r = requests.get(url, headers=headers)r.encoding = r.apparent_encodingsoup = BeautifulSoup(r.text, 'lxml')all_info = soup.find_all('div', class_='info-box')print('开始干活咯(๑><๑)')for info in all_info:href = info.find('a')if href !=None:href='https:'+href['href']try:print('正在爬取%s'%href)house_info=get_house_info(href)writer.writerow(house_info)except:print('出错啦,%s进不去啦( •̥́ ˍ •̀ू )'%href)
通过研究发现了你需要定位的信息 通过标签头 h1 li span 和class的值对标签进行定位
<h1 class="Z_name"><i class="status iconicon_sign"></i>自如友家·电建地产盛世江城·4居室-05卧</h1>
----
<div class="Z_home_info">
<div class="Z_home_b clearfix"><dl class=""><dd>8.4㎡</dd><dt>使用面积</dt></dl><dl class=""><dd>朝南</dd><dt>朝向</dt></dl><dl class=""><dd>4室1厅</dd><dt>户型</dt></dl>
</div>
</div>
----
<ul class="Z_home_o"><li><span class="la">位置</span><span class="va"><span class="ad">小区距2号线长港路站步行约231米</span></li><span class="la">楼层</span><span class="va">6/43</span></li><li><span class="la">电梯</span><span class="va">有</span></li><li><span class="la">年代</span><span class="va">2016年建成</span></li><li><span class="la">门锁</span><span class="va">智能门锁</span></li><li><span class="la">绿化</span><span class="va">35%</span></li>
</ul>
通过对上面标签的研究你完成了所有的代码
In [ ]:
import requests from bs4 import BeautifulSoup import random import time import csv#这里增加了很多user_agent #能一定程度能保护爬虫 user_agent = ["Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50","Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50","Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0","Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko","Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)","Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)","Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)","Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1","Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1","Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11","Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)"]def get_info():csvheader=['名称','面积','朝向','户型','位置','楼层','是否有电梯','建成时间',' 门锁','绿化']with open('wuhan_ziru.csv', 'a+', newline='') as csvfile:writer = csv.writer(csvfile)writer.writerow(csvheader)for i in range(1,50): #总共有50页print('正在爬取自如第%s页'%i)timelist=[1,2,3]print('有点累了,需要休息一下啦(¬㉨¬)')time.sleep(random.choice(timelist)) #休息1-3秒,防止给对方服务器过大的压力!!!url='https://wh.ziroom.com/z/p%s/'%iheaders = {'User-Agent': random.choice(user_agent)}r = requests.get(url, headers=headers)r.encoding = r.apparent_encodingsoup = BeautifulSoup(r.text, 'lxml')all_info = soup.find_all('div', class_='info-box')print('开始干活咯(๑><๑)')for info in all_info:href = info.find('a')if href !=None:href='https:'+href['href']try:print('正在爬取%s'%href)house_info=get_house_info(href)writer.writerow(house_info)except:print('出错啦,%s进不去啦( •̥́ ˍ •̀ू )'%href)def get_house_info(href):#得到房屋的信息time.sleep(1)headers = {'User-Agent': random.choice(user_agent)}response = requests.get(url=href, headers=headers)response=response.content.decode('utf-8', 'ignore')soup = BeautifulSoup(response, 'lxml')name = soup.find('h1', class_='Z_name').textsinfo=soup.find('div', class_='Z_home_b clearfix').find_all('dd')area=sinfo[0].textorien=sinfo[1].textarea_type=sinfo[2].textdinfo=soup.find('ul',class_='Z_home_o').find_all('li')location=dinfo[0].find('span',class_='va').textloucen=dinfo[1].find('span',class_='va').textdianti=dinfo[2].find('span',class_='va').textniandai=dinfo[3].find('span',class_='va').textmensuo=dinfo[4].find('span',class_='va').textlvhua=dinfo[5].find('span',class_='va').text['名称','面积','朝向','户型','位置','楼层','是否有电梯','建成时间',' 门锁','绿化']room_info=[name,area,orien,area_type,location,loucen,dianti,niandai,mensuo,lvhua]return room_infoif __name__ == '__main__':get_info() # 运行完成后,会在文件夹中看到刚才爬取好的信息保存在wuhan_ziru.csv中
正在爬取自如第1页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/808088220.html 正在爬取https://wh.ziroom.com/x/808092210.html 正在爬取https://wh.ziroom.com/x/808051057.html 正在爬取https://wh.ziroom.com/x/807075978.html 正在爬取https://wh.ziroom.com/x/807547624.html 正在爬取https://wh.ziroom.com/x/782369005.html 正在爬取https://wh.ziroom.com/x/795635986.html 正在爬取https://wh.ziroom.com/x/786317778.html 正在爬取https://wh.ziroom.com/x/790917615.html 正在爬取https://wh.ziroom.com/x/807782348.html 正在爬取https://wh.ziroom.com/x/758134428.html 正在爬取https://wh.ziroom.com/x/807111272.html 正在爬取https://wh.ziroom.com/x/807301511.html 正在爬取https://wh.ziroom.com/x/808235626.html 正在爬取https://wh.ziroom.com/x/807726369.html 正在爬取https://wh.ziroom.com/x/795359245.html 正在爬取https://wh.ziroom.com/x/807063882.html 正在爬取https://wh.ziroom.com/x/808275589.html 正在爬取https://wh.ziroom.com/x/808218112.html 正在爬取https://wh.ziroom.com/x/807791175.html 正在爬取https://wh.ziroom.com/x/784380203.html 正在爬取https://wh.ziroom.com/x/807853286.html 正在爬取https://wh.ziroom.com/x/807853223.html 正在爬取https://wh.ziroom.com/x/808294083.html 出错啦,https://wh.ziroom.com/x/808294083.html进不去啦( •̥́ ˍ •̀ू ) 正在爬取https://wh.ziroom.com/x/807067956.html 正在爬取https://wh.ziroom.com/x/808271739.html 正在爬取https://wh.ziroom.com/x/808157226.html 正在爬取https://wh.ziroom.com/x/807186382.html 正在爬取https://wh.ziroom.com/x/808206933.html 正在爬取自如第2页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/807824502.html 正在爬取https://wh.ziroom.com/x/743336205.html 正在爬取https://wh.ziroom.com/x/795044189.html 正在爬取https://wh.ziroom.com/x/808266832.html 正在爬取https://wh.ziroom.com/x/808202495.html 正在爬取https://wh.ziroom.com/x/744303489.html 正在爬取https://wh.ziroom.com/x/807065723.html 正在爬取https://wh.ziroom.com/x/808263668.html 正在爬取https://wh.ziroom.com/x/756040489.html 正在爬取https://wh.ziroom.com/x/807192983.html 正在爬取https://wh.ziroom.com/x/792363594.html 正在爬取https://wh.ziroom.com/x/792284345.html 正在爬取https://wh.ziroom.com/x/765812075.html 正在爬取https://wh.ziroom.com/x/808224062.html 正在爬取https://wh.ziroom.com/x/807905814.html 正在爬取https://wh.ziroom.com/x/808147188.html 正在爬取https://wh.ziroom.com/x/759489906.html 正在爬取https://wh.ziroom.com/x/776218429.html 正在爬取https://wh.ziroom.com/x/795569638.html 出错啦,https://wh.ziroom.com/x/795569638.html进不去啦( •̥́ ˍ •̀ू ) 正在爬取https://wh.ziroom.com/x/791823013.html 正在爬取https://wh.ziroom.com/x/807721469.html 正在爬取https://wh.ziroom.com/x/808236053.html 正在爬取https://wh.ziroom.com/x/778122151.html 正在爬取https://wh.ziroom.com/x/744126755.html 正在爬取https://wh.ziroom.com/x/781594751.html 正在爬取https://wh.ziroom.com/x/808048250.html 正在爬取https://wh.ziroom.com/x/768932468.html 正在爬取https://wh.ziroom.com/x/793724601.html 正在爬取https://wh.ziroom.com/x/773216473.html 正在爬取自如第3页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/793651657.html 正在爬取https://wh.ziroom.com/x/808053780.html 正在爬取https://wh.ziroom.com/x/807094010.html 正在爬取https://wh.ziroom.com/x/749992442.html 正在爬取https://wh.ziroom.com/x/808245006.html 正在爬取https://wh.ziroom.com/x/808231937.html 正在爬取https://wh.ziroom.com/x/785748194.html 正在爬取https://wh.ziroom.com/x/745251276.html 正在爬取https://wh.ziroom.com/x/807791203.html 正在爬取https://wh.ziroom.com/x/740635531.html 正在爬取https://wh.ziroom.com/x/808010373.html 正在爬取https://wh.ziroom.com/x/741332476.html 正在爬取https://wh.ziroom.com/x/807817635.html 正在爬取https://wh.ziroom.com/x/781137881.html 正在爬取https://wh.ziroom.com/x/745336248.html 正在爬取https://wh.ziroom.com/x/747931095.html 正在爬取https://wh.ziroom.com/x/782388308.html 正在爬取https://wh.ziroom.com/x/744004438.html 正在爬取https://wh.ziroom.com/x/808276359.html 正在爬取https://wh.ziroom.com/x/808246315.html 正在爬取https://wh.ziroom.com/x/795292024.html 正在爬取https://wh.ziroom.com/x/796829474.html 正在爬取https://wh.ziroom.com/x/807225456.html 正在爬取https://wh.ziroom.com/x/808244824.html 正在爬取https://wh.ziroom.com/x/807111979.html 正在爬取https://wh.ziroom.com/x/738970235.html 正在爬取https://wh.ziroom.com/x/808152018.html 正在爬取https://wh.ziroom.com/x/750949444.html 正在爬取https://wh.ziroom.com/x/772001645.html 正在爬取自如第4页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/808196839.html 正在爬取https://wh.ziroom.com/x/752555958.html 正在爬取https://wh.ziroom.com/x/808235640.html 正在爬取https://wh.ziroom.com/x/796134372.html 正在爬取https://wh.ziroom.com/x/807804230.html 正在爬取https://wh.ziroom.com/x/807120911.html 出错啦,https://wh.ziroom.com/x/807120911.html进不去啦( •̥́ ˍ •̀ू ) 正在爬取https://wh.ziroom.com/x/789527120.html 正在爬取https://wh.ziroom.com/x/807078169.html 正在爬取https://wh.ziroom.com/x/808209796.html 正在爬取https://wh.ziroom.com/x/808188684.html 正在爬取https://wh.ziroom.com/x/808248625.html 正在爬取https://wh.ziroom.com/x/808266755.html 正在爬取https://wh.ziroom.com/x/789700459.html 正在爬取https://wh.ziroom.com/x/808075956.html 正在爬取https://wh.ziroom.com/x/795739873.html 正在爬取https://wh.ziroom.com/x/762297959.html 正在爬取https://wh.ziroom.com/x/772265485.html 正在爬取https://wh.ziroom.com/x/744803233.html 正在爬取https://wh.ziroom.com/x/808069880.html 正在爬取https://wh.ziroom.com/x/808274679.html 正在爬取https://wh.ziroom.com/x/763385329.html 正在爬取https://wh.ziroom.com/x/784737163.html 正在爬取https://wh.ziroom.com/x/743134639.html 正在爬取https://wh.ziroom.com/x/807772401.html 正在爬取https://wh.ziroom.com/x/807795963.html 正在爬取https://wh.ziroom.com/x/788602031.html 正在爬取https://wh.ziroom.com/x/808014755.html 正在爬取https://wh.ziroom.com/x/768695788.html 正在爬取https://wh.ziroom.com/x/807736967.html 正在爬取https://wh.ziroom.com/x/756115664.html 正在爬取自如第5页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/779156559.html 正在爬取https://wh.ziroom.com/x/794424941.html 正在爬取https://wh.ziroom.com/x/808266734.html 正在爬取https://wh.ziroom.com/x/770858403.html 正在爬取https://wh.ziroom.com/x/790613811.html 正在爬取https://wh.ziroom.com/x/807089047.html 正在爬取https://wh.ziroom.com/x/759632593.html 正在爬取https://wh.ziroom.com/x/808110368.html 正在爬取https://wh.ziroom.com/x/765698391.html 正在爬取https://wh.ziroom.com/x/808244425.html 正在爬取https://wh.ziroom.com/x/770959768.html 正在爬取https://wh.ziroom.com/x/808283366.html 正在爬取https://wh.ziroom.com/x/808274847.html 正在爬取https://wh.ziroom.com/x/737121512.html 正在爬取https://wh.ziroom.com/x/743092929.html 正在爬取https://wh.ziroom.com/x/807002702.html 正在爬取https://wh.ziroom.com/x/807132433.html 正在爬取https://wh.ziroom.com/x/774570981.html 正在爬取https://wh.ziroom.com/x/748883247.html 正在爬取https://wh.ziroom.com/x/808137500.html 正在爬取https://wh.ziroom.com/x/748800700.html 正在爬取https://wh.ziroom.com/x/807207354.html 正在爬取https://wh.ziroom.com/x/738085401.html 正在爬取https://wh.ziroom.com/x/807871360.html 正在爬取https://wh.ziroom.com/x/808286747.html 正在爬取https://wh.ziroom.com/x/767365336.html 正在爬取https://wh.ziroom.com/x/807296583.html 正在爬取https://wh.ziroom.com/x/794814493.html 正在爬取https://wh.ziroom.com/x/796911730.html 正在爬取https://wh.ziroom.com/x/808186423.html 正在爬取自如第6页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/769586539.html 正在爬取https://wh.ziroom.com/x/768552131.html 正在爬取https://wh.ziroom.com/x/808165878.html 正在爬取https://wh.ziroom.com/x/807993195.html 正在爬取https://wh.ziroom.com/x/776218138.html 正在爬取https://wh.ziroom.com/x/808211966.html 正在爬取https://wh.ziroom.com/x/808271571.html 正在爬取https://wh.ziroom.com/x/808233820.html 正在爬取https://wh.ziroom.com/x/808283198.html 正在爬取https://wh.ziroom.com/x/752400273.html 正在爬取https://wh.ziroom.com/x/742658369.html 正在爬取https://wh.ziroom.com/x/783118039.html 正在爬取https://wh.ziroom.com/x/808225476.html 正在爬取https://wh.ziroom.com/x/745133615.html 正在爬取https://wh.ziroom.com/x/808087149.html 正在爬取https://wh.ziroom.com/x/745416855.html 正在爬取https://wh.ziroom.com/x/808277605.html 正在爬取https://wh.ziroom.com/x/794781707.html 正在爬取https://wh.ziroom.com/x/796472805.html 正在爬取https://wh.ziroom.com/x/760365331.html 正在爬取https://wh.ziroom.com/x/807882021.html 正在爬取https://wh.ziroom.com/x/791292326.html 正在爬取https://wh.ziroom.com/x/785702119.html 正在爬取https://wh.ziroom.com/x/793694919.html 正在爬取https://wh.ziroom.com/x/758118132.html 正在爬取https://wh.ziroom.com/x/757025524.html 正在爬取https://wh.ziroom.com/x/808244404.html 正在爬取https://wh.ziroom.com/x/743092153.html 正在爬取https://wh.ziroom.com/x/776444439.html 正在爬取https://wh.ziroom.com/x/755110065.html 正在爬取自如第7页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/758709832.html 正在爬取https://wh.ziroom.com/x/775835958.html 正在爬取https://wh.ziroom.com/x/808290086.html 正在爬取https://wh.ziroom.com/x/743862527.html 正在爬取https://wh.ziroom.com/x/775871460.html 正在爬取https://wh.ziroom.com/x/808177589.html 正在爬取https://wh.ziroom.com/x/792529561.html 正在爬取https://wh.ziroom.com/x/808051050.html 正在爬取https://wh.ziroom.com/x/772516424.html 正在爬取https://wh.ziroom.com/x/808238167.html 正在爬取https://wh.ziroom.com/x/808235829.html 正在爬取https://wh.ziroom.com/x/776097082.html 正在爬取https://wh.ziroom.com/x/807724598.html 正在爬取https://wh.ziroom.com/x/788111017.html 正在爬取https://wh.ziroom.com/x/807796495.html 正在爬取https://wh.ziroom.com/x/808243263.html 正在爬取https://wh.ziroom.com/x/744295050.html 正在爬取https://wh.ziroom.com/x/792782925.html 正在爬取https://wh.ziroom.com/x/764290921.html 正在爬取https://wh.ziroom.com/x/808290548.html 正在爬取https://wh.ziroom.com/x/762768603.html 正在爬取https://wh.ziroom.com/x/808258159.html 正在爬取https://wh.ziroom.com/x/808198792.html 正在爬取https://wh.ziroom.com/x/790958355.html 正在爬取https://wh.ziroom.com/x/791508054.html 正在爬取https://wh.ziroom.com/x/760741206.html 正在爬取https://wh.ziroom.com/x/807753466.html 正在爬取https://wh.ziroom.com/x/786566001.html 正在爬取https://wh.ziroom.com/x/807147098.html 正在爬取https://wh.ziroom.com/x/808080877.html 正在爬取自如第8页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/807986692.html 正在爬取https://wh.ziroom.com/x/755897608.html 正在爬取https://wh.ziroom.com/x/807774144.html 正在爬取https://wh.ziroom.com/x/808072722.html 正在爬取https://wh.ziroom.com/x/808267525.html 正在爬取https://wh.ziroom.com/x/807064365.html 正在爬取https://wh.ziroom.com/x/808277626.html 正在爬取https://wh.ziroom.com/x/808299998.html 正在爬取https://wh.ziroom.com/x/748139451.html 正在爬取https://wh.ziroom.com/x/738183177.html 正在爬取https://wh.ziroom.com/x/776313683.html 正在爬取https://wh.ziroom.com/x/796473290.html 正在爬取https://wh.ziroom.com/x/807803124.html 正在爬取https://wh.ziroom.com/x/807142072.html 正在爬取https://wh.ziroom.com/x/776172742.html 正在爬取https://wh.ziroom.com/x/741136730.html 正在爬取https://wh.ziroom.com/x/808133132.html 正在爬取https://wh.ziroom.com/x/741869953.html 正在爬取https://wh.ziroom.com/x/792810085.html 正在爬取https://wh.ziroom.com/x/742634022.html 正在爬取https://wh.ziroom.com/x/807796845.html 正在爬取https://wh.ziroom.com/x/808053416.html 正在爬取https://wh.ziroom.com/x/808033256.html 正在爬取https://wh.ziroom.com/x/807735154.html 正在爬取https://wh.ziroom.com/x/793333885.html 正在爬取https://wh.ziroom.com/x/794688975.html 正在爬取https://wh.ziroom.com/x/807039403.html 正在爬取https://wh.ziroom.com/x/807857843.html 正在爬取https://wh.ziroom.com/x/795640351.html 正在爬取https://wh.ziroom.com/x/771115647.html 正在爬取自如第9页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/807897547.html 正在爬取https://wh.ziroom.com/x/766895177.html 正在爬取https://wh.ziroom.com/x/783306898.html 正在爬取https://wh.ziroom.com/x/791763358.html 正在爬取https://wh.ziroom.com/x/775399652.html 正在爬取https://wh.ziroom.com/x/778289088.html 正在爬取https://wh.ziroom.com/x/808158395.html 正在爬取https://wh.ziroom.com/x/795587098.html 正在爬取https://wh.ziroom.com/x/751262754.html 正在爬取https://wh.ziroom.com/x/787683344.html 正在爬取https://wh.ziroom.com/x/807033173.html 正在爬取https://wh.ziroom.com/x/807816844.html 正在爬取https://wh.ziroom.com/x/743093705.html 正在爬取https://wh.ziroom.com/x/807139216.html 正在爬取https://wh.ziroom.com/x/749352339.html 正在爬取https://wh.ziroom.com/x/807381766.html 正在爬取https://wh.ziroom.com/x/807995554.html 正在爬取https://wh.ziroom.com/x/796699979.html 正在爬取https://wh.ziroom.com/x/782089742.html 正在爬取https://wh.ziroom.com/x/791787414.html 正在爬取https://wh.ziroom.com/x/808215529.html 正在爬取https://wh.ziroom.com/x/790162276.html 正在爬取https://wh.ziroom.com/x/796554576.html 出错啦,https://wh.ziroom.com/x/796554576.html进不去啦( •̥́ ˍ •̀ू ) 正在爬取https://wh.ziroom.com/x/781337992.html 正在爬取https://wh.ziroom.com/x/793770870.html 正在爬取https://wh.ziroom.com/x/808261813.html 正在爬取https://wh.ziroom.com/x/767999813.html 出错啦,https://wh.ziroom.com/x/767999813.html进不去啦( •̥́ ˍ •̀ू ) 正在爬取https://wh.ziroom.com/x/794004349.html 正在爬取https://wh.ziroom.com/x/791601174.html 正在爬取https://wh.ziroom.com/x/807330960.html 正在爬取自如第10页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/808273111.html 正在爬取https://wh.ziroom.com/x/746893680.html 正在爬取https://wh.ziroom.com/x/808274560.html 正在爬取https://wh.ziroom.com/x/767335654.html 正在爬取https://wh.ziroom.com/x/767584653.html 正在爬取https://wh.ziroom.com/x/762928653.html 正在爬取https://wh.ziroom.com/x/807147077.html 正在爬取https://wh.ziroom.com/x/748951147.html 正在爬取https://wh.ziroom.com/x/751268089.html 正在爬取https://wh.ziroom.com/x/808145921.html 正在爬取https://wh.ziroom.com/x/808286719.html 正在爬取https://wh.ziroom.com/x/745223243.html 正在爬取https://wh.ziroom.com/x/808202502.html 正在爬取https://wh.ziroom.com/x/807096600.html 正在爬取https://wh.ziroom.com/x/787632322.html 正在爬取https://wh.ziroom.com/x/739669993.html 正在爬取https://wh.ziroom.com/x/808261820.html 正在爬取https://wh.ziroom.com/x/789500445.html 正在爬取https://wh.ziroom.com/x/808264361.html 正在爬取https://wh.ziroom.com/x/795012761.html 正在爬取https://wh.ziroom.com/x/780031790.html 正在爬取https://wh.ziroom.com/x/791182037.html 正在爬取https://wh.ziroom.com/x/807084420.html 正在爬取https://wh.ziroom.com/x/791960947.html 正在爬取https://wh.ziroom.com/x/763370197.html 正在爬取https://wh.ziroom.com/x/734991780.html 正在爬取https://wh.ziroom.com/x/754690152.html 正在爬取https://wh.ziroom.com/x/745757907.html 正在爬取https://wh.ziroom.com/x/792797087.html 正在爬取https://wh.ziroom.com/x/808227814.html 正在爬取自如第11页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/745015566.html 正在爬取https://wh.ziroom.com/x/788250115.html 正在爬取https://wh.ziroom.com/x/776565786.html 正在爬取https://wh.ziroom.com/x/750186345.html 正在爬取https://wh.ziroom.com/x/768274808.html 正在爬取https://wh.ziroom.com/x/808109108.html 正在爬取https://wh.ziroom.com/x/781948607.html 正在爬取https://wh.ziroom.com/x/752247983.html 正在爬取https://wh.ziroom.com/x/779802385.html 正在爬取https://wh.ziroom.com/x/807798889.html 正在爬取https://wh.ziroom.com/x/808292963.html 正在爬取https://wh.ziroom.com/x/808311723.html 正在爬取https://wh.ziroom.com/x/807773178.html 正在爬取https://wh.ziroom.com/x/760859934.html 正在爬取https://wh.ziroom.com/x/807326319.html 正在爬取https://wh.ziroom.com/x/807054950.html 正在爬取https://wh.ziroom.com/x/774584464.html 正在爬取https://wh.ziroom.com/x/792330808.html 正在爬取https://wh.ziroom.com/x/807862477.html 正在爬取https://wh.ziroom.com/x/736711881.html 正在爬取https://wh.ziroom.com/x/808201725.html 出错啦,https://wh.ziroom.com/x/808201725.html进不去啦( •̥́ ˍ •̀ू ) 正在爬取https://wh.ziroom.com/x/786251430.html 正在爬取https://wh.ziroom.com/x/807096579.html 正在爬取https://wh.ziroom.com/x/808197574.html 正在爬取https://wh.ziroom.com/x/752367875.html 正在爬取https://wh.ziroom.com/x/776796646.html 正在爬取https://wh.ziroom.com/x/807375228.html 正在爬取https://wh.ziroom.com/x/807957936.html 正在爬取https://wh.ziroom.com/x/782995819.html 正在爬取https://wh.ziroom.com/x/808188152.html 正在爬取自如第12页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/807921578.html 正在爬取https://wh.ziroom.com/x/777142257.html 正在爬取https://wh.ziroom.com/x/807995547.html 正在爬取https://wh.ziroom.com/x/791350429.html 正在爬取https://wh.ziroom.com/x/808209831.html 正在爬取https://wh.ziroom.com/x/807128086.html 正在爬取https://wh.ziroom.com/x/807789278.html 正在爬取https://wh.ziroom.com/x/761224751.html 正在爬取https://wh.ziroom.com/x/807795221.html 出错啦,https://wh.ziroom.com/x/807795221.html进不去啦( •̥́ ˍ •̀ू ) 正在爬取https://wh.ziroom.com/x/765897338.html 正在爬取https://wh.ziroom.com/x/808225455.html 正在爬取https://wh.ziroom.com/x/748138869.html 正在爬取https://wh.ziroom.com/x/808282239.html 正在爬取https://wh.ziroom.com/x/780073306.html 正在爬取https://wh.ziroom.com/x/755886065.html 正在爬取https://wh.ziroom.com/x/762817976.html 正在爬取https://wh.ziroom.com/x/807165830.html 正在爬取https://wh.ziroom.com/x/807115367.html 正在爬取https://wh.ziroom.com/x/808175531.html 正在爬取https://wh.ziroom.com/x/808227359.html 正在爬取https://wh.ziroom.com/x/793640793.html 正在爬取https://wh.ziroom.com/x/790676764.html 正在爬取https://wh.ziroom.com/x/738676810.html 正在爬取https://wh.ziroom.com/x/807313677.html 正在爬取https://wh.ziroom.com/x/745699416.html 正在爬取https://wh.ziroom.com/x/808128351.html 正在爬取https://wh.ziroom.com/x/746433027.html 正在爬取https://wh.ziroom.com/x/808149071.html 正在爬取https://wh.ziroom.com/x/781396871.html 正在爬取https://wh.ziroom.com/x/808283184.html 正在爬取自如第13页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/808179458.html 正在爬取https://wh.ziroom.com/x/794939720.html 正在爬取https://wh.ziroom.com/x/750174705.html 正在爬取https://wh.ziroom.com/x/775794442.html 正在爬取https://wh.ziroom.com/x/761927710.html 正在爬取https://wh.ziroom.com/x/789087419.html 正在爬取https://wh.ziroom.com/x/783534751.html 正在爬取https://wh.ziroom.com/x/807742434.html 正在爬取https://wh.ziroom.com/x/807745213.html 正在爬取https://wh.ziroom.com/x/766536180.html 正在爬取https://wh.ziroom.com/x/808255072.html 正在爬取https://wh.ziroom.com/x/775381804.html 正在爬取https://wh.ziroom.com/x/738211792.html 正在爬取https://wh.ziroom.com/x/808201459.html 正在爬取https://wh.ziroom.com/x/808297954.html 正在爬取https://wh.ziroom.com/x/767962953.html 正在爬取https://wh.ziroom.com/x/808276373.html 正在爬取https://wh.ziroom.com/x/808006978.html 正在爬取https://wh.ziroom.com/x/743208747.html 正在爬取https://wh.ziroom.com/x/763381255.html 正在爬取https://wh.ziroom.com/x/796453211.html 正在爬取https://wh.ziroom.com/x/786678036.html 正在爬取https://wh.ziroom.com/x/736696749.html 正在爬取https://wh.ziroom.com/x/808183028.html 正在爬取https://wh.ziroom.com/x/794044216.html 正在爬取https://wh.ziroom.com/x/807536669.html 正在爬取https://wh.ziroom.com/x/778789899.html 正在爬取https://wh.ziroom.com/x/792710272.html 正在爬取https://wh.ziroom.com/x/807739235.html 正在爬取https://wh.ziroom.com/x/792553326.html 正在爬取自如第14页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/807758555.html 正在爬取https://wh.ziroom.com/x/773451407.html 正在爬取https://wh.ziroom.com/x/807882756.html 正在爬取https://wh.ziroom.com/x/736666970.html 正在爬取https://wh.ziroom.com/x/808240281.html 正在爬取https://wh.ziroom.com/x/808275568.html 正在爬取https://wh.ziroom.com/x/750951675.html 正在爬取https://wh.ziroom.com/x/781491834.html 正在爬取https://wh.ziroom.com/x/807033152.html 正在爬取https://wh.ziroom.com/x/807839111.html 正在爬取https://wh.ziroom.com/x/763372234.html 正在爬取https://wh.ziroom.com/x/808261638.html 正在爬取https://wh.ziroom.com/x/745693499.html 正在爬取https://wh.ziroom.com/x/753281518.html 正在爬取https://wh.ziroom.com/x/740770264.html 正在爬取https://wh.ziroom.com/x/807733075.html 正在爬取https://wh.ziroom.com/x/752249244.html 正在爬取https://wh.ziroom.com/x/807758331.html 正在爬取https://wh.ziroom.com/x/767972362.html 正在爬取https://wh.ziroom.com/x/774891566.html 正在爬取https://wh.ziroom.com/x/808251733.html 正在爬取https://wh.ziroom.com/x/742537216.html 正在爬取https://wh.ziroom.com/x/807919345.html 正在爬取https://wh.ziroom.com/x/793157830.html 正在爬取https://wh.ziroom.com/x/807782334.html 正在爬取https://wh.ziroom.com/x/793685219.html 正在爬取https://wh.ziroom.com/x/807787059.html 正在爬取https://wh.ziroom.com/x/808244096.html 正在爬取https://wh.ziroom.com/x/786180232.html 正在爬取https://wh.ziroom.com/x/808274539.html 正在爬取自如第15页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/808088199.html 正在爬取https://wh.ziroom.com/x/789886117.html 正在爬取https://wh.ziroom.com/x/791621738.html 正在爬取https://wh.ziroom.com/x/808262086.html 正在爬取https://wh.ziroom.com/x/807331359.html 正在爬取https://wh.ziroom.com/x/807931266.html 正在爬取https://wh.ziroom.com/x/752939787.html 正在爬取https://wh.ziroom.com/x/739282284.html 正在爬取https://wh.ziroom.com/x/746575326.html 正在爬取https://wh.ziroom.com/x/791623969.html 正在爬取https://wh.ziroom.com/x/743378109.html 正在爬取https://wh.ziroom.com/x/788454591.html 正在爬取https://wh.ziroom.com/x/745335084.html 正在爬取https://wh.ziroom.com/x/808273440.html 正在爬取https://wh.ziroom.com/x/807168462.html 正在爬取https://wh.ziroom.com/x/747087971.html 正在爬取https://wh.ziroom.com/x/747596154.html 正在爬取https://wh.ziroom.com/x/741274761.html 正在爬取https://wh.ziroom.com/x/769987634.html 正在爬取https://wh.ziroom.com/x/737914002.html 正在爬取https://wh.ziroom.com/x/768427486.html 正在爬取https://wh.ziroom.com/x/767111293.html 正在爬取https://wh.ziroom.com/x/746826459.html 正在爬取https://wh.ziroom.com/x/751830980.html 正在爬取https://wh.ziroom.com/x/750184211.html 正在爬取https://wh.ziroom.com/x/773767821.html 正在爬取https://wh.ziroom.com/x/796623349.html 正在爬取https://wh.ziroom.com/x/807930846.html 正在爬取https://wh.ziroom.com/x/752818731.html 正在爬取https://wh.ziroom.com/x/808082382.html 正在爬取自如第16页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/794530574.html 正在爬取https://wh.ziroom.com/x/807129738.html 正在爬取https://wh.ziroom.com/x/780844456.html 正在爬取https://wh.ziroom.com/x/807071498.html 正在爬取https://wh.ziroom.com/x/760775738.html 正在爬取https://wh.ziroom.com/x/784372346.html 正在爬取https://wh.ziroom.com/x/759205308.html 正在爬取https://wh.ziroom.com/x/768644475.html 正在爬取https://wh.ziroom.com/x/808260203.html 正在爬取https://wh.ziroom.com/x/770521425.html 正在爬取https://wh.ziroom.com/x/808264340.html 正在爬取https://wh.ziroom.com/x/808264662.html 正在爬取https://wh.ziroom.com/x/789142321.html 正在爬取https://wh.ziroom.com/x/785809886.html 正在爬取https://wh.ziroom.com/x/772022209.html 正在爬取https://wh.ziroom.com/x/778849942.html 正在爬取https://wh.ziroom.com/x/787238114.html 正在爬取https://wh.ziroom.com/x/780031402.html 正在爬取https://wh.ziroom.com/x/793878152.html 正在爬取https://wh.ziroom.com/x/808274658.html 正在爬取https://wh.ziroom.com/x/808242262.html 正在爬取https://wh.ziroom.com/x/808158605.html 正在爬取https://wh.ziroom.com/x/762487885.html 正在爬取https://wh.ziroom.com/x/774138652.html 正在爬取https://wh.ziroom.com/x/777558290.html 正在爬取https://wh.ziroom.com/x/807079317.html 正在爬取https://wh.ziroom.com/x/741330827.html 正在爬取https://wh.ziroom.com/x/807089999.html 正在爬取https://wh.ziroom.com/x/808287132.html 正在爬取https://wh.ziroom.com/x/746912304.html 正在爬取自如第17页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/755531045.html 正在爬取https://wh.ziroom.com/x/779658534.html 正在爬取https://wh.ziroom.com/x/771766129.html 正在爬取https://wh.ziroom.com/x/762734459.html 正在爬取https://wh.ziroom.com/x/759055540.html 正在爬取https://wh.ziroom.com/x/808071973.html 正在爬取https://wh.ziroom.com/x/807954688.html 正在爬取https://wh.ziroom.com/x/749809500.html 正在爬取https://wh.ziroom.com/x/783886861.html 正在爬取https://wh.ziroom.com/x/808311744.html 正在爬取https://wh.ziroom.com/x/808255149.html 正在爬取https://wh.ziroom.com/x/808194844.html 正在爬取https://wh.ziroom.com/x/786038127.html 正在爬取https://wh.ziroom.com/x/790376161.html 正在爬取https://wh.ziroom.com/x/808268890.html 正在爬取https://wh.ziroom.com/x/807060725.html 正在爬取https://wh.ziroom.com/x/795841529.html 正在爬取https://wh.ziroom.com/x/796462717.html 正在爬取https://wh.ziroom.com/x/783481498.html 正在爬取https://wh.ziroom.com/x/778820745.html 正在爬取https://wh.ziroom.com/x/780860849.html 正在爬取https://wh.ziroom.com/x/787301649.html 正在爬取https://wh.ziroom.com/x/778032523.html 正在爬取https://wh.ziroom.com/x/745692820.html 正在爬取https://wh.ziroom.com/x/743609939.html 正在爬取https://wh.ziroom.com/x/742759928.html 正在爬取https://wh.ziroom.com/x/807064239.html 正在爬取https://wh.ziroom.com/x/795818540.html 正在爬取https://wh.ziroom.com/x/786180426.html 正在爬取https://wh.ziroom.com/x/792551483.html 正在爬取自如第18页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/752931251.html 正在爬取https://wh.ziroom.com/x/756883904.html 正在爬取https://wh.ziroom.com/x/807072646.html 正在爬取https://wh.ziroom.com/x/747715755.html 正在爬取https://wh.ziroom.com/x/737929522.html 正在爬取https://wh.ziroom.com/x/740033258.html 正在爬取https://wh.ziroom.com/x/807147847.html 正在爬取https://wh.ziroom.com/x/808218210.html 正在爬取https://wh.ziroom.com/x/808244103.html 正在爬取https://wh.ziroom.com/x/782080430.html 正在爬取https://wh.ziroom.com/x/807728770.html 正在爬取https://wh.ziroom.com/x/807917364.html 正在爬取https://wh.ziroom.com/x/807784812.html 正在爬取https://wh.ziroom.com/x/807661486.html 正在爬取https://wh.ziroom.com/x/785923861.html 正在爬取https://wh.ziroom.com/x/743836046.html 正在爬取https://wh.ziroom.com/x/808288847.html 正在爬取https://wh.ziroom.com/x/791842704.html 正在爬取https://wh.ziroom.com/x/808094009.html 正在爬取https://wh.ziroom.com/x/807023226.html 正在爬取https://wh.ziroom.com/x/807988638.html 正在爬取https://wh.ziroom.com/x/766369534.html 正在爬取https://wh.ziroom.com/x/756608327.html 正在爬取https://wh.ziroom.com/x/808268918.html 正在爬取https://wh.ziroom.com/x/808271725.html 正在爬取https://wh.ziroom.com/x/808228031.html 正在爬取https://wh.ziroom.com/x/747929446.html 正在爬取https://wh.ziroom.com/x/781035352.html 正在爬取https://wh.ziroom.com/x/807334530.html 正在爬取https://wh.ziroom.com/x/789874768.html 正在爬取自如第19页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/808224272.html 正在爬取https://wh.ziroom.com/x/808162805.html 正在爬取https://wh.ziroom.com/x/807042224.html 正在爬取https://wh.ziroom.com/x/779438247.html 正在爬取https://wh.ziroom.com/x/807938525.html 正在爬取https://wh.ziroom.com/x/783365389.html 正在爬取https://wh.ziroom.com/x/751781413.html 正在爬取https://wh.ziroom.com/x/754643592.html 正在爬取https://wh.ziroom.com/x/808255142.html 正在爬取https://wh.ziroom.com/x/754100780.html 正在爬取https://wh.ziroom.com/x/808119384.html 正在爬取https://wh.ziroom.com/x/807845642.html 正在爬取https://wh.ziroom.com/x/808201221.html 正在爬取https://wh.ziroom.com/x/808260903.html 正在爬取https://wh.ziroom.com/x/808158549.html 正在爬取https://wh.ziroom.com/x/789661077.html 正在爬取https://wh.ziroom.com/x/808248604.html 正在爬取https://wh.ziroom.com/x/792955876.html 正在爬取https://wh.ziroom.com/x/783217852.html 正在爬取https://wh.ziroom.com/x/807659561.html 正在爬取https://wh.ziroom.com/x/751985792.html 正在爬取https://wh.ziroom.com/x/795674786.html 正在爬取https://wh.ziroom.com/x/808141693.html 正在爬取https://wh.ziroom.com/x/793105644.html 正在爬取https://wh.ziroom.com/x/808158577.html 正在爬取https://wh.ziroom.com/x/808194613.html 正在爬取https://wh.ziroom.com/x/786426127.html 正在爬取https://wh.ziroom.com/x/794294476.html 正在爬取https://wh.ziroom.com/x/774859265.html 正在爬取https://wh.ziroom.com/x/808000699.html 正在爬取自如第20页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/776989288.html 正在爬取https://wh.ziroom.com/x/769562095.html 正在爬取https://wh.ziroom.com/x/744004826.html 正在爬取https://wh.ziroom.com/x/807100856.html 正在爬取https://wh.ziroom.com/x/808224076.html 正在爬取https://wh.ziroom.com/x/739795414.html 正在爬取https://wh.ziroom.com/x/808196342.html 正在爬取https://wh.ziroom.com/x/796913282.html 正在爬取https://wh.ziroom.com/x/793685704.html 正在爬取https://wh.ziroom.com/x/793446502.html 正在爬取https://wh.ziroom.com/x/807773528.html 正在爬取https://wh.ziroom.com/x/808216453.html 正在爬取https://wh.ziroom.com/x/736116786.html 正在爬取https://wh.ziroom.com/x/763424420.html 正在爬取https://wh.ziroom.com/x/767983226.html 正在爬取https://wh.ziroom.com/x/808042762.html 正在爬取https://wh.ziroom.com/x/786659509.html 正在爬取https://wh.ziroom.com/x/808091965.html 正在爬取https://wh.ziroom.com/x/807064267.html 正在爬取https://wh.ziroom.com/x/746576587.html 正在爬取https://wh.ziroom.com/x/780989277.html 正在爬取https://wh.ziroom.com/x/807806834.html 正在爬取https://wh.ziroom.com/x/772984934.html 正在爬取https://wh.ziroom.com/x/787403790.html 正在爬取https://wh.ziroom.com/x/808224321.html 正在爬取https://wh.ziroom.com/x/742090531.html 正在爬取https://wh.ziroom.com/x/787303686.html 正在爬取https://wh.ziroom.com/x/744430268.html 正在爬取https://wh.ziroom.com/x/808261617.html 正在爬取https://wh.ziroom.com/x/738325088.html 正在爬取自如第21页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/808234625.html 正在爬取https://wh.ziroom.com/x/760667583.html 正在爬取https://wh.ziroom.com/x/763378539.html 正在爬取https://wh.ziroom.com/x/807721294.html 正在爬取https://wh.ziroom.com/x/784247119.html 正在爬取https://wh.ziroom.com/x/753524309.html 正在爬取https://wh.ziroom.com/x/807287588.html 正在爬取https://wh.ziroom.com/x/807096754.html 正在爬取https://wh.ziroom.com/x/746925302.html 正在爬取https://wh.ziroom.com/x/755779171.html 正在爬取https://wh.ziroom.com/x/779089241.html 正在爬取https://wh.ziroom.com/x/775283834.html 正在爬取https://wh.ziroom.com/x/751276043.html 正在爬取https://wh.ziroom.com/x/770637049.html 正在爬取https://wh.ziroom.com/x/807736309.html 正在爬取https://wh.ziroom.com/x/779215438.html 正在爬取https://wh.ziroom.com/x/766311431.html 正在爬取https://wh.ziroom.com/x/748224326.html 正在爬取https://wh.ziroom.com/x/761071200.html 正在爬取https://wh.ziroom.com/x/751757066.html 正在爬取https://wh.ziroom.com/x/756601246.html 正在爬取https://wh.ziroom.com/x/782224475.html 正在爬取https://wh.ziroom.com/x/808244117.html 正在爬取https://wh.ziroom.com/x/808134749.html 正在爬取https://wh.ziroom.com/x/808260182.html 正在爬取https://wh.ziroom.com/x/808294111.html 正在爬取https://wh.ziroom.com/x/762052452.html 正在爬取https://wh.ziroom.com/x/807112539.html 正在爬取https://wh.ziroom.com/x/807186438.html 正在爬取https://wh.ziroom.com/x/767334005.html 正在爬取自如第22页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/783605561.html 正在爬取https://wh.ziroom.com/x/808137507.html 正在爬取https://wh.ziroom.com/x/775603158.html 正在爬取https://wh.ziroom.com/x/807864633.html 正在爬取https://wh.ziroom.com/x/808029000.html 正在爬取https://wh.ziroom.com/x/782132713.html 正在爬取https://wh.ziroom.com/x/808224678.html 正在爬取https://wh.ziroom.com/x/782180534.html 正在爬取https://wh.ziroom.com/x/807900648.html 正在爬取https://wh.ziroom.com/x/794551623.html 正在爬取https://wh.ziroom.com/x/808139593.html 正在爬取https://wh.ziroom.com/x/775431662.html 正在爬取https://wh.ziroom.com/x/776290306.html 正在爬取https://wh.ziroom.com/x/775379476.html 正在爬取https://wh.ziroom.com/x/744291655.html 正在爬取https://wh.ziroom.com/x/808272642.html 正在爬取https://wh.ziroom.com/x/780509515.html 正在爬取https://wh.ziroom.com/x/757165592.html 正在爬取https://wh.ziroom.com/x/808201431.html 正在爬取https://wh.ziroom.com/x/785623549.html 正在爬取https://wh.ziroom.com/x/769988216.html 正在爬取https://wh.ziroom.com/x/757333014.html 正在爬取https://wh.ziroom.com/x/752284746.html 正在爬取https://wh.ziroom.com/x/780725534.html 正在爬取https://wh.ziroom.com/x/808233778.html 正在爬取https://wh.ziroom.com/x/792496193.html 正在爬取https://wh.ziroom.com/x/808061074.html 正在爬取https://wh.ziroom.com/x/777899827.html 正在爬取https://wh.ziroom.com/x/808235633.html 正在爬取https://wh.ziroom.com/x/766454021.html 正在爬取自如第23页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/808046374.html 正在爬取https://wh.ziroom.com/x/756350598.html 正在爬取https://wh.ziroom.com/x/746459799.html 正在爬取https://wh.ziroom.com/x/786276165.html 正在爬取https://wh.ziroom.com/x/782308865.html 正在爬取https://wh.ziroom.com/x/785606865.html 正在爬取https://wh.ziroom.com/x/767947918.html 正在爬取https://wh.ziroom.com/x/807886697.html 正在爬取https://wh.ziroom.com/x/746916766.html 正在爬取https://wh.ziroom.com/x/789501027.html 正在爬取https://wh.ziroom.com/x/756851700.html 正在爬取https://wh.ziroom.com/x/769739120.html 正在爬取https://wh.ziroom.com/x/807363195.html 正在爬取https://wh.ziroom.com/x/808098125.html 正在爬取https://wh.ziroom.com/x/754113487.html 正在爬取https://wh.ziroom.com/x/808045954.html 正在爬取https://wh.ziroom.com/x/766638321.html 正在爬取https://wh.ziroom.com/x/807961961.html 正在爬取https://wh.ziroom.com/x/785671661.html 正在爬取https://wh.ziroom.com/x/808251544.html 正在爬取https://wh.ziroom.com/x/807845334.html 正在爬取https://wh.ziroom.com/x/796786018.html 正在爬取https://wh.ziroom.com/x/807753662.html 正在爬取https://wh.ziroom.com/x/768248133.html 正在爬取https://wh.ziroom.com/x/807032543.html 正在爬取https://wh.ziroom.com/x/795291248.html 正在爬取https://wh.ziroom.com/x/794310869.html 正在爬取https://wh.ziroom.com/x/807071533.html 正在爬取https://wh.ziroom.com/x/763772844.html 正在爬取https://wh.ziroom.com/x/808283345.html 正在爬取自如第24页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/808255079.html 正在爬取https://wh.ziroom.com/x/808053773.html 正在爬取https://wh.ziroom.com/x/751412716.html 正在爬取https://wh.ziroom.com/x/807926604.html 正在爬取https://wh.ziroom.com/x/808239119.html 正在爬取https://wh.ziroom.com/x/771184420.html 正在爬取https://wh.ziroom.com/x/744033926.html 正在爬取https://wh.ziroom.com/x/762349078.html 正在爬取https://wh.ziroom.com/x/780220164.html 正在爬取https://wh.ziroom.com/x/807234836.html 正在爬取https://wh.ziroom.com/x/808283443.html 正在爬取https://wh.ziroom.com/x/758502252.html 正在爬取https://wh.ziroom.com/x/808273524.html 正在爬取https://wh.ziroom.com/x/808244411.html 正在爬取https://wh.ziroom.com/x/807369110.html 正在爬取https://wh.ziroom.com/x/756436734.html 正在爬取https://wh.ziroom.com/x/785903976.html 正在爬取https://wh.ziroom.com/x/808287811.html 正在爬取https://wh.ziroom.com/x/807391237.html 正在爬取https://wh.ziroom.com/x/808024030.html 正在爬取https://wh.ziroom.com/x/808246371.html 正在爬取https://wh.ziroom.com/x/745408416.html 正在爬取https://wh.ziroom.com/x/808019914.html 正在爬取https://wh.ziroom.com/x/774630636.html 正在爬取https://wh.ziroom.com/x/807986230.html 正在爬取https://wh.ziroom.com/x/766623286.html 正在爬取https://wh.ziroom.com/x/807748125.html 正在爬取https://wh.ziroom.com/x/766086100.html 正在爬取https://wh.ziroom.com/x/774485815.html 正在爬取https://wh.ziroom.com/x/784815345.html 正在爬取自如第25页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/807268828.html 正在爬取https://wh.ziroom.com/x/740912757.html 正在爬取https://wh.ziroom.com/x/808266741.html 正在爬取https://wh.ziroom.com/x/793480161.html 正在爬取https://wh.ziroom.com/x/755223749.html 正在爬取https://wh.ziroom.com/x/808071749.html 正在爬取https://wh.ziroom.com/x/808183910.html 正在爬取https://wh.ziroom.com/x/743979315.html 正在爬取https://wh.ziroom.com/x/807003500.html 正在爬取https://wh.ziroom.com/x/808041068.html 正在爬取https://wh.ziroom.com/x/775146288.html 正在爬取https://wh.ziroom.com/x/766057776.html 正在爬取https://wh.ziroom.com/x/768426516.html 正在爬取https://wh.ziroom.com/x/807364651.html 正在爬取https://wh.ziroom.com/x/795539277.html 正在爬取https://wh.ziroom.com/x/769201061.html 正在爬取https://wh.ziroom.com/x/778866529.html 正在爬取https://wh.ziroom.com/x/794550847.html 正在爬取https://wh.ziroom.com/x/764903476.html 正在爬取https://wh.ziroom.com/x/793031536.html 正在爬取https://wh.ziroom.com/x/807801773.html 正在爬取https://wh.ziroom.com/x/807308385.html 正在爬取https://wh.ziroom.com/x/745922904.html 正在爬取https://wh.ziroom.com/x/795177564.html 正在爬取https://wh.ziroom.com/x/807413280.html 正在爬取https://wh.ziroom.com/x/808189902.html 正在爬取https://wh.ziroom.com/x/766141972.html 正在爬取https://wh.ziroom.com/x/771991848.html 正在爬取https://wh.ziroom.com/x/774563124.html 正在爬取https://wh.ziroom.com/x/749479118.html 正在爬取自如第26页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/807276948.html 正在爬取https://wh.ziroom.com/x/807019460.html 正在爬取https://wh.ziroom.com/x/780275260.html 正在爬取https://wh.ziroom.com/x/808075249.html 正在爬取https://wh.ziroom.com/x/787468004.html 正在爬取https://wh.ziroom.com/x/808217216.html 正在爬取https://wh.ziroom.com/x/773216667.html 正在爬取https://wh.ziroom.com/x/793685413.html 正在爬取https://wh.ziroom.com/x/808092329.html 正在爬取https://wh.ziroom.com/x/753019036.html 正在爬取https://wh.ziroom.com/x/790382175.html 正在爬取https://wh.ziroom.com/x/753017775.html 正在爬取https://wh.ziroom.com/x/753156970.html 正在爬取https://wh.ziroom.com/x/808122373.html 正在爬取https://wh.ziroom.com/x/808201606.html 正在爬取https://wh.ziroom.com/x/780801485.html 正在爬取https://wh.ziroom.com/x/787407476.html 正在爬取https://wh.ziroom.com/x/807184191.html 正在爬取https://wh.ziroom.com/x/742636738.html 正在爬取https://wh.ziroom.com/x/752251960.html 正在爬取https://wh.ziroom.com/x/808134196.html 正在爬取https://wh.ziroom.com/x/748806520.html 正在爬取https://wh.ziroom.com/x/780010935.html 正在爬取https://wh.ziroom.com/x/758308252.html 正在爬取https://wh.ziroom.com/x/808224293.html 正在爬取https://wh.ziroom.com/x/749351854.html 正在爬取https://wh.ziroom.com/x/808122436.html 正在爬取https://wh.ziroom.com/x/807979083.html 正在爬取https://wh.ziroom.com/x/791350526.html 正在爬取https://wh.ziroom.com/x/780581489.html 正在爬取自如第27页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/761904139.html 正在爬取https://wh.ziroom.com/x/807785554.html 正在爬取https://wh.ziroom.com/x/808086162.html 正在爬取https://wh.ziroom.com/x/768561443.html 正在爬取https://wh.ziroom.com/x/807899591.html 正在爬取https://wh.ziroom.com/x/807951867.html 正在爬取https://wh.ziroom.com/x/786689870.html 正在爬取https://wh.ziroom.com/x/808271683.html 正在爬取https://wh.ziroom.com/x/808131648.html 正在爬取https://wh.ziroom.com/x/808243809.html 正在爬取https://wh.ziroom.com/x/807811881.html 正在爬取https://wh.ziroom.com/x/777887896.html 正在爬取https://wh.ziroom.com/x/793008838.html 正在爬取https://wh.ziroom.com/x/808283450.html 正在爬取https://wh.ziroom.com/x/751476639.html 正在爬取https://wh.ziroom.com/x/808165045.html 正在爬取https://wh.ziroom.com/x/808233288.html 正在爬取https://wh.ziroom.com/x/789702399.html 正在爬取https://wh.ziroom.com/x/746603456.html 正在爬取https://wh.ziroom.com/x/807069664.html 正在爬取https://wh.ziroom.com/x/751228222.html 正在爬取https://wh.ziroom.com/x/764114187.html 正在爬取https://wh.ziroom.com/x/808228052.html 正在爬取https://wh.ziroom.com/x/808087667.html 正在爬取https://wh.ziroom.com/x/768489178.html 正在爬取https://wh.ziroom.com/x/766012477.html 正在爬取https://wh.ziroom.com/x/808305444.html 正在爬取https://wh.ziroom.com/x/788008294.html 正在爬取https://wh.ziroom.com/x/775592391.html 正在爬取https://wh.ziroom.com/x/808297961.html 正在爬取自如第28页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/763675456.html 正在爬取https://wh.ziroom.com/x/807982709.html 正在爬取https://wh.ziroom.com/x/808145697.html 正在爬取https://wh.ziroom.com/x/808171534.html 正在爬取https://wh.ziroom.com/x/778231858.html 正在爬取https://wh.ziroom.com/x/770003154.html 正在爬取https://wh.ziroom.com/x/790499933.html 正在爬取https://wh.ziroom.com/x/808238580.html 正在爬取https://wh.ziroom.com/x/807879284.html 正在爬取https://wh.ziroom.com/x/771896594.html 正在爬取https://wh.ziroom.com/x/807749826.html 正在爬取https://wh.ziroom.com/x/808091902.html 正在爬取https://wh.ziroom.com/x/756046891.html 正在爬取https://wh.ziroom.com/x/807765821.html 正在爬取https://wh.ziroom.com/x/808209509.html 正在爬取https://wh.ziroom.com/x/790627100.html 正在爬取https://wh.ziroom.com/x/770607852.html 正在爬取https://wh.ziroom.com/x/807072688.html 正在爬取https://wh.ziroom.com/x/793602381.html 正在爬取https://wh.ziroom.com/x/763116833.html 正在爬取https://wh.ziroom.com/x/769462476.html 正在爬取https://wh.ziroom.com/x/769345494.html 正在爬取https://wh.ziroom.com/x/807547848.html 正在爬取https://wh.ziroom.com/x/756341383.html 正在爬取https://wh.ziroom.com/x/735226520.html 正在爬取https://wh.ziroom.com/x/796550696.html 正在爬取https://wh.ziroom.com/x/808153264.html 正在爬取https://wh.ziroom.com/x/746178887.html 正在爬取https://wh.ziroom.com/x/807352562.html 正在爬取https://wh.ziroom.com/x/807111559.html 正在爬取自如第29页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/769472758.html 正在爬取https://wh.ziroom.com/x/807695933.html 正在爬取https://wh.ziroom.com/x/808197742.html 正在爬取https://wh.ziroom.com/x/807986671.html 正在爬取https://wh.ziroom.com/x/807167706.html 正在爬取https://wh.ziroom.com/x/807216979.html 正在爬取https://wh.ziroom.com/x/808015287.html 正在爬取https://wh.ziroom.com/x/748242271.html 正在爬取https://wh.ziroom.com/x/760856248.html 正在爬取https://wh.ziroom.com/x/786842257.html 正在爬取https://wh.ziroom.com/x/807143528.html 正在爬取https://wh.ziroom.com/x/808226190.html 正在爬取https://wh.ziroom.com/x/807988372.html 正在爬取https://wh.ziroom.com/x/807290318.html 正在爬取https://wh.ziroom.com/x/808210853.html 正在爬取https://wh.ziroom.com/x/767905820.html 正在爬取https://wh.ziroom.com/x/807961030.html 正在爬取https://wh.ziroom.com/x/807878864.html 正在爬取https://wh.ziroom.com/x/767704933.html 正在爬取https://wh.ziroom.com/x/808151822.html 正在爬取https://wh.ziroom.com/x/807219548.html 正在爬取https://wh.ziroom.com/x/807547869.html 正在爬取https://wh.ziroom.com/x/808120602.html 正在爬取https://wh.ziroom.com/x/779194389.html 正在爬取https://wh.ziroom.com/x/808164016.html 正在爬取https://wh.ziroom.com/x/788510851.html 正在爬取https://wh.ziroom.com/x/754646308.html 正在爬取https://wh.ziroom.com/x/772095929.html 正在爬取https://wh.ziroom.com/x/788747919.html 正在爬取https://wh.ziroom.com/x/796108376.html 正在爬取自如第30页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/789949458.html 正在爬取https://wh.ziroom.com/x/793655634.html 正在爬取https://wh.ziroom.com/x/765965917.html 正在爬取https://wh.ziroom.com/x/807226660.html 正在爬取https://wh.ziroom.com/x/791447332.html 正在爬取https://wh.ziroom.com/x/807791952.html 正在爬取https://wh.ziroom.com/x/807109508.html 正在爬取https://wh.ziroom.com/x/807323778.html 正在爬取https://wh.ziroom.com/x/750016401.html 正在爬取https://wh.ziroom.com/x/772396241.html 正在爬取https://wh.ziroom.com/x/762228022.html 正在爬取https://wh.ziroom.com/x/795336838.html 正在爬取https://wh.ziroom.com/x/808061214.html 正在爬取https://wh.ziroom.com/x/757443109.html 正在爬取https://wh.ziroom.com/x/788254092.html 正在爬取https://wh.ziroom.com/x/807078799.html 正在爬取https://wh.ziroom.com/x/752599802.html 正在爬取https://wh.ziroom.com/x/796053280.html 正在爬取https://wh.ziroom.com/x/776789371.html 正在爬取https://wh.ziroom.com/x/808157646.html 正在爬取https://wh.ziroom.com/x/781628022.html 正在爬取https://wh.ziroom.com/x/807184849.html 正在爬取https://wh.ziroom.com/x/788046803.html 正在爬取https://wh.ziroom.com/x/780251495.html 正在爬取https://wh.ziroom.com/x/792405886.html 正在爬取https://wh.ziroom.com/x/782182474.html 正在爬取https://wh.ziroom.com/x/808255275.html 正在爬取https://wh.ziroom.com/x/740936328.html 正在爬取https://wh.ziroom.com/x/808098909.html 正在爬取https://wh.ziroom.com/x/808292459.html 正在爬取自如第31页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/808152816.html 正在爬取https://wh.ziroom.com/x/807556395.html 正在爬取https://wh.ziroom.com/x/808147195.html 正在爬取https://wh.ziroom.com/x/807832713.html 正在爬取https://wh.ziroom.com/x/807751968.html 正在爬取https://wh.ziroom.com/x/774485330.html 正在爬取https://wh.ziroom.com/x/791321135.html 正在爬取https://wh.ziroom.com/x/807734048.html 正在爬取https://wh.ziroom.com/x/774627047.html 正在爬取https://wh.ziroom.com/x/756980031.html 正在爬取https://wh.ziroom.com/x/807787017.html 正在爬取https://wh.ziroom.com/x/808238118.html 出错啦,https://wh.ziroom.com/x/808238118.html进不去啦( •̥́ ˍ •̀ू ) 正在爬取https://wh.ziroom.com/x/777026536.html 正在爬取https://wh.ziroom.com/x/807744499.html 正在爬取https://wh.ziroom.com/x/777461484.html 正在爬取https://wh.ziroom.com/x/807068264.html 正在爬取https://wh.ziroom.com/x/808097355.html 正在爬取https://wh.ziroom.com/x/762113756.html 正在爬取https://wh.ziroom.com/x/808238587.html 正在爬取https://wh.ziroom.com/x/746430311.html 正在爬取https://wh.ziroom.com/x/759068829.html 正在爬取https://wh.ziroom.com/x/807502614.html 正在爬取https://wh.ziroom.com/x/807119791.html 正在爬取https://wh.ziroom.com/x/794708666.html 正在爬取https://wh.ziroom.com/x/756306463.html 正在爬取https://wh.ziroom.com/x/807726495.html 正在爬取https://wh.ziroom.com/x/767167553.html 正在爬取https://wh.ziroom.com/x/795313558.html 正在爬取https://wh.ziroom.com/x/807622279.html 正在爬取https://wh.ziroom.com/x/796434878.html 正在爬取自如第32页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/808202187.html 正在爬取https://wh.ziroom.com/x/767864886.html 正在爬取https://wh.ziroom.com/x/757042984.html 正在爬取https://wh.ziroom.com/x/793109330.html 正在爬取https://wh.ziroom.com/x/769933023.html 正在爬取https://wh.ziroom.com/x/768458041.html 正在爬取https://wh.ziroom.com/x/770154765.html 正在爬取https://wh.ziroom.com/x/807969332.html 正在爬取https://wh.ziroom.com/x/742306938.html 正在爬取https://wh.ziroom.com/x/738572535.html 正在爬取https://wh.ziroom.com/x/792475435.html 正在爬取https://wh.ziroom.com/x/750371227.html 正在爬取https://wh.ziroom.com/x/808076516.html 正在爬取https://wh.ziroom.com/x/757638467.html 正在爬取https://wh.ziroom.com/x/793710439.html 正在爬取https://wh.ziroom.com/x/765389931.html 正在爬取https://wh.ziroom.com/x/807130396.html 正在爬取https://wh.ziroom.com/x/777946969.html 正在爬取https://wh.ziroom.com/x/793587540.html 正在爬取https://wh.ziroom.com/x/770746756.html 正在爬取https://wh.ziroom.com/x/808208221.html 正在爬取https://wh.ziroom.com/x/808238601.html 正在爬取https://wh.ziroom.com/x/793842359.html 正在爬取https://wh.ziroom.com/x/808244369.html 正在爬取https://wh.ziroom.com/x/777281646.html 正在爬取https://wh.ziroom.com/x/807135625.html 正在爬取https://wh.ziroom.com/x/781692527.html 正在爬取https://wh.ziroom.com/x/807995421.html 正在爬取https://wh.ziroom.com/x/807225001.html 正在爬取https://wh.ziroom.com/x/764503157.html 正在爬取自如第33页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/777655484.html 正在爬取https://wh.ziroom.com/x/746780966.html 正在爬取https://wh.ziroom.com/x/807162344.html 正在爬取https://wh.ziroom.com/x/791871319.html 正在爬取https://wh.ziroom.com/x/795420646.html 正在爬取https://wh.ziroom.com/x/741953955.html 正在爬取https://wh.ziroom.com/x/808038751.html 正在爬取https://wh.ziroom.com/x/789124279.html 正在爬取https://wh.ziroom.com/x/763458273.html 正在爬取https://wh.ziroom.com/x/808194865.html 正在爬取https://wh.ziroom.com/x/768174122.html 正在爬取https://wh.ziroom.com/x/758703527.html 正在爬取https://wh.ziroom.com/x/807908516.html 正在爬取https://wh.ziroom.com/x/807157311.html 正在爬取https://wh.ziroom.com/x/774978381.html 正在爬取https://wh.ziroom.com/x/761117954.html 正在爬取https://wh.ziroom.com/x/808165185.html 正在爬取https://wh.ziroom.com/x/784252939.html 正在爬取https://wh.ziroom.com/x/739490446.html 正在爬取https://wh.ziroom.com/x/808213688.html 正在爬取https://wh.ziroom.com/x/779872225.html 正在爬取https://wh.ziroom.com/x/808232406.html 正在爬取https://wh.ziroom.com/x/807823795.html 正在爬取https://wh.ziroom.com/x/793091967.html 正在爬取https://wh.ziroom.com/x/807535507.html 正在爬取https://wh.ziroom.com/x/746316530.html 正在爬取https://wh.ziroom.com/x/744605450.html 正在爬取https://wh.ziroom.com/x/768704809.html 正在爬取https://wh.ziroom.com/x/743376848.html 正在爬取https://wh.ziroom.com/x/808146299.html 正在爬取自如第34页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/808232938.html 正在爬取https://wh.ziroom.com/x/763642961.html 正在爬取https://wh.ziroom.com/x/807135450.html 正在爬取https://wh.ziroom.com/x/787837380.html 正在爬取https://wh.ziroom.com/x/807268016.html 正在爬取https://wh.ziroom.com/x/807106582.html 正在爬取https://wh.ziroom.com/x/745535971.html 正在爬取https://wh.ziroom.com/x/807318129.html 正在爬取https://wh.ziroom.com/x/758847572.html 正在爬取https://wh.ziroom.com/x/767262419.html 正在爬取https://wh.ziroom.com/x/785835494.html 正在爬取https://wh.ziroom.com/x/740839425.html 正在爬取https://wh.ziroom.com/x/784233539.html 正在爬取https://wh.ziroom.com/x/745020416.html 正在爬取https://wh.ziroom.com/x/808275645.html 正在爬取https://wh.ziroom.com/x/751002309.html 正在爬取https://wh.ziroom.com/x/744540654.html 正在爬取https://wh.ziroom.com/x/744174964.html 正在爬取https://wh.ziroom.com/x/777118589.html 正在爬取https://wh.ziroom.com/x/771940438.html 正在爬取https://wh.ziroom.com/x/807879452.html 正在爬取https://wh.ziroom.com/x/784942997.html 正在爬取https://wh.ziroom.com/x/756513558.html 正在爬取https://wh.ziroom.com/x/748115880.html 正在爬取https://wh.ziroom.com/x/808222200.html 正在爬取https://wh.ziroom.com/x/779370929.html 正在爬取https://wh.ziroom.com/x/807311388.html 正在爬取https://wh.ziroom.com/x/762592839.html 正在爬取https://wh.ziroom.com/x/743431653.html 正在爬取https://wh.ziroom.com/x/793991933.html 正在爬取自如第35页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/793991933.html 正在爬取https://wh.ziroom.com/x/808162217.html 正在爬取https://wh.ziroom.com/x/786228635.html 正在爬取https://wh.ziroom.com/x/741969281.html 正在爬取https://wh.ziroom.com/x/780793822.html 正在爬取https://wh.ziroom.com/x/808240883.html 正在爬取https://wh.ziroom.com/x/807928452.html 正在爬取https://wh.ziroom.com/x/807056021.html 正在爬取https://wh.ziroom.com/x/768355900.html 正在爬取https://wh.ziroom.com/x/738049705.html 正在爬取https://wh.ziroom.com/x/782502574.html 正在爬取https://wh.ziroom.com/x/776374308.html 正在爬取https://wh.ziroom.com/x/796622961.html 正在爬取https://wh.ziroom.com/x/808165472.html 正在爬取https://wh.ziroom.com/x/761036280.html 正在爬取https://wh.ziroom.com/x/758014633.html 正在爬取https://wh.ziroom.com/x/808238573.html 正在爬取https://wh.ziroom.com/x/747434261.html 正在爬取https://wh.ziroom.com/x/808283261.html 正在爬取https://wh.ziroom.com/x/808026697.html 正在爬取https://wh.ziroom.com/x/808247449.html 正在爬取https://wh.ziroom.com/x/777910594.html 正在爬取https://wh.ziroom.com/x/770545481.html 正在爬取https://wh.ziroom.com/x/796051437.html 正在爬取https://wh.ziroom.com/x/786342610.html 正在爬取https://wh.ziroom.com/x/760846354.html 正在爬取https://wh.ziroom.com/x/770216457.html 正在爬取https://wh.ziroom.com/x/776247335.html 正在爬取https://wh.ziroom.com/x/781193074.html 正在爬取https://wh.ziroom.com/x/792688447.html 正在爬取自如第36页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/792688447.html 正在爬取https://wh.ziroom.com/x/772092728.html 正在爬取https://wh.ziroom.com/x/807085792.html 正在爬取https://wh.ziroom.com/x/808280349.html 正在爬取https://wh.ziroom.com/x/755054969.html 正在爬取https://wh.ziroom.com/x/771491231.html 正在爬取https://wh.ziroom.com/x/750232614.html 正在爬取https://wh.ziroom.com/x/750068587.html 正在爬取https://wh.ziroom.com/x/794623791.html 正在爬取https://wh.ziroom.com/x/808220968.html 正在爬取https://wh.ziroom.com/x/761267819.html 正在爬取https://wh.ziroom.com/x/808206919.html 正在爬取https://wh.ziroom.com/x/795176691.html 正在爬取https://wh.ziroom.com/x/755406691.html 正在爬取https://wh.ziroom.com/x/760651287.html 正在爬取https://wh.ziroom.com/x/759925145.html 正在爬取https://wh.ziroom.com/x/807931196.html 正在爬取https://wh.ziroom.com/x/746883204.html 正在爬取https://wh.ziroom.com/x/808273538.html 正在爬取https://wh.ziroom.com/x/760520434.html 正在爬取https://wh.ziroom.com/x/791508248.html 正在爬取https://wh.ziroom.com/x/794461898.html 正在爬取https://wh.ziroom.com/x/796555643.html 正在爬取https://wh.ziroom.com/x/807854805.html 正在爬取https://wh.ziroom.com/x/790561334.html 正在爬取https://wh.ziroom.com/x/777130423.html 正在爬取https://wh.ziroom.com/x/792349335.html 正在爬取https://wh.ziroom.com/x/774836567.html 正在爬取https://wh.ziroom.com/x/746919094.html 正在爬取https://wh.ziroom.com/x/748365461.html 正在爬取自如第37页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/771232047.html 正在爬取https://wh.ziroom.com/x/748165350.html 正在爬取https://wh.ziroom.com/x/808092112.html 正在爬取https://wh.ziroom.com/x/808261477.html 正在爬取https://wh.ziroom.com/x/795313267.html 正在爬取https://wh.ziroom.com/x/807748881.html 正在爬取https://wh.ziroom.com/x/775710343.html 正在爬取https://wh.ziroom.com/x/808273426.html 正在爬取https://wh.ziroom.com/x/746097504.html 正在爬取https://wh.ziroom.com/x/742809495.html 正在爬取https://wh.ziroom.com/x/770458084.html 正在爬取https://wh.ziroom.com/x/744126367.html 正在爬取https://wh.ziroom.com/x/760776320.html 正在爬取https://wh.ziroom.com/x/740329302.html 正在爬取https://wh.ziroom.com/x/741235185.html 正在爬取https://wh.ziroom.com/x/783994046.html 正在爬取https://wh.ziroom.com/x/744315517.html 正在爬取https://wh.ziroom.com/x/808045527.html 正在爬取https://wh.ziroom.com/x/786182463.html 正在爬取https://wh.ziroom.com/x/807063854.html 正在爬取https://wh.ziroom.com/x/756435570.html 正在爬取https://wh.ziroom.com/x/771657489.html 正在爬取https://wh.ziroom.com/x/808246350.html 正在爬取https://wh.ziroom.com/x/766729307.html 正在爬取https://wh.ziroom.com/x/808164723.html 正在爬取https://wh.ziroom.com/x/808142309.html 正在爬取https://wh.ziroom.com/x/808255415.html 正在爬取https://wh.ziroom.com/x/808244985.html 正在爬取https://wh.ziroom.com/x/789689498.html 正在爬取https://wh.ziroom.com/x/808266580.html 正在爬取自如第38页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/789689498.html 正在爬取https://wh.ziroom.com/x/807102060.html 正在爬取https://wh.ziroom.com/x/807142562.html 正在爬取https://wh.ziroom.com/x/774024580.html 正在爬取https://wh.ziroom.com/x/807198702.html 正在爬取https://wh.ziroom.com/x/749954224.html 正在爬取https://wh.ziroom.com/x/808283240.html 正在爬取https://wh.ziroom.com/x/808225119.html 正在爬取https://wh.ziroom.com/x/796690764.html 正在爬取https://wh.ziroom.com/x/752730849.html 正在爬取https://wh.ziroom.com/x/791191155.html 正在爬取https://wh.ziroom.com/x/787118125.html 正在爬取https://wh.ziroom.com/x/787984432.html 正在爬取https://wh.ziroom.com/x/808269212.html 正在爬取https://wh.ziroom.com/x/808276072.html 正在爬取https://wh.ziroom.com/x/808242304.html 正在爬取https://wh.ziroom.com/x/742503848.html 正在爬取https://wh.ziroom.com/x/807147091.html 正在爬取https://wh.ziroom.com/x/794287686.html 正在爬取https://wh.ziroom.com/x/756835792.html 正在爬取https://wh.ziroom.com/x/808226218.html 正在爬取https://wh.ziroom.com/x/808260882.html 正在爬取https://wh.ziroom.com/x/808032066.html 正在爬取https://wh.ziroom.com/x/793129894.html 正在爬取https://wh.ziroom.com/x/791222680.html 正在爬取https://wh.ziroom.com/x/747087486.html 正在爬取https://wh.ziroom.com/x/808223523.html 正在爬取https://wh.ziroom.com/x/808159382.html 正在爬取https://wh.ziroom.com/x/808244740.html 正在爬取https://wh.ziroom.com/x/736744861.html 正在爬取自如第39页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/790753006.html 正在爬取https://wh.ziroom.com/x/808192625.html 正在爬取https://wh.ziroom.com/x/796967893.html 正在爬取https://wh.ziroom.com/x/781733073.html 正在爬取https://wh.ziroom.com/x/808036084.html 正在爬取https://wh.ziroom.com/x/794800137.html 正在爬取https://wh.ziroom.com/x/761966316.html 正在爬取https://wh.ziroom.com/x/722843209.html 正在爬取https://wh.ziroom.com/x/808094520.html 正在爬取https://wh.ziroom.com/x/808207402.html 正在爬取https://wh.ziroom.com/x/808231209.html 正在爬取https://wh.ziroom.com/x/781770030.html 正在爬取https://wh.ziroom.com/x/774917756.html 正在爬取https://wh.ziroom.com/x/794300102.html 正在爬取https://wh.ziroom.com/x/796439825.html 正在爬取https://wh.ziroom.com/x/808271816.html 正在爬取https://wh.ziroom.com/x/808184260.html 正在爬取https://wh.ziroom.com/x/735816571.html 正在爬取https://wh.ziroom.com/x/793640211.html 正在爬取https://wh.ziroom.com/x/808193500.html 正在爬取https://wh.ziroom.com/x/808043007.html 正在爬取https://wh.ziroom.com/x/808167439.html 正在爬取https://wh.ziroom.com/x/763510653.html 正在爬取https://wh.ziroom.com/x/780390787.html 正在爬取https://wh.ziroom.com/x/808139901.html 正在爬取https://wh.ziroom.com/x/795636568.html 正在爬取https://wh.ziroom.com/x/758142382.html 正在爬取https://wh.ziroom.com/x/808045898.html 正在爬取https://wh.ziroom.com/x/783186812.html 正在爬取https://wh.ziroom.com/x/808224300.html 正在爬取自如第40页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/807102074.html 正在爬取https://wh.ziroom.com/x/808165213.html 正在爬取https://wh.ziroom.com/x/807287595.html 正在爬取https://wh.ziroom.com/x/808223495.html 正在爬取https://wh.ziroom.com/x/808196328.html 正在爬取https://wh.ziroom.com/x/807929334.html 正在爬取https://wh.ziroom.com/x/808224482.html 正在爬取https://wh.ziroom.com/x/808123486.html 出错啦,https://wh.ziroom.com/x/808123486.html进不去啦( •̥́ ˍ •̀ू ) 正在爬取https://wh.ziroom.com/x/807062223.html 正在爬取https://wh.ziroom.com/x/808214654.html 正在爬取https://wh.ziroom.com/x/807056665.html 正在爬取https://wh.ziroom.com/x/794098148.html 正在爬取https://wh.ziroom.com/x/781884975.html 正在爬取https://wh.ziroom.com/x/780220649.html 正在爬取https://wh.ziroom.com/x/761404880.html 正在爬取https://wh.ziroom.com/x/808188516.html 正在爬取https://wh.ziroom.com/x/769863765.html 正在爬取https://wh.ziroom.com/x/808203713.html 正在爬取https://wh.ziroom.com/x/807821205.html 正在爬取https://wh.ziroom.com/x/788612507.html 正在爬取https://wh.ziroom.com/x/757613441.html 正在爬取https://wh.ziroom.com/x/793342518.html 正在爬取https://wh.ziroom.com/x/808216481.html 正在爬取https://wh.ziroom.com/x/772933233.html 正在爬取https://wh.ziroom.com/x/807088739.html 正在爬取https://wh.ziroom.com/x/763300648.html 正在爬取https://wh.ziroom.com/x/808240267.html 正在爬取https://wh.ziroom.com/x/778081120.html 正在爬取https://wh.ziroom.com/x/748857348.html 正在爬取https://wh.ziroom.com/x/808284899.html 正在爬取自如第41页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/808284899.html 正在爬取https://wh.ziroom.com/x/808247834.html 正在爬取https://wh.ziroom.com/x/808108184.html 正在爬取https://wh.ziroom.com/x/807996569.html 正在爬取https://wh.ziroom.com/x/807269752.html 正在爬取https://wh.ziroom.com/x/780021217.html 正在爬取https://wh.ziroom.com/x/796462814.html 正在爬取https://wh.ziroom.com/x/738537033.html 正在爬取https://wh.ziroom.com/x/808276093.html 正在爬取https://wh.ziroom.com/x/758675009.html 正在爬取https://wh.ziroom.com/x/807845943.html 正在爬取https://wh.ziroom.com/x/791135865.html 正在爬取https://wh.ziroom.com/x/789051820.html 正在爬取https://wh.ziroom.com/x/768245902.html 正在爬取https://wh.ziroom.com/x/807088641.html 正在爬取https://wh.ziroom.com/x/808189846.html 正在爬取https://wh.ziroom.com/x/808233309.html 正在爬取https://wh.ziroom.com/x/746645263.html 正在爬取https://wh.ziroom.com/x/790730793.html 正在爬取https://wh.ziroom.com/x/775817140.html 正在爬取https://wh.ziroom.com/x/796681840.html 正在爬取https://wh.ziroom.com/x/808078070.html 正在爬取https://wh.ziroom.com/x/807283500.html 正在爬取https://wh.ziroom.com/x/750879798.html 正在爬取https://wh.ziroom.com/x/775719170.html 正在爬取https://wh.ziroom.com/x/749278134.html 正在爬取https://wh.ziroom.com/x/807191653.html 正在爬取https://wh.ziroom.com/x/808109297.html 正在爬取https://wh.ziroom.com/x/743065963.html 正在爬取https://wh.ziroom.com/x/747790348.html 正在爬取自如第42页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/807126343.html 正在爬取https://wh.ziroom.com/x/808273104.html 正在爬取https://wh.ziroom.com/x/807284718.html 正在爬取https://wh.ziroom.com/x/774831523.html 正在爬取https://wh.ziroom.com/x/767261546.html 正在爬取https://wh.ziroom.com/x/807317380.html 正在爬取https://wh.ziroom.com/x/807882763.html 正在爬取https://wh.ziroom.com/x/745890700.html 正在爬取https://wh.ziroom.com/x/746920840.html 正在爬取https://wh.ziroom.com/x/776090389.html 正在爬取https://wh.ziroom.com/x/795338196.html 正在爬取https://wh.ziroom.com/x/786114175.html 正在爬取https://wh.ziroom.com/x/787847274.html 正在爬取https://wh.ziroom.com/x/807023583.html 正在爬取https://wh.ziroom.com/x/808174474.html 正在爬取https://wh.ziroom.com/x/808282666.html 正在爬取https://wh.ziroom.com/x/808044400.html 正在爬取https://wh.ziroom.com/x/777552567.html 正在爬取https://wh.ziroom.com/x/807687302.html 正在爬取https://wh.ziroom.com/x/782834605.html 正在爬取https://wh.ziroom.com/x/795960160.html 正在爬取https://wh.ziroom.com/x/808260189.html 正在爬取https://wh.ziroom.com/x/793508000.html 正在爬取https://wh.ziroom.com/x/807321636.html 正在爬取https://wh.ziroom.com/x/768177517.html 正在爬取https://wh.ziroom.com/x/807377755.html 正在爬取https://wh.ziroom.com/x/807631645.html 正在爬取https://wh.ziroom.com/x/808297597.html 正在爬取https://wh.ziroom.com/x/771766226.html 正在爬取https://wh.ziroom.com/x/807039634.html 正在爬取自如第43页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/808264711.html 正在爬取https://wh.ziroom.com/x/807267848.html 正在爬取https://wh.ziroom.com/x/778816865.html 正在爬取https://wh.ziroom.com/x/794614673.html 正在爬取https://wh.ziroom.com/x/771984476.html 正在爬取https://wh.ziroom.com/x/766872770.html 正在爬取https://wh.ziroom.com/x/745649752.html 正在爬取https://wh.ziroom.com/x/808247519.html 正在爬取https://wh.ziroom.com/x/807190855.html 正在爬取https://wh.ziroom.com/x/761556103.html 正在爬取https://wh.ziroom.com/x/808259734.html 正在爬取https://wh.ziroom.com/x/770150012.html 正在爬取https://wh.ziroom.com/x/808227646.html 正在爬取https://wh.ziroom.com/x/787471302.html 正在爬取https://wh.ziroom.com/x/769649686.html 正在爬取https://wh.ziroom.com/x/793487727.html 正在爬取https://wh.ziroom.com/x/777893716.html 正在爬取https://wh.ziroom.com/x/766857735.html 正在爬取https://wh.ziroom.com/x/739246103.html 正在爬取https://wh.ziroom.com/x/794674425.html 正在爬取https://wh.ziroom.com/x/754281103.html 正在爬取https://wh.ziroom.com/x/808211924.html 正在爬取https://wh.ziroom.com/x/762780146.html 正在爬取https://wh.ziroom.com/x/739820828.html 正在爬取https://wh.ziroom.com/x/781947734.html 正在爬取https://wh.ziroom.com/x/785079185.html 正在爬取https://wh.ziroom.com/x/775938972.html 正在爬取https://wh.ziroom.com/x/807832755.html 正在爬取https://wh.ziroom.com/x/808231391.html 正在爬取https://wh.ziroom.com/x/777135758.html 正在爬取自如第44页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/784737551.html 正在爬取https://wh.ziroom.com/x/808164002.html 正在爬取https://wh.ziroom.com/x/808311730.html 正在爬取https://wh.ziroom.com/x/787688582.html 正在爬取https://wh.ziroom.com/x/808305423.html 正在爬取https://wh.ziroom.com/x/808240855.html 正在爬取https://wh.ziroom.com/x/808171499.html 正在爬取https://wh.ziroom.com/x/808057525.html 正在爬取https://wh.ziroom.com/x/757889600.html 正在爬取https://wh.ziroom.com/x/807532973.html 正在爬取https://wh.ziroom.com/x/808303302.html 正在爬取https://wh.ziroom.com/x/738357001.html 正在爬取https://wh.ziroom.com/x/777660334.html 正在爬取https://wh.ziroom.com/x/795000539.html 正在爬取https://wh.ziroom.com/x/808200178.html 正在爬取https://wh.ziroom.com/x/744710016.html 正在爬取https://wh.ziroom.com/x/794452586.html 正在爬取https://wh.ziroom.com/x/794291954.html 正在爬取https://wh.ziroom.com/x/740474705.html 正在爬取https://wh.ziroom.com/x/808262499.html 正在爬取https://wh.ziroom.com/x/790695388.html 正在爬取https://wh.ziroom.com/x/793661066.html 正在爬取https://wh.ziroom.com/x/754622155.html 正在爬取https://wh.ziroom.com/x/793726929.html 正在爬取https://wh.ziroom.com/x/781590677.html 正在爬取https://wh.ziroom.com/x/757892316.html 正在爬取https://wh.ziroom.com/x/794496139.html 正在爬取https://wh.ziroom.com/x/780254211.html 正在爬取https://wh.ziroom.com/x/788612313.html 正在爬取https://wh.ziroom.com/x/764627608.html 正在爬取自如第45页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/745882649.html 正在爬取https://wh.ziroom.com/x/795452559.html 正在爬取https://wh.ziroom.com/x/782854587.html 正在爬取https://wh.ziroom.com/x/774891081.html 正在爬取https://wh.ziroom.com/x/796553800.html 正在爬取https://wh.ziroom.com/x/756131184.html 正在爬取https://wh.ziroom.com/x/792843356.html 正在爬取https://wh.ziroom.com/x/792240501.html 正在爬取https://wh.ziroom.com/x/760745086.html 正在爬取https://wh.ziroom.com/x/808292445.html 正在爬取https://wh.ziroom.com/x/768352020.html 正在爬取https://wh.ziroom.com/x/745697670.html 正在爬取https://wh.ziroom.com/x/807209265.html 正在爬取https://wh.ziroom.com/x/786033956.html 正在爬取https://wh.ziroom.com/x/748954639.html 正在爬取https://wh.ziroom.com/x/808227373.html 正在爬取https://wh.ziroom.com/x/808084300.html 正在爬取https://wh.ziroom.com/x/795678278.html 正在爬取https://wh.ziroom.com/x/781946473.html 正在爬取https://wh.ziroom.com/x/807031052.html 正在爬取https://wh.ziroom.com/x/808231097.html 正在爬取https://wh.ziroom.com/x/779904235.html 正在爬取https://wh.ziroom.com/x/808268351.html 正在爬取https://wh.ziroom.com/x/793035028.html 正在爬取https://wh.ziroom.com/x/807121828.html 正在爬取https://wh.ziroom.com/x/735532264.html 正在爬取https://wh.ziroom.com/x/807318892.html 正在爬取https://wh.ziroom.com/x/757021256.html 正在爬取https://wh.ziroom.com/x/739475217.html 正在爬取https://wh.ziroom.com/x/738085886.html 正在爬取自如第46页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/740555991.html 正在爬取https://wh.ziroom.com/x/777028379.html 正在爬取https://wh.ziroom.com/x/780337534.html 正在爬取https://wh.ziroom.com/x/807989996.html 正在爬取https://wh.ziroom.com/x/794659584.html 正在爬取https://wh.ziroom.com/x/761688896.html 正在爬取https://wh.ziroom.com/x/792218773.html 正在爬取https://wh.ziroom.com/x/808276212.html 正在爬取https://wh.ziroom.com/x/796118270.html 正在爬取https://wh.ziroom.com/x/794299908.html 正在爬取https://wh.ziroom.com/x/793724698.html 正在爬取https://wh.ziroom.com/x/793685801.html 正在爬取https://wh.ziroom.com/x/748714467.html 正在爬取https://wh.ziroom.com/x/807807695.html 正在爬取https://wh.ziroom.com/x/808243270.html 正在爬取https://wh.ziroom.com/x/808238839.html 正在爬取https://wh.ziroom.com/x/808033872.html 正在爬取https://wh.ziroom.com/x/807199108.html 正在爬取https://wh.ziroom.com/x/760847518.html 正在爬取https://wh.ziroom.com/x/792653430.html 正在爬取https://wh.ziroom.com/x/795347217.html 正在爬取https://wh.ziroom.com/x/756900006.html 正在爬取https://wh.ziroom.com/x/739902696.html 正在爬取https://wh.ziroom.com/x/750338247.html 正在爬取https://wh.ziroom.com/x/793722661.html 正在爬取https://wh.ziroom.com/x/775513433.html 正在爬取https://wh.ziroom.com/x/808299984.html 正在爬取https://wh.ziroom.com/x/750517794.html 正在爬取https://wh.ziroom.com/x/787727091.html 正在爬取https://wh.ziroom.com/x/749296079.html 出错啦,https://wh.ziroom.com/x/749296079.html进不去啦( •̥́ ˍ •̀ू ) 正在爬取自如第47页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/749296079.html 正在爬取https://wh.ziroom.com/x/808232945.html 正在爬取https://wh.ziroom.com/x/807886452.html 正在爬取https://wh.ziroom.com/x/739595109.html 正在爬取https://wh.ziroom.com/x/808273531.html 正在爬取https://wh.ziroom.com/x/807329910.html 正在爬取https://wh.ziroom.com/x/777870533.html 出错啦,https://wh.ziroom.com/x/777870533.html进不去啦( •̥́ ˍ •̀ू ) 正在爬取https://wh.ziroom.com/x/787124236.html 正在爬取https://wh.ziroom.com/x/780219679.html 正在爬取https://wh.ziroom.com/x/807502600.html 正在爬取https://wh.ziroom.com/x/807468783.html 正在爬取https://wh.ziroom.com/x/757024845.html 正在爬取https://wh.ziroom.com/x/807783965.html 正在爬取https://wh.ziroom.com/x/808284045.html 正在爬取https://wh.ziroom.com/x/768711502.html 正在爬取https://wh.ziroom.com/x/777310649.html 正在爬取https://wh.ziroom.com/x/784194739.html 正在爬取https://wh.ziroom.com/x/808096165.html 正在爬取https://wh.ziroom.com/x/755552676.html 正在爬取https://wh.ziroom.com/x/791432782.html 正在爬取https://wh.ziroom.com/x/807166089.html 正在爬取https://wh.ziroom.com/x/770931638.html 正在爬取https://wh.ziroom.com/x/808262478.html 正在爬取https://wh.ziroom.com/x/807781802.html 正在爬取https://wh.ziroom.com/x/758446380.html 正在爬取https://wh.ziroom.com/x/808086932.html 正在爬取https://wh.ziroom.com/x/807399063.html 正在爬取https://wh.ziroom.com/x/808013110.html 正在爬取https://wh.ziroom.com/x/789054633.html 正在爬取https://wh.ziroom.com/x/807824873.html 正在爬取自如第48页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/787561027.html 正在爬取https://wh.ziroom.com/x/763983528.html 正在爬取https://wh.ziroom.com/x/780252659.html 正在爬取https://wh.ziroom.com/x/807817460.html 正在爬取https://wh.ziroom.com/x/785795724.html 正在爬取https://wh.ziroom.com/x/786519247.html 正在爬取https://wh.ziroom.com/x/747993660.html 正在爬取https://wh.ziroom.com/x/753013604.html 正在爬取https://wh.ziroom.com/x/780348204.html 正在爬取https://wh.ziroom.com/x/807079422.html 正在爬取https://wh.ziroom.com/x/808225868.html 正在爬取https://wh.ziroom.com/x/808187431.html 正在爬取https://wh.ziroom.com/x/792935021.html 正在爬取https://wh.ziroom.com/x/807951860.html 正在爬取https://wh.ziroom.com/x/808228437.html 正在爬取https://wh.ziroom.com/x/793493256.html 正在爬取https://wh.ziroom.com/x/807145131.html 正在爬取https://wh.ziroom.com/x/795512990.html 正在爬取https://wh.ziroom.com/x/790758826.html 正在爬取https://wh.ziroom.com/x/807371245.html 正在爬取https://wh.ziroom.com/x/791705449.html 正在爬取https://wh.ziroom.com/x/745427622.html 正在爬取https://wh.ziroom.com/x/808254176.html 正在爬取https://wh.ziroom.com/x/808206926.html 正在爬取https://wh.ziroom.com/x/788372917.html 正在爬取https://wh.ziroom.com/x/807176246.html 正在爬取https://wh.ziroom.com/x/789796586.html 出错啦,https://wh.ziroom.com/x/789796586.html进不去啦( •̥́ ˍ •̀ू ) 正在爬取https://wh.ziroom.com/x/808076509.html 正在爬取https://wh.ziroom.com/x/807736162.html 正在爬取https://wh.ziroom.com/x/772933330.html 正在爬取自如第49页 有点累了,需要休息一下啦(¬㉨¬) 开始干活咯(๑><๑) 正在爬取https://wh.ziroom.com/x/807377202.html 正在爬取https://wh.ziroom.com/x/764805118.html 正在爬取https://wh.ziroom.com/x/762253824.html 正在爬取https://wh.ziroom.com/x/808245622.html 正在爬取https://wh.ziroom.com/x/757021159.html 正在爬取https://wh.ziroom.com/x/736226396.html 正在爬取https://wh.ziroom.com/x/746071314.html 正在爬取https://wh.ziroom.com/x/808042741.html 正在爬取https://wh.ziroom.com/x/780306882.html 正在爬取https://wh.ziroom.com/x/807227472.html 正在爬取https://wh.ziroom.com/x/807898765.html 正在爬取https://wh.ziroom.com/x/808045513.html 正在爬取https://wh.ziroom.com/x/743962922.html 正在爬取https://wh.ziroom.com/x/808263346.html 正在爬取https://wh.ziroom.com/x/777738516.html 正在爬取https://wh.ziroom.com/x/755650064.html 正在爬取https://wh.ziroom.com/x/737718353.html 正在爬取https://wh.ziroom.com/x/808104670.html 正在爬取https://wh.ziroom.com/x/763810674.html 正在爬取https://wh.ziroom.com/x/808244558.html 正在爬取https://wh.ziroom.com/x/807576611.html 正在爬取https://wh.ziroom.com/x/808267511.html 正在爬取https://wh.ziroom.com/x/745922031.html 正在爬取https://wh.ziroom.com/x/808277612.html 正在爬取https://wh.ziroom.com/x/808247064.html 正在爬取https://wh.ziroom.com/x/650967637.html 正在爬取https://wh.ziroom.com/x/741480789.html 正在爬取https://wh.ziroom.com/x/770044185.html 正在爬取https://wh.ziroom.com/x/792395410.html 正在爬取https://wh.ziroom.com/x/790041608.html
5.5 实践项目2:36kr信息抓取与邮件发送
本节内容为作者原创的项目,课程难度为5星,建议读者跟着课程一步一步的来,如果有不明白的地方,可以在群里面与其他伙伴进行交流。
在输出本节内容时,请注明来源,Datawhale自动化办公课程,谢谢~
如果没有多个邮箱,可以百度搜索临时邮箱进行实践学习
项目难度:⭐⭐⭐⭐⭐
完成了上面的实践项目1后,你膨胀到不行,觉得自己太厉害了。通过前面的学习,你了解到使用python进行电子邮件的收发,突然有一天你想到,如果我用A账户进行发送,同时用B账户进行接受,在手机上安装一个邮件接受的软件,这样就能完成信息从pc端投送到移动端。
在这样的思想上,就可以对动态变化的信息进行监控,一旦信息触发了发送的条件,可以将信息通过邮件投送到手机上,从而让自己最快感知到。
具体路径是:
python爬虫-->通过邮件A发送-->服务器--->通过邮件B接收
因此我们本节的内容就是爬取36kr的信息然后通过邮件发送
36kr官网:快讯_融资_互联网_资本_科技_合并_最新快讯_36氪
通过python发送邮件需要获得pop3的授权码
具体获取方式可参考:
Python用QQ邮箱发送邮件时授权码问题_wateryouyo的博客-CSDN博客_python qq邮箱发邮件
接下来就爬取36Kr的网站
通过观察我们发现 消息的标签为
<a class="item-title" rel="noopener noreferrer" target="_blank" href="/newsflashes/1218249313424001" sensors_operation_list="page_flow">中国平安:推动新方正集团聚集医疗健康等核心业务发展</a>
因此我们爬取的代码为
需要注意的是,邮箱发送消息用的HTML的模式,而HTML模式下换行符号为 < br>
In [ ]:
def main(): print('正在爬取数据')url = 'https://36kr.com/newsflashes'headers = {'User-Agent': random.choice(user_agent)}response = requests.get(url, headers=headers)response=response.content.decode('utf-8', 'ignore')soup = BeautifulSoup(response, 'lxml')news = soup.find_all('a', class_='item-title') news_list=[]for i in news:title=i.get_text()href='https://36kr.com'+i['href']news_list.append(title+'<br>'+href)info='<br></br>'.join(news_list)
接下来就是配置邮箱的发送信息
In [ ]:
smtpserver = 'smtp.qq.com'# 发送邮箱用户名密码 user = '' password = ''# 发送和接收邮箱 sender = '' receive = ''def send_email(content):# 通过QQ邮箱发送title='36kr快讯'subject = titlemsg = MIMEText(content, 'html', 'utf-8')msg['Subject'] = Header(subject, 'utf-8')msg['From'] = sendermsg['To'] = receive# SSL协议端口号要使用465smtp = smtplib.SMTP_SSL(smtpserver, 465) # 这里是服务器端口!# HELO 向服务器标识用户身份smtp.helo(smtpserver)# 服务器返回结果确认smtp.ehlo(smtpserver)# 登录邮箱服务器用户名和密码smtp.login(user, password)smtp.sendmail(sender, receive, msg.as_string())smtp.quit()
最后我们的整个代码文件为
In [ ]:
import requests import random from bs4 import BeautifulSoup import smtplib # 发送邮件模块 from email.mime.text import MIMEText # 定义邮件内容 from email.header import Header # 定义邮件标题smtpserver = 'smtp.qq.com'# 发送邮箱用户名密码 user = 'xxx@qq.com' password = 'xxx'# 发送和接收邮箱 sender = 'xxxx@qq.com' receive = 'xxxxx@qq.com'user_agent = ["Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50","Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50","Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0","Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko","Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)","Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)","Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)","Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1","Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1","Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11","Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)"]def main():print('正在爬取数据')url = 'https://36kr.com/newsflashes'headers = {'User-Agent': random.choice(user_agent)}response = requests.get(url, headers=headers)response=response.content.decode('utf-8', 'ignore')soup = BeautifulSoup(response, 'lxml')news = soup.find_all('a', class_='item-title') news_list=[]for i in news:title=i.get_text()href='https://36kr.com'+i['href']news_list.append(title+'<br>'+href)info='<br></br>'.join(news_list)print('正在发送信息')send_email(info)def send_email(content):# 通过QQ邮箱发送title='36kr快讯'subject = titlemsg = MIMEText(content, 'html', 'utf-8')msg['Subject'] = Header(subject, 'utf-8')msg['From'] = sendermsg['To'] = receive# SSL协议端口号要使用465smtp = smtplib.SMTP_SSL(smtpserver, 465) # 这里是服务器端口!# HELO 向服务器标识用户身份smtp.helo(smtpserver)# 服务器返回结果确认smtp.ehlo(smtpserver)# 登录邮箱服务器用户名和密码smtp.login(user, password)smtp.sendmail(sender, receive, msg.as_string())smtp.quit()if __name__ == '__main__':main()
正在爬取数据 正在发送信息
Datawhale打卡任务 Task 05爬虫入门与综合应用相关推荐
- 爬虫入门到精通-HTTP协议的讲解
HTTP协议的讲解 本文章属于爬虫入门到精通系统教程第三讲 什么是HTTP协议? 引用自维基百科 超文本传输协议(英文:HyperText Transfer Protocol,缩写:HTTP)是互联网 ...
- 爬虫入门3---爬虫实战
爬虫入门1---谈谈网络爬虫 爬虫入门2---爬虫框架webmagic 爬虫入门3---爬虫实战 3 爬虫实战 3.1 需求 每日某时间段从****博客中爬取文档,存入文章 ...
- Python爬虫入门教程:博客园首页推荐博客排行的秘密
1. 前言 虽然博客园注册已经有五年多了,但是最近才正式开始在这里写博客.(进了博客园才知道这里面个个都是人才,说话又好听,超喜欢这里...)但是由于写的内容都是软件测试相关,热度一直不是很高.看到首 ...
- WebMagic 实现爬虫入门教程
本示例实现某电影网站最新片源名称列表及详情页下载地址的抓取. webmagic是一个开源的Java垂直爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发. WebMagic 特点: 完全 ...
- python爬虫入门教程(非常详细),超级简单的Python爬虫教程
一.基础入门 1.1什么是爬虫 爬虫(spider,又网络爬虫),是指向网站/网络发起请求,获取资源后分析并提取有用数据的程序. 从技术层面来说就是 通过程序模拟浏览器请求站点的行为,把站点返回的HT ...
- Python爬虫入门2(实战)
文章目录 13.B站直播间弹幕爬取 代码: 运行结果: 14.xpath解析爬虫 入门: lxml安装: 基本格式: 15.xpath入门讲解 材料: py代码: 运行结果: 技巧: 16.xpath ...
- 【学习教程系列】最通俗的 Python3 网络爬虫入门
很多朋友学习Python都是先从爬虫开始,其原因不外两方面: 其一Python对爬虫支持度较好,类库众多,其二语法简单,入门容易,所以两者形影相随,不离不弃. 要使用python语言做爬虫,首先需要学 ...
- 推荐一部python教程_Python爬虫入门教程:博客园首页推荐博客排行的秘密
1. 前言 虽然博客园注册已经有五年多了,但是最近才正式开始在这里写博客.(进了博客园才知道这里面个个都是人才,说话又好听,超喜欢这里...)但是由于写的内容都是软件测试相关,热度一直不是很高.看到首 ...
- python爬虫入门教程--优雅的HTTP库requests(二)
requests 实现了 HTTP 协议中绝大部分功能,它提供的功能包括 Keep-Alive.连接池.Cookie持久化.内容自动解压.HTTP代理.SSL认证等很多特性,下面这篇文章主要给大家介绍 ...
最新文章
- 苹果史上最强芯片竟然是个“组装货”!iPhone SE涨价,13系列是真绿了
- org.springframework.web.method.annotation.MethodArgumentTypeMismatchException: Failed to convert val
- HTML 中的字符实体集
- 单片机的几种数字滤波算法
- public 函数_UE4精品教程 | 渲染编程(C++篇)【第三卷:从仿函数到std::function再到虚幻4Delegate】...
- 一开机就提示脱机工作_「华为手机维修自学教程」华为手机的开机触发电路 华为维修技巧...
- 使用 PSD Validator 在线校验 PSD 文件的质量
- AI领域的Python核心编程【学生免费】
- 微信支付带动交易超720万元 核销首日武汉人开启“全城用券”模式
- API接口应该如何设计?
- pytorch torch.nn.MSELoss
- BERT-BiLSTM-CRF基于BERT预训练的中文命名实体识别TensorFlow实现
- 在kubernetes上实现tomcat日志的持久化
- 第4章 类与对象 枚举类
- 2021应届生DJI校招在线测评几点说明
- springdata elasticsearch aggregation 操作
- java通过Jsoup爬取下载抖音无水印视频(下载单个抖音视频)
- Python+networkx 网络可视化方法
- JavaScript 实例:点击漫天小星星 (获取整个浏览器窗口的宽高)
- 老宇哥带你玩转ESP32,12篇基础教程已经更新完毕,接下来是进阶教程
热门文章
- Android 画虚线却显示实线的问题
- python socket发送16进制数据_Python UDP Socket 16进制数据发送
- linux 编辑文件软件,Linux文本处理工具及Vim编辑器
- 我的2017年的年终总结
- Stacktrace:] with root cause javax.el.PropertyNotFoundException: 类型[com.bean.Employee]上找不到属性[departm
- 红米4 android 6.0,红米Note 4、红米4依旧有可看的配置,还预置Android 6.0?
- tts文字转语音_Linux文字转语音(TTS)的问题
- 分治算法中的数学——求解递归式(代入法)
- 自制Linux功能板-新增功能(基于RTMP流媒体传输协议的视频监控)
- PPM、PGM、PBM图像格式剖析