使用Beautifulsoup解析网页遇到的问题

今天遇到一个网页，按往常的老办法

soup = BeautifulSoup(content, 'lxml')

打印soup发现少了很多数据，刚开始还以为反爬，后来经过验证不是。、
那么就是解析问题，我换成了

soup = BeautifulSoup(content, 'xml')

打印发现我想要的那块成功出现了，但是对比整个网页发现，其实还是有一些没有显示出来的，不管他，时间紧任务重，得过且过。
后来进入详情页，发现又显示不全了。中间试了xpath等各种解析手段，还是显示不出来。
最后还是继续使用bs4。

soup = BeautifulSoup(content,'html.parser')

发现又成功解析出来了。

写这篇博客并没有深究为什么会这样，能出来结果就赶紧接着往下做。紧张的工作中，大多数小伙伴应该都是这样。
如果有遇到同样只是解析显示不全问题的小伙伴，试过了我的这几种方法都还是不行，可以去搜bs4的文档，里面有更多的方法，祝你好运

使用Beautifulsoup解析网页遇到的问题相关推荐

使用BeautifulSoup解析网页时漏掉了元素
使用 soup=BeautifulSoup(res.text,"html.parser") 解析网页时漏掉了元素改为 soup=BeautifulSoup(res.text, & ...
Python爬虫自学之第（②）篇——BeautifulSoup解析网页
题外话: <Pi Network 免费挖矿国外热门项目一个π币大约值3元到10元>相信过去BTC的人,信不信未来的PI,了解一下,唯一一个高度与之持平的项目学了requests,了解了 ...
Python开发爬虫之BeautifulSoup解析网页篇：爬取安居客网站上北京二手房数据
目标:爬取安居客网站上前10页北京二手房的数据,包括二手房源的名称.价格.几室几厅.大小.建造年份.联系人.地址.标签等. 网址为:https://beijing.anjuke.com/sale/ B ...
头歌Beautifulsoup解析网页
import requests from bs4 import BeautifulSoup def get_data(url, headers):'''两个参数:param url:统一资源定位符,请 ...
python 安居客爬虫_Python开发爬虫之BeautifulSoup解析网页篇：爬取安居客网站上北京二手房数据...
page1 宏星地产租售部新出!1700南花园, 赠500万红木家具 3800万 106442元/m2 5室2厅 357m2 共3层 2008年建造夏秋冬碧水庄园昌平-沙河-定泗路 ['独栋别 ...
爬虫学习----解析网页
解析网页就是从服务器请求下来的网页数据中提取出我们需要的数据,常用的有三种方法:正则表达式解析网页.BeautifulSoup和lxml. 一.使用正则表达式解析网页正则表达式就是对字符串操作的一种 ...
BeautifulSoup解析爱丽丝梦游仙境网页小练习
BeautifulSoup解析爱丽丝梦游仙境网页小练习 html_doc = """ <html><head><title>The D ...
7-13爬虫入门之BeautifulSoup对网页爬取内容的解析
通过beautifulsoup对json爬取的文件进行元素审查,获取是否含有p标签 # -*- coding:utf-8 -*- from lxml import html import reques ...
beautifulsoup网页爬虫解析_Python爬虫3步曲：5分钟学习用Python解析网页
使用正则表达式解析网页是Python的一个擅长的领域.如果还想更加深入地学习正则表达式,或者在平时经常用到正则表达式,可以进入Regular Expression 101网站学习,网站地址为 http ...

使用Beautifulsoup解析网页遇到的问题

使用Beautifulsoup解析网页遇到的问题相关推荐

最新文章

热门文章