python中soup_python – 使用带有UTF-8的soup.get

我需要使用BeautifulSoup从页面获取所有文本.在BeautifulSoup的文档中,它显示你可以做soup.get_text()来做到这一点.当我在reddit.com上尝试这样做时,我收到了这个错误：

UnicodeEncodeError in soup.py:16

'cp932' codec can't encode character u'\xa0' in position 2262: illegal multibyte sequence

我在我检查的大多数网站上都遇到了类似的错误.

当我做了soup.prettify()时,我也遇到了类似的错误,但我通过将其更改为soup.prettify(‘UTF-8’)来修复它.有没有什么办法解决这一问题？提前致谢！

6月24日更新

我发现了一些似乎适用于其他人的代码,但我仍然需要使用UTF-8而不是默认代码.码：

texts = soup.findAll(text=True)

def visible(element):

if element.parent.name in ['style', 'script', '[document]', 'head', 'title']:

return False

elif re.match('', str(element)): return False

elif re.match('\n', str(element)): return False

return True

visible_texts = filter(visible, texts)

print visible_texts

但错误是不同的.进展？

UnicodeEncodeError in soup.py:29

'ascii' codec can't encode character u'\xbb' in position 1: ordinal not in range

(128)

python中soup_python – 使用带有UTF-8的soup.get_text()相关推荐

python中soup_python中BeautifulSoup的详细介绍（附代码）
本篇文章给大家带来的内容是关于python中BeautifulSoup的详细介绍(附代码),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助. Beautiful Soup提供一些简单的. ...
python发送邮件带附件_在python中如何发送带有附件的邮件？
在发邮件时,如果需要发文件,我们会与电子邮件附在一起传送至对方邮箱.用来附加说明或者提供材料用的电子表格网页.数据库等等是不能简单用文本形式的邮件来发送的,而且表格.网页.数据库等在邮件服务商提供的 ...
怎样使用python画复杂函数_在python中绘制复杂的函数？
我试图在python中绘制一个带有可变参数的复杂函数,并且发现我无法解释的差异.我的代码如下所示:import matplotlib.pyplot as plt from numpy import p ...
Python中常用最神秘的函数！ lambda 函数深度总结！
今天我们来学习 Python 中的 lambda 函数,并探讨使用它的优点和局限性 Let's do it! 什么是 Python 中的 Lambda 函数 lambda 函数是一个匿名函数(即,没有 ...
Python处理Excel表中单元格带有换行的数据
Python处理Excel表中单元格带有换行的数据文章目录 Python处理Excel表中单元格带有换行的数据问题样式实例问题实例实现代码实例结果问题样式在数据处理过程中常常会遇到这样一 ...
html绑定带有形参的函数,Python中函数参数类型和参数绑定
参数类型 Python函数的参数类型一共有五种,分别是: POSITIONAL_OR_KEYWORD(位置参数或关键字参数) VAR_POSITIONAL(可变参数) KEYWORD_ONLY(关键字 ...
python中引入名称中带有横杠模块的时候出现：SyntaxError: invalid syntax
首先使用pip3 list查看pyhton中存在哪些模块通过上图可知,我们有模块de-core-news-sm 然后,在python中import带有横杠的模块的时候,会报错:SyntaxError ...
使用Python中自带的print输出带有颜色或者背景的字符串
方法1: 使用Python中自带的print输出带有颜色或者背景的字符串书写语法 print(\033[显示方式;前景色;背景色m输出内容\033[0m) 其中,显示方式.前景色.背景色都是可选参数 ...
python 示例_在Python中带有示例的while关键字
python 示例关键字的Python (Python for keyword) while is a keyword (case-sensitive) in python, it is used ...

python中soup_python – 使用带有UTF-8的soup.get_text()

python中soup_python – 使用带有UTF-8的soup.get_text()相关推荐

最新文章

热门文章