更新:乱码问题已经解决了。

将下面代码中的红色部分改为下面这样就不会出现个别职位信息乱码的情况了。

soup2 = BeautifulSoup(wbdata2, 'html.parser',from_encoding="GBK")

另外:

建立了一个微信公众号,主要分享软件视频教程、文档笔记、软件工具和生活DIY等方面。

希望能认识更多志同道合共同进步的朋友。

微信公众号:cool_book

================================================

大家好,我遇到的问题是这样的:

问题背景:Python3.4爬取前程无忧招聘信息。
环境:Pycharm  Python3.4
问题:爬取的多数网页的招聘信息是正常的,个别网页出现乱码,但是我浏览器打开乱码的个别网页,显示也是正常的。里面内容是中文的招聘信息。这是为什么呢?终端输出的正常和掺杂在里面的乱码招聘信息如下。

#!/usr/bin/env python3
# -*- coding: utf-8
import re
import urllib.request
import bs4
import sys
import json
import csv
import requests
from bs4 import BeautifulSoup
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36','Connection': 'keep-alive',
}def get_index_url(url):wbdata = requests.get(url, headers=header).contentsoup = BeautifulSoup(wbdata, 'html.parser')links=soup.select('html > body > div.dw_wp > div > div.el > p.t1 > span > a')# print(links)for link in links:page_url=link.get('href')print(page_url)wbdata2 = requests.get(page_url, headers=header).contentsoup2 = BeautifulSoup(wbdata2, 'html.parser')#这句导致的有时候乱码
         #body > div.tCompanyPage > div.tCompany_center.clearfix > div.tHeader.tHjob > div > div.cn > h1name = soup2.select('html > body > div.tCompanyPage > div.tCompany_center.clearfix > div.tHeader.tHjob > div.in > div.cn > h1')[0].textprint(name)jieshao = soup2.select('html > body > div.tCompanyPage > div.tCompany_center.clearfix > div.tCompany_main > div.tBorderTop_box > div.bmsg.job_msg.inbox')[0].textprint(jieshao)# body > div.tCompanyPage > div.tCompany_center.clearfix > div.tHeader.tHjob > div > div.cn > strong# gongzi = soup2.select('html > body > div.tCompanyPage > div.tCompany_center.clearfix > div.tHeader.tHjob > div > div.cn > strong')[0].text# print(gongzi)# for name,jieshao in zip(name,jieshao):#     data = {#         'name':name.get_text(),#         'jieshao':jieshao.get_text(),#     }#     print(data)f = open("C:/111.txt", 'a',encoding='utf-8')f.write(name)f.write(',')# f.write(jieshao.strip('/n'))# f.write(gongzi)f.write(',' + "\n")f.close()# for i in range(1, 1):#url = "https://dl.fang.anjuke.com/loupan/all/p" + str(i) + "/"  # 翻页
url = "http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=230300%2C00&district=000000&funtype=0000&industrytype=00&issuedate=9&providesalary=99&keywordtype=2&curr_page="+str(1)
get_index_url(url)# print(i)

======================终端输出================
C:\Python34\python.exe C:/Users/Administrator/PycharmProjects/untitled/test.py
http://jobs.51job.com/dalian-zsq/94580637.html?s=01&t=0

http://jobs.51job.com/dalian/94579847.html?s=01&t=0
物业顾问

职位描述:
1、负责业主的房屋的租售。2、为业主办理相关房屋出租及销售手续。3、物业一般性工作。要求:1、熟悉房地产交易市场关于房屋出租及销售相关流程和需要的材料。             2、***。

职能类别:
物业管理专员/助理

关键字:
物业服务

举报
分享

[color=#FF0000]
http://jobs.51job.com/dalian-zsq/74735018.html?s=01&t=0
ÉãÓ°ÕÐƸÉãӰʦ

ְλÃèÊö£º
ÈÎÖ°ÒªÇó£ºÈç¹ûÄúΪҵÄÚ¾«Ó¢£¬ÉãÓ°¼¼Êõ³¬Èº£¬Í¯Ö®ÃλáΪÄúÌṩÀíÏëµÄн×Ê´ýÓö£¬ÌṩûÓÐÌ컨°åµÄÎę̀¡£¹¤×÷ʱ¼ä£ºÔç9:00Íí18:00н×Ê´ýÓö£ºµ×н+Ìá³É£¨5000-10000Ôª£©£¬È«ÇÚ½±£¬Ãâ·ÑÔ±¹¤²Í£¬ÔçÍí°à³µ

Ö°ÄÜÀà±ð£º
ÉãӰʦ/ÉãÏñʦ
ºóÆÚÖÆ×÷

¹Ø¼ü×Ö£º
ÉãÓ°
ÕÕƬ
PS
ÊýÂë
ºóÆÚÐÞƬ
ÐÞͼʦ
Èí¼þ
ºóÆÚ
Ó°ÊÓ

¾Ù±¨
·ÖÏí[/color]

http://jobs.51job.com/dalian-zsq/91039157.html?s=01&t=0
平面设计师

职位描述:
1、工作内容1)对集团企业的VI(企业视觉识别)、AI(企业听觉识别)、EI(企业环境识别)等基本要素设计,进行构思设计实施;2)各种广告、海报、纸媒的设计、排版制作;3)按照各活动时间完成制作,并保证设计质量;4)对项目各类宣传品的设计、排版制作;5)完成新新项目与市场拓展中的宣传广告设计制作;6)大型活动的宣传品制作、公司统一形象的文字书写;7)负责与广告公司、印刷公司的电子文档的往来、制作完成后的账务数量确认;8)跟踪制作数量,结账金额,并上报企划经理审核;9)对项目宣传品发放的落实追踪、改进措施;10)大型活动赠品的购买、送达、跟踪;11)负责项目的装饰、广告设计、渲染节庆活动现场的气氛布置;12)负责企划部对外所有票据核对、清查、票据记录完整;13)协助设计纸媒完成公司企划工作;14)协助完成宣传设备设施的每月盘点;15)完成本部门的其他工作;2、工作权限:1)对各种广告的设计建议权;2)对本部门工作有参与权和建议权;3)项目企划工作的监督、检核权;4)广告印刷品的监督权,以免造成浪费;5)对合作的广告公司、印刷公司有建议、监督权;3、工作责任:1)遵守公司制度汇编;2)因工作失误,导致出现不良后果,造成经济损失承担直接责任;3)对项目员工有企划业务知识培训的责任;4)账务错误承担主要责任;4、人员配置1)1人,主管级2)人员素质及上岗条件a.***,25~38岁,专科以上学历;b.头脑灵活,具有很强的创新精神,了解项目行业;c.活泼开朗,有团队合作意识,责任心强;d.熟练使用办公软件、平面设计软件;联系电话:13998523555  丁***

职能类别:
平面设计经理/主管

举报
分享

http://jobs.51job.com/dalian-gjzq/94581554.html?s=01&t=0
电子商务助理/专员

职位描述:
岗位职责:1.对电商类工作感兴趣;2.好学,细心,有良好的逻辑思维能力;3.工作认真,可以从实习生做起任职要求:1.能够尽快入职,工作认真努力;2.能够很好地完成领导分配的任务;3.可以从实习生做起4.年龄18-30岁

职能类别:
电子商务专员

举报
分享

http://jobs.51job.com/dalian/94581216.html?s=01&t=0
企划专员

职位描述:
熟练使用Photoshop等软件。有一定文字功底。工作时间8:30-17:30

职能类别:
平面设计师
其他

举报
分享

http://jobs.51job.com/dalian-gxyq/94473367.html?s=01&t=0
销售代表

职位描述:
岗位职责:1. 对来访咨询者接待:全面、准确、有针对性的做好咨询工作,帮助咨询者了解其想了解的信息为起选择培训课程做参考;;2. 持续稳定地实现个人销售目标;3. 通过团队合作实现由中心总监设定的销售目标,与同事和学员建立密切的关系,以达成销售和服务目标;4. 参加销售培训并做业务陈述,以便为潜在客户设计合适的课程,并按时完成个人目标;5. 完善课程顾问的学员跟进数据库,确保达成学习目标;6. 按时分析个人表现,开发个人和企业客户;7. 参加例会和销售培训,确保完成每日销售报告。任职要求:1. 大专以上学历,1年及以上直接销售经验(有B2C销售经验优先)和/或客户服务经验;2. 热爱销售,愿意挑战高薪;3. 强烈的团队精神和出色的沟通能力;4. 强烈的责任感与客户服务意识(可接受灵活的工作时间安排);5. 有IT知识背景者优先考虑;6、优秀应届毕业生也可考虑;备注:1、每个月不定期小型聚会,元旦元宵、五一、端午节、中秋、元旦PARTY、年终尾牙、春节红包等福利;不定期团建;小礼品;2、绿植化式办公环境优雅舒适、纯净水饮水机、中央空调。配有各自办公桌电脑、单线座机;3、季度调薪;能力提升、根据个人能力管理岗位发展;4、晋升机制:初级咨询师-中级咨询师-高级咨询师-咨询组长-咨询经理-咨询总监5、社会福利:入职缴纳五险一金;只要你有能力;我们给你足够的平台!上市公司期待您的加入!!欢迎您投递简历!!!承诺必答,使命必兑!!

职能类别:
销售代表

举报
分享

http://jobs.51job.com/dalian-gxyq/94473843.html?s=01&t=0
车间现场管理/调度/副主任/五险一金/周末双休

职位描述:
1.负责车间管理工作,完成公司下达的各项生产任务,并做好每月生产报表及各项统计;负责生产计划落实,物料准备,新产品导入准备;2.规划分配车间工作,监督车间工人的工作质量、工作进度;3.建立健全并落实车间各项规章制度,及时有效地处理车间发生的设备、质量、安全等故障及事故,并及时向上级主管汇报;4.提出改进工艺流程、生产设备、生产环境等方面的建议;任职要求:1、5年以上食品车间管理经验2、45岁以内3、具备生产管理能力,具备较强的质量意识4、具有作业现场人员管理能力,有较强的团队领导力和带动力,能很好的分析问题和解决问题

职能类别:
生产经理/车间主任
生产主管

关键字:
车间现场管理
调度
副主任

举报
分享

http://jobs.51job.com/dalian/71593713.html?s=01&t=0
总经理助理(外协专员)

职位描述:
职位描述:1、配合办公室及工程部做公司及工程相关的外联工作;2、主持制定和执行公关计划,配合公司对外项目各公关活动;3、协助办公室处理与各部门沟通合作事宜;4、完成领导交给的其它任务。任职资格:1、有行业2年以上工作经验,有法务工作背景优先;2、法学、经济法等相关专业,本科以上学历;3、工作细致、认真负责、敬业;4、具备独立的工作能力和团队精神;5、形象好,气质佳 。

职能类别:
公关专员

关键字:
公关

举报
分享

http://jobs.51job.com/dalian-gjzq/86175733.html?s=01&t=0
数控车工

职位描述:
任职要求:1.数控专业中专或职高及以上学历,受过数控操作等方面的培训。2.2年以上本岗位工作经验。3.具备生产加工方面的知识,熟悉数控机床操作,具有独立编制加工程序的知识和识图能力。4.

职能类别:
数控编程

关键字:
数控
编程

举报
分享

http://jobs.51job.com/dalian/94580792.html?s=01&t=0
消防主管

职位描述:
1、消防主管在部门经理的领导下进行工作,其工作对部门经理负责。  2、认真贯彻《消防法》,在消防安全委员会及本部门经理的领导下,负责公司所辖区域的消防安全工作。  3、检查消防中控人员的工作情况。  4、对工作中存在的问题进行研究,提出解决办法,并向部门经理汇报。  5、负责消防的管理工作,制定工作计划,做消防工作年终总结和工作考核,负责消防人员的思想教育及培训。  6、定期对公司所辖区域的消防设施、设备、器材进行检查和维修保养。  7、制定并落实消防安防工作的制度、规定、计划。  8、定期对全体员工及新入职员工进行消防常识和专业技能宣传、教育培训。  9、负责对本部门消防人员进行绩效评定;  10、制定施工防火安全制度、协议书,并对施工现场进行安全巡视检查、发现问题,及时整改。  11、定期对办公区域和重点部位进行防火安全检查,发现隐患,及时解决。  12、每天对消防中控室进行巡视检查,及时纠正违纪现象。  13、参加每周部门例会,汇报一周工作及下周工作安排。任职资格:     1、年龄25-40岁。     2、健康状况良好,吐字清晰,普通话流利,语速正常。     3、学历要求:大专以上学历。     4、专业背景要求:有消防构建证,掌握消防知识、法规。     5、计算机水平:熟练操作windows、Office等各类办公软件。     6、良好的语言表达能力和文字能力,具备一定的公文写作及方案整合能力。     7、有一定的业务培训能力。

职能类别:
物业管理主管

举报
分享

http://jobs.51job.com/dalian-zsq/83851564.html?s=01&t=0
ÖÐÎÄ¿Í·þ£¨ÏßÉÏ£©

ְλÃèÊö£º
ͶµÝ¼òÀúÇ°£¬Çë×ÐϸÔĶÁÒÔϹ¤×÷ʱ¼ä£¬²»½ÓÊÜÉÏ°àʱ¼ä£¬ÇëÎðͶµÝ¡£Ôç°à£º9:00--18:00£»Íí°à£º14:30--23:30£¨ÒªÇóÔÚ¹«Ë¾Éϰ࣬Ï°à´ò³µ»Ø¼Ò£¬¹«Ë¾Êµ±¨ÊµÏú´ò³µ·ÑÓã©£»ÐÝϢʱ¼ä£ºÃ¿ÖÜË«ÐÝ£¬µ«ÊDz»Äܱ£Ö¤¶¼ÔÚÖÜÄ©ÐÝÏ¢£¬´®ÐÝ¡£¸ÚλְÔð£º1¡¢Ö÷Ҫͨ¹ýÏßÉϽâ´ðºÍµç»°¹µÍ¨µÄ·½Ê½À´½â´ð¹úÄÚ¿Í»§µÄ×Éѯ£¬²¢¶Ô¿Í»§µÄÎÊÌ⼰ʱ×ö³ö»Ø´ðºÍ·´À¡£»2¡¢½«ÖØÒªµÄ¶¯Ì¬ÐÅÏ¢¼°Ê±Í¨Öª»áÔ±£¬²¢Ö¸µ¼¡¢Ð­Öú»áÔ±½øÐÐÍøÕ¾Ïà¹ØµÄ²Ù×÷£»3¡¢ÊìÁ·²Ù×÷¹«Ë¾ÍøÕ¾¶ÀÁ¢ºǫ́£¬¼°Ê±´¦Àí½øÐÐÖеݸ¼þ£»4¡¢ÄÍÐÄÓè¹Ë¿ÍÏ꾡µÄ·þÎñ£¬Ôö¼Ó¿Í»§µÄÂúÒâ¶È£¬Î¬»¤¿Í»§¹Øϵ¡£Ö°Î»ÒªÇó£º1¡¢ÆÕͨ»°±ê×¼£¬¿Ú³ÝÇåÎú£»2¡¢¸»ÓÐÄÍÐĺÍÔðÈÎÐÄ£¬¾ßÓÐÍŶӺÏ×÷Òâʶ£»3¡¢Ë¼Î¬Ãô½Ý¡¢Á¼ºÃµÄ·þÎñÒâʶ£¬µçÄÔ²Ù×÷ÊìÁ·£»4¡¢ÖÐר¼°ÒÔÉÏѧÀú¡£¸£Àû´ýÓö£º1¡¢¹«Ë¾ÌṩÍêÉƵÄн×Ê¡¢ÎåÏÕÒ»½ðµÈ¸£Àû´ýÓö£»2¡¢¹«Ë¾¶¨ÆÚÌṩÓÅÔ½µÄÔ±¹¤½±Àø·½Ê½£¬ÄÜÁ¦ÓÅÐãÕߣ¬Óй㷺µÄ·¢Õ¹¡¢½úÉý¿Õ¼ä£»3¡¢ÈëÖ°ºóÂúÒ»Ä깫˾Ìṩ´øнÄê¼Ù¼°ÄêÖÕ½±µÈ¸£Àû´ýÓö¡£

Ö°ÄÜÀà±ð£º
¿Í·þרԱ/ÖúÀí

¹Ø¼ü×Ö£º
¿Í·þ
ÔÚÏß¿Í·þ
ÏßÉÏ¿Í·þ

¾Ù±¨
·ÖÏí

Python3爬取网页信息乱码怎么解决?(更新:已解决)相关推荐

  1. [python] 常用正则表达式爬取网页信息及分析HTML标签总结

    这篇文章主要是介绍Python爬取网页信息时,经常使用的正则表达式及方法.它是一篇总结性文章,实用性比较大,主要解决自己遇到的爬虫问题,也希望对你有所帮助~ 当然如果会Selenium基于自动化测试爬 ...

  2. 常用正则表达式爬取网页信息及分析HTML标签总结

    这篇文章主要是介绍Python爬取网页信息时,经常使用的正则表达式及方法.它是一篇总结性文章,实用性比较大,主要解决自己遇到的爬虫问题,也希望对你有所帮助~ 当然如果会Selenium基于自动化测试爬 ...

  3. 利用脚本动态爬取网页信息

    利用脚本动态爬取网页信息 编译环境:Jupyter Notebook (Anaconda3) 调用的包:selenium,webdrive,webdriver_manager 文章目录 利用脚本动态爬 ...

  4. Python爬虫:Xpath爬取网页信息(附代码)

    Python爬虫:Xpath爬取网页信息(附代码) 上一次分享了使用Python简单爬取网页信息的方法.但是仅仅对于单一网页的信息爬取一般无法满足我们的数据需求.对于一般的数据需求,我们通常需要从一个 ...

  5. python正则表达式爬取网页数据_常用正则表达式爬取网页信息及HTML分析总结

    Python爬取网页信息时,经常使用的正则表达式及方法. 1.获取 标签之间内容2.获取 超链接之间内容3.获取URL最后一个参数命名图片或传递参数4.爬取网页中所有URL链接5.爬取网页标题titl ...

  6. 常用正则表达式爬取网页信息及HTML分析总结

    Python爬取网页信息时,经常使用的正则表达式及方法. 1.获取<tr></tr>标签之间内容 2.获取<a href..></a>超链接之间内容 3 ...

  7. Python3爬取今日头条文章视频数据,完美解决as、cp、_signature的加密方法(2020-6-29版)

    前言 在这里我就不再一一介绍每个步骤的具体操作了,因为在爬取老版今日头条数据的时候都已经讲的非常清楚了,所以在这里我只会在重点上讲述这个是这么实现的,如果想要看具体步骤请先去看我今日头条的文章内容,里 ...

  8. python3爬取网页数据学习笔记——XPath篇

    数据来源网站:2016中国企业500强排行榜(完整名单)→买购网 (maigoo.com) 参考资料:python3 爬取网页表格例子_快乐糖果屋的博客-CSDN博客 右键数据部分,选择检查 观察到需 ...

  9. Python 爬取网页信息并保存到本地爬虫爬取网页第一步【简单易懂,注释超级全,代码可以直接运行】

    Python 爬取网页信息并保存到本地[简单易懂,代码可以直接运行] 功能:给出一个关键词,根据关键词爬取程序,这是爬虫爬取网页的第一步 步骤: 1.确定url 2.确定请求头 3.发送请求 4.写入 ...

最新文章

  1. 专访阿里达摩院聂再清:不能让每个人无差别享受AI,是程序员的耻辱
  2. 【RegExp】JavaScript中正则表达式判断匹配规则以及常用方法
  3. 埋点全解 2:iOS 应用程序状态
  4. java 移动页面中的图片上传_HTML5移动端图片上传(一)
  5. Visual C++ 2008 runtime files are out of data
  6. 数学学习的心理——关于数学中的挫败的反思及若干启示
  7. VS Code 1.38 发布,官方图标存储库发布
  8. 5款最好用的前端开发工具
  9. Springboot自行车在线租赁系统毕业设计源码101157
  10. 制冷与空调设备运行操作作业题库(含答案)
  11. Java-RPC通信--HSF框架
  12. 【TS】GARCH模型(1)
  13. 中南林业科技大学的计算机研究生分数线,2020中南林业科技大学研究生分数线(以及历年复试)...
  14. 关于AndEngine显示全屏问题
  15. leetcode-3:最长无重复字串
  16. Python小知识:推导式用法大全,Comprehension
  17. 大学计算机372=多少Q,计算机网络Q0831
  18. 高通SDX12:基于sgm4151x的充电IC代码架构
  19. vue项目中获取当前设备 操作系统及版本,设备型号,ip,地区信息
  20. jquery数字动画插件jquery.animateNumber.js

热门文章

  1. externalreferences 命令在 sdi 模式下不可用_一个适合新手交互式Git命令学习项目
  2. 加仓减仓口诀_做短线必备口诀
  3. 安装好hadoop集群后,报错如下n org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /data/hadoop-roo
  4. python类和实例化
  5. Luogu1443 马的遍历【STL通俗BFS】
  6. zabbix 从入门到精通
  7. Git-分布式版本控制系统
  8. 【翻译】在Ext JS和Sencha Touch中创建自己定义布局
  9. MQTT-SN协议乱翻之实现要点
  10. 虚拟机VMware里 windows server 2003 扩充C盘方法