初识python之 APP store排行榜蜘蛛抓取(一)

直接上干货！！

采用python 2.7.5-windows

打开 http://www.apple.com/cn/itunes/charts/free-apps/

如上图可以见采用的是utf-8 编码

经过一番思想斗争编码如下（拍砖别打脸）

#coding=utf-8
import urllib2
import urllib
import re
import thread
import time#----------- APP store 排行榜 -----------
class Spider_Model:    def __init__(self):    self.page = 1    self.pages = []    self.enable = False    def GetCon(self):    myUrl = "http://www.apple.com/cn/itunes/charts/free-apps/"    user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'   headers = { 'User-Agent' : user_agent }   req = urllib2.Request(myUrl, headers = headers)   myResponse = urllib2.urlopen(req)  myPage = myResponse.read()    #encode的作用是将unicode编码转换成其他编码的字符串    #decode的作用是将其他编码的字符串转换成unicode编码       print myPageprint ' '
myModel = Spider_Model()
myModel.GetCon()

　　采集页面字符集 python文件字符集统一为utf-8 （贫蛋哥是认为没啥问题的）

　　打印输出结果：

拿出杀手锏 www.baidu.com

找到原因：

　　　　　　　　http://blog.csdn.net/lf8289/article/details/2465196

　　　　　　　　http://www.crifan.com/unicodeencodeerror_gbk_codec_can_not_encode_character_in_position_illegal_multibyte_sequence/

　　各种狂改中.......

#coding=gbk   编码修改为gbk
import urllib2
import urllib
import re
import thread
import time#----------- APP store 排行榜 -----------
class Spider_Model:    def __init__(self):    self.page = 1    self.pages = []    self.enable = False    def GetCon(self):    myUrl = "http://www.apple.com/cn/itunes/charts/free-apps/"    user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'   headers = { 'User-Agent' : user_agent }   req = urllib2.Request(myUrl, headers = headers)   myResponse = urllib2.urlopen(req)  myPage = myResponse.read()    #encode的作用是将unicode编码转换成其他编码的字符串    #decode的作用是将其他编码的字符串转换成unicode编码    unicodePage = myPage.decode('utf-8').encode('gbk','ignore') #采集页面编码为utf-8  转为 gbk (ignore来忽略非法的字符)

　　　　　print unicodePage

　　　　print ' ' 　　　　myModel = Spider_Model() 　　　　myModel.GetCon()

　　运行结果：

转载于:https://www.cnblogs.com/etodream/p/3918264.html

初识python之 APP store排行榜蜘蛛抓取(一)相关推荐

python爬虫app步骤_Python爬虫抓取手机APP的传输数据，python爬虫抓取app
Python爬虫抓取手机APP的传输数据,python爬虫抓取app 大多数APP里面返回的是json格式数据,或者一堆加密过的数据 .这里以超级课程表APP为例,抓取超级课程表里用户发的话题. 1. ...
如何用python抓取文献_浅谈Python爬虫技术的网页数据抓取与分析
浅谈 Python 爬虫技术的网页数据抓取与分析吴永聪 [期刊名称] <计算机时代> [年 ( 卷 ), 期] 2019(000)008 [摘要] 近年来 , 随着互联网的发展 , 如何 ...
全文搜索引擎有哪些?_搜索引擎工作原理是什么？seo蜘蛛抓取会受到哪些因素影响？...
seo优化就是搜索引擎优化,就是对网站进行各方面调整,使其更符合搜索引擎的算法要求,从而得到更多的流量及转化,所以做seo必须要多搜索引擎有更多的认识和了解.搜索引擎有哪些功能模块?它的工作原理是什么 ...
外贸网络推广浅谈蜘蛛抓取频次的原则跟哪些有关？
众所周知,外贸网络推广表示,百度蜘蛛会根据网站设置的协议对站点的页面进行抓取,但也并不是每个站点都能保持同样的抓取频次,也并不会对每个网站都保持喜爱,但想要网站提高排名,让蜘蛛保持优质的抓取频次很重要 ...
网站推广收录少？网站推广专员浅析可能是蜘蛛抓取出现问题
从事过网站优化相关工作的人士都了解,企业网站想要在搜索引擎中获取良好的排名,没有充足的收录量作为基础很难实现.在网站优化期间,网站收录量有太多可影响因素,那么针对收录量偏低的网站来说,如果是搜索引擎蜘 ...
python中国大学排名爬虫写明详细步骤-Python爬虫--2019大学排名数据抓取
Python爬虫--2019大学排名数据抓取准备工作输入:大学排名URL连接输出:大学排名信息屏幕输出所需要用到的库:requests,bs4 思路获取网页信息提取网页中的内容并放到数据结 ...
Python语言程序设计之urllib.request抓取页面，网易公开课之《麻省理工学院公开课：算法导论》
Python语言用urllib.request模块抓取页面非常简单,再将抓取的页面内容用re模块解析,找出自己想要的东西.下面就就此方法来抓取网易公开课之<麻省理工学院公开课:算法导论>, ...
python爬虫资源大全_Python爬虫抓取纯静态网站及其资源（基础篇）
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理以下文章来源于腾讯云作者:程序员宝库 **( 想要学习Python?Python ...
php抓取aspx_哪些因素会影响蜘蛛抓取页面？
我们在优化网站时,有很多设置是不利于蜘蛛抓取的,具体有哪些呢? 建设网站地图网站地图就像一个指向标,唯有清晰明了的指向标,才能指引蜘蛛抓取的路线.如果网站地图清晰明了,蜘蛛很乐意在网站进行爬行.但是 ...

初识python之 APP store排行榜蜘蛛抓取(一)

初识python之 APP store排行榜蜘蛛抓取(一)相关推荐

最新文章

热门文章

初识python之 APP store排行榜 蜘蛛抓取(一)

初识python之 APP store排行榜 蜘蛛抓取(一)相关推荐

最新文章

热门文章

初识python之 APP store排行榜蜘蛛抓取(一)

初识python之 APP store排行榜蜘蛛抓取(一)相关推荐