1.简单网页

#!/usr/bin/env python
# -*- coding:utf-8 -*-import urllib.requestfile = urllib.request.urlopen("https://www.jd.com")
data = file.read()
# dataline = file.readline()
print(data)fhandle = open("E:/python/1_1.html", "wb")
fhandle.write(data)
fhandle.close()# filename = urllib.request.urlretrieve("http://edu.51cto.com", filename="E:/python/2.html")
# filename2 = urllib.request.urlretrieve("http://www.jd.com", filename="E:/python/3.html")print(file.getcode())
print(file.geturl())

2.模拟浏览器

#!/usr/bin/env python
# -*- coding:utf-8 -*-import urllib.requesturl = "https://blog.csdn.net/java_zhangshuai/article/details/81749208"
headers = ("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36")
opener = urllib.request.build_opener()
opener.addheaders = [headers]
data = opener.open(url).read()
print(data)
fhandle = open("E:/python/2_1.html", "wb")
fhandle.write(data)
fhandle.close()

3.http请求

#!/usr/bin/env python
# -*- coding:utf-8 -*-import urllib.requestkeywd = "hello"
# 中文等不符合url标准的,需要编码
keywd = urllib.request.quote(keywd)
url = "http://www.baidu.com/s?wd=" + keywd
req = urllib.request.Request(url)
data = urllib.request.urlopen(req).read()fhandle = open("E:/python/3_1.html", "wb")
fhandle.write(data)
fhandle.close()import urllib.parseurl = "http://www.iqianyue.com/mypost"
data = {"name": "zhangsan", "pass": "zhangsanpass"}
postdata = urllib.parse.urlencode(data).encode("utf-8")for x in range(1, 3):try:req = urllib.request.Request(url, postdata)req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36")data = urllib.request.urlopen(req).read()fhandle = open("E:/python/3_2.html", "wb")fhandle.write(data)fhandle.close()print(len(data))except Exception as e:print("出现异常--->"+str(e))

4.爬取某电商商品列表下的图片集合

#!/usr/bin/env python
# -*- coding:utf-8 -*-import urllib.request
import redef craw(url, page):html1 = urllib.request.urlopen(url).read()html1 = str(html1)pat1 = '<div id="plist".+? <div class="page clearfix">'# 根据pat1,过滤出图片部分result1 = re.compile(pat1).findall(html1)result1 = result1[0]pat2 = '<img width="220" height="220" data-img="1" src="//(.+?\.jpg)">'# 根据pat2,过滤出图片listimagelist = re.compile(pat2).findall(result1)x = 1for imageurl in imagelist:print(imageurl)imagename = "E:/python/爬虫/" + str(page) + str(x) + ".jpg"imageurl = "https://" + imageurltry:# 将图片链接是imageurl的图片存在路径为imagename的地方urllib.request.urlretrieve(imageurl, filename=imagename)except:x += 1x += 1for i in range(1, 10):url = "https://list.jd.com/list.html?cat=9192,12632,12633&page=" + str(i)craw(url, i)

[python]---从java到python(03)---爬虫相关推荐

python和java哪个-Python和Java两门编程语言，学习哪个更好？
首先,在选择学习Java编程语言还是Python编程语言之前,得明白自己学习编程的目的是什么?是为了学会变成后跳入互联网企业工作,为转行做准备:还是想快速入门编程语言,学习一份技能傍身,为将来做打算. ...
java和python工资-Java和Python哪个薪资更高？
原标题:Java和Python哪个薪资更高? Python和Java二选一该学啥? 这个问题嘛.如果你问一名Java程序员,肯定会建议你先学Java,因为他们认为Python像个乳臭未干的黄毛小子.但 ...
python和java哪个-Python和Java哪个好？有什么区别？
问题:Python和Java哪个好? 答: Python和java两个都是编程语言,用来操作计算机的一种高级语言,没有好不好,只有是否用对地方. 区别: ·Python入门简单,但如果要用Python ...
python和java哪个-Python和Java到底哪个更好？
某同学问小优:"小优小优,学Java好还是学Python好?" 小优跑去问大神(90度鞠躬):"大神,大神,学Java好还是学Python好?" 大神嫌弃的看了 ...
python和java哪个-Python与Java-你首选哪个？
关于开发人员来说,争辩最多的话题是PythonvsJava!是!这两种言语是著名的,具有不同的功用和功用.可是,哪一个简略易学?哪个最合适你的下一个编程项目?让咱们在这儿评论所有这些工作. 编程言语在 ...
python与java前景-Python与Java相比，其优势在哪？
在近几年Python的呼声越来越高,很多刚开始起步想要学习编程的朋友都会犹豫要不要选择学习Python,毕竟作为人工智能时代的首选语言这个诱惑还是很大的.在选择上最纠结的就是Python和Java选择 ...
python与java前景-Python和Java就业前景对比
Python和Java都是目前被广泛使用的编程语言,一个是后起之秀,潜力无限:一个是行业经典,成熟稳定.而随着大数据和人工智能的发展,Python语言的上升趋势比较明显,在某些领域甚至已经超过了Jav ...
[python]---从java到python(01)---基础与入门上手
前言我本是java派的,已经有几年了,直接也接触过其他语言,比如从最早的汇编语言到高级语言始祖的C; 但是近来越发觉得python很火,现在以我的视角开始写入门python基础,算是入坑了; 我的计 ...
python与java区别-python(一)：python与java语法的异同之处
1.变量 java中定义变量,int a=0;而python中为 a=0;由此可见java要事先申明数据类型,python中无需事先申明数据类型,拿来就可以用,Python 的语法要比Java 更灵活 ...

[python]---从java到python(03)---爬虫

1.简单网页

2.模拟浏览器

3.http请求

4.爬取某电商商品列表下的图片集合

[python]---从java到python(03)---爬虫相关推荐

最新文章

热门文章