Python学习-简单爬虫及文件保存

百度数据抓取及保存文件：

import requests# 获取网站信息
response = requests.get("http://www.baidu.com"); #生成一个response对象
response.encoding = response.apparent_encoding; #设置编码格式
#response.encoding = "utf-8"; #设置接收编码格式
print("状态码:" + str(response.status_code)); #打印状态码
#print(response.text); #输出爬取的信息
#保存文件
file = open("D:\\baidu.html","w",encoding="utf")  #打开一个文件，w是文件不存在则新建一个文件，这里不用wb是因为不用保存成二进制
file.write(response.text);
file.close();

知乎数据抓取及保存文件：

import requests#response = requests.get( "http://www.zhihu.com")  #第一次访问知乎，不设置头部信息
#print( "第一次,不设头部信息,状态码:"+response.status_code )# 没写headers，不能正常爬取，状态码不是 200
#下面是可以正常爬取的区别，更改了User-Agent字段
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
}#设置头部信息,伪装浏览器
response = requests.get("http://www.zhihu.com" , headers=headers);  #get方法访问,传入headers参数，
print("状态码:" + str(response.status_code)); # 200！访问成功的状态码
#print(response.text);
#保存文件
file = open("D:\\zhuhu.html","w",encoding="utf")  #打开一个文件，w是文件不存在则新建一个文件，这里不用wb是因为不用保存成二进制
file.write(response.text);
file.close();

保存图片：

#保存百度图片到本地import requests #先导入爬虫的库，不然调用不了爬虫的函数response = requests.get("https://www.baidu.com/img/baidu_jgylogo3.gif")  #get方法的到图片响应file = open("D:\\baidu_logo.gif","wb") #打开一个文件,wb表示以二进制格式打开一个文件只用于写入file.write(response.content) #写入文件file.close()#关闭操作，运行完毕后去你的目录看一眼有没有保存成功

Python学习-简单爬虫及文件保存相关推荐

python秒懂百科视频,Python开发简单爬虫
Python开发简单爬虫源码网址: http://download.csdn.NET/detail/hanchaobiao/9860671 一.爬虫的简介及爬虫技术价值 1.什么是爬虫: 一段自动 ...
c语言实现爬虫功能,用C/C 扩展Python语言_python 调用c语言 python实现简单爬虫功能_python实现简单爬虫...
用C/C 扩展Python语言 Python是一门功能强大的脚本语言,它的强大不仅表现在功能上,还表现在其扩展性上.她提供大量的API以方便程序员利用C/C++对Python进行扩展.因为执行速度慢几 ...
Python学习网络爬虫--转
原文地址:https://github.com/lining0806/PythonSpiderNotes Python学习网络爬虫主要分3个大的版块:抓取,分析,存储另外,比较常用的爬虫框架Scra ...
Python学习之路5☞文件处理
Python学习之路5☞文件处理一.文件处理流程打开文件,得到文件句柄并赋值给一个变量通过句柄对文件进行操作关闭文件 1 正趣果上果 2 Interesting fruit fruit 3 4 ...
Python学习笔记D9（文件）
Python学习笔记D9(文件) 文件 1.打开文件 open(file, mode='r') 接收两个参数:文件名(file)和模式(mode),用于打开一个文件,并返回文件对象,如果该文件无法被打 ...
imooc疯狂的蚂蚁《Python开发简单爬虫》源代码
以下为imooc疯狂的蚂蚁<Python开发简单爬虫>源代码,调试有些问题. html_downloader.py import html_downloader import html_o ...
从零开始学习python编程-从零开始的Python学习 -- 简单的练习题
从零开始的Python学习 – 简单的练习题目录: 从零开始的Python学习 -- 简单的练习题前言: 顺序结构 A+B problem 苹果采购分支结构数的性质闰年判断 Apple 循环 ...
003.[python学习] 简单抓取豆瓣网电影信息程序
003.[python学习] 简单抓取豆瓣网电影信息程序声明:本程序仅用于学习爬网页数据,不可用于其它用途. 本程序仍有很多不足之处,请读者不吝赐教. 依赖:本程序依赖BeautifulSoup4和 ...
Python开发简单爬虫 - 慕课网
课程链接:Python开发简单爬虫环境搭建: Eclipse+PyDev配置搭建Python开发环境 Python入门基础教程用Eclipse编写Python程序课程目录第1章课程介绍 1- ...

Python学习-简单爬虫及文件保存

Python学习-简单爬虫及文件保存相关推荐

最新文章

热门文章