python 读写文件 把爬取的图片信息写入文件
1.打开文件时,file 和io.open的区别
file :如果文件不存在直接报错
open :如果文件不存在先创建文件再进行写入
2.把字符串写入csv文件
ab+ 追加内容到csv文件 ab 追加内容到csv文件但是第一行会空出来 wb 普通的读写csv文件 但是再次运行会覆盖以前的内容
import csvprint '把字符串写入csv文件'
list =['1','2','3' ]
csvfile=file('F:\\images\\test.csv','ab+')
writer =csv.writer(csvfile)
writer.writerow(['Column12', 'Column2', 'Column3'])
lines = [range(3) for i in range(5)]
print lines #[[0, 1, 2], [0, 1, 2], [0, 1, 2], [0, 1, 2], [0, 1, 2]]
for line in lines:writer.writerow(line) #写入的list list里面是的元素是字符串 一行一行的写入#writer.writerow(list) #一次性直接全部写入
文件中会出现5行数据为0,1,2 和头行为Column12, Column2, Column3的文件
3.把日期当作文件名,把list 写入文件
time.strftime(‘%Y-%m-%d’,time.localtime(time.time())):like 2018-02-17
import time
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )print '获取当前时间'
print time.time()
print time.localtime(time.time())
print time.strftime('%Y-%m-%d',time.localtime(time.time()))length=len(soup.find_all('img'))
d=soup.find_all('img')
list=[]print '写入文件'
csvfile=io.open('F:\\images\\'+time.strftime('%Y-%m-%d',time.localtime(time.time()))+'.csv','ab+')
writer =csv.writer(csvfile)
for x in range(length):# print d[x].attrs['alt']if(d[x].attrs.has_key('alt')):string=d[x].attrs['src']+'|'+ d[x].attrs['alt']print stringlist.append(d[x].attrs['src']+'|'+ d[x].attrs['alt']) #list 存入字符串含中文时,实际是存的unicode 编码 \uxxxxprint listwriter.writerow(list)list.pop()
csvfile.close()
print '读取文件'
for line in open('F:\\images\\'+time.strftime('%Y-%m-%d',time.localtime(time.time()))+'.csv'):print line
4.字符串写入文件时出现UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position
将字符串写入文本时出现解决UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position
解决办法:
在开头加上
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
**然后写入文件成功但是文件中时 ,中文又是乱码 直接打开csv文件乱码 使用notepad++打开时 是正常显示的
,python在读取文件的时控制台是正常显示的 ,在java程序中读取也是显示正常的 查资料显示是windows系统的问题**
python 读写文件 把爬取的图片信息写入文件相关推荐
- Python爬虫系列:爬取小说并写入txt文件
导语: 哈喽,哈喽~都说手机自带的浏览器是看小说最好的一个APP,不须要下载任何软件,直接百度就ok了. 但是小编还是想说,如果没有网,度娘还是度娘吗?能把小说下载成一个.txt文件看不是更香吗?这能 ...
- Python爬虫实战 | (22)爬取开放服务器的文件
1.任务背景 现已提供数据文件,其中两个字段是ftp链接,每一条数据有两个链接,链接对应开放服务器的文件列表,该项任务主要把文件列表中指定的压缩包文件下载下来. 数据如图所示: 在浏览器中打开对应的某 ...
- python自动化办公之爬取HTML图片写入PPT实战
python自动化办公之批量图片导入PPT 昨天,大Boss找到一个网页,觉得里面的图片内容特别好,想把它下载下来作为学习资料,整理整理教导下属.但是,手动一张一张的保存图片太慢了,问我可不可以下载下 ...
- python爬虫:解决爬取文字时写入出现的NBSP(空格)现象
当我们爬取文字存储到txt文本时出现NBSP现在的解决方法.把空格去掉用str(remove).replace(u'\xa0', '')去解决 电影名称: 肖申克的救赎[NBSP] 电影名称: 霸王别 ...
- python抓取表格数据_Python如何实现从PDF文件中爬取表格数据(代码示例)
本篇文章给大家带来的内容是关于Python如何实现从PDF文件中爬取表格数据(代码示例),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助. 本文将展示一个稍微不一样点的爬虫. 以往我们的 ...
- [python]豆瓣网爬取图书图片信息教程
[python]豆瓣网爬取图书图片信息教程 1.准备工作:已经爬取了图片的URL,图书的相关信息,以便后期进行标记. 画圈处为图片链接和图书ID(用于匹配图片) 2.定义url数组和id数组 作用同上 ...
- 【Python爬虫】从零开始爬取Sci-Hub上的论文(串行爬取)
[Python爬虫]从零开始爬取Sci-Hub上的论文(串行爬取) 维护日志 项目简介 步骤与实践 STEP1 获取目标内容的列表 STEP2 利用开发者工具进行网页调研 2.1 提取文章链接和分页链 ...
- 使用python和PyQt5编写爬取百度图片的界面工具
使用python和PyQt5编写爬取百度图片的界面工具 本篇文章的主要内容是展示我个人编写的,以界面小工具的方式爬取百度上面的图片,功能很单一,根据关键词爬取图片,代码很简单,新手上路请多指教. 代码 ...
- 每日一练:Python国内疫情数据爬取与地图绘制
Python 国内疫情数据爬取与地图绘制 效果图 累计确诊疫情地图绘制 ① 时时数据抓取 ② 获取省份疫情数据 ③ 视觉配置项分段颜色数据设置 ④ 累计确诊疫情地图绘制 现存确诊疫情地图绘制 ① 获取 ...
- python爬虫课设-爬取3000条数据并做数据可视化
很久以前接的单子,分享一下(挺水的,将就着看吧) 文章目录 作业要求 数据爬取 爬取结果 数据处理 数据可视化 大作业文档 作业要求 <Python与数据分析>期末大作业要求(2020-2 ...
最新文章
- 在Digital Ocean上的MongoDB
- im4java转换图片格式_ImageMagick和im4java处理图片[转]
- C++之shared_ptr总结
- .net运行项目的几种形式
- 如何查看CO凭证号码及明细
- 逆向project实战--Acid burn
- Tomcat7.0+的JNDI问题
- 通过Filter统一全站编码
- 如何将公式插入到word
- 这有一个机器人,粉刷本领强
- NUC1076 LCD-Display【打印图案】
- Android移动应用基础教程【广播机制】
- Oracle-创建服务器参数文件
- 宁波户外广告调查报告
- java redis源码分析,慢谈 Redis 实现分布式锁 以及 Redisson 源码解析
- in front of 与in the front of区别
- 鼎捷t100架构_浅谈鼎捷T100 ERP的设计器使用规范
- 做什么样的软件才能赚钱? 学什么样的知识才能赚钱? 肖舸老师
- 小程序页面生命周期函数
- python高维数据降维_高维数据降维——主成分分析