利用python读取csv文件中url并下载

这是天池竞赛中数据集下载的csv文件，在这里当然也可以用wget在linux中进行下载，但这样感觉不太cool。

写了个python程序，文件夹栏

import pandas as pd
import os
from urllib.request import urlretrieve
class download(object):def __init__(self):super(download, self).__init__()def start(self):root=os.getcwd()data=pd.read_csv(root+"/steet_character_detector/data/mchar_data_list_0515.csv")for i in range(data.shape[0]):url=data.iloc[i,2]print(url)local=url.split("/")[-1]local=root+"/steet_character_detector/data/"+localtry:urlretrieve(url, local,self.callbackfunc)  #except Exception as e:print ("Exception")def callbackfunc(self,blocknum, blocksize, totalsize):'''回调函数@blocknum: 已经下载的数据块@blocksize: 数据块的大小@totalsize: 远程文件的大小'''print  ("blocknum  ",blocknum,"blocksize ",blocksize,"totalsize ",totalsize)percent = 100.0 * blocknum * blocksize / totalsizeif percent > 100:percent = 100print ("%.2f%%" % percent,"    ",blocknum *blocksize,"    ",totalsize)
root=os.getcwd()
data=pd.read_csv(root+"/steet_character_detector/data/mchar_data_list_0515.csv")
print(data.head())
if __name__ == '__main__':d = download()d.start()

利用python读取csv文件中url并下载相关推荐

python获取股指_用Python读取csv文件中的沪深300指数历史交易数据
保存路径:D:\python\用Python读取csv文件中的沪深300指数历史交易数据程序名称:readcsvhs300.py: 数据名称:沪深300指数历史交易数据.csv: 开发环境:Win7 ...
python计算csv列平均值_利用Python读取CSV文件并计算某一列的均值和方差
近日需要对excel的csv文件进行处理,求取某银行历年股价的均值方差等一系列数据文件的构成很简单,部分如下所示总共有接近七千行数据,主要的工作就是将其中的股价数据提取出来,放入一个数组之中,然后 ...
python读取csv求平均数_利用Python读取CSV文件并计算某一列的均值和方差
近日需要对excel的csv文件进行处理,求取某银行历年股价的均值方差等一系列数据文件的构成很简单,部分如下所示总共有接近七千行数据,主要的工作就是将其中的股价数据提取出来,放入一个数组之中,然后 ...
python读取CSV文件中温度值绘制3D折线图
import pyecharts.options as opts from pyecharts.charts import Line3D import random import csv filena ...
python对csv文件中的数据进行分类_利用Python对csv文件中的数据进行排序
代码如下: #导入包 import pandas as pd from pandas import DataFrame,Series #设置路径 path='C:\\Users\\jyjh\\Desk ...
python怎么读取csv的一部分数据_python批量读取csv文件如何用python将csv文件中的数据读取成数组...
如何用python把多个csv文件数据处理后汇总到新csv文件你看这月光多温柔,小编转头还能看见你,一切从未坍塌. 可以用pandas读取数据,首先把文件方同一个文件价里,然后对当前文件价的所有内容循 ...
python读取csv文件的方法-CSV文件在Python中的几种处理方式
Comma Separated Values,简称CSV,它是一种以逗号分隔数值的文件类型.在数据库或电子表格中,它是最常见的导入导出格式,它以一种简单而明了的方式存储和共享数据,CSV文件通常以纯文 ...
[转载] 利用python对csv文件进行简单的数据分析
参考链接: Python中的探索性数据分析利用python对csv文件进行简单的数据分析在通过爬虫爬取数据后,将数据放到csv文件里,为了方便观察,可以对数据进行简单的分析.下面我将对爬取的51j ...
技术图文：C# VS. Python 读取CSV文件指南
背景 CSV 是一种以逗号进行特征分隔的文本文件类型,在数据库或电子表格中是一种非常常见的导入导出格式.本篇图文就以泰坦尼克号船员获救预测( Kaggle)中使用的数据集为例来说明 C#.Python ...

利用python读取csv文件中url并下载

利用python读取csv文件中url并下载相关推荐

最新文章

热门文章