python字符串垂直输出加循环_将漂亮的soup嵌套循环垂直输出到datafram中

我如何将这个web抓取(数据)的输出放入pandas数据帧？

下面的代码只显示一行数据，并且是垂直排列的。如何使数据帧看起来完全像打印(数据)-即水平？

另外，我是个新手，这可不是Python。请建议如何使其成为函数(？)？

我尝试了所有类型的append和concat函数，但是嵌套循环会使一切都陷入错误。请帮忙。

提前谢谢你。在from bs4 import BeautifulSoup as bs

import urllib.request

import re

import pandas as pd

Url1 = 'http://www5.statcan.gc.ca/cimt-cicm/topNCountryCommodities-marchandises?lang=eng&chapterId=27&sectionId=0&refMonth='

Url2 = '&refYr='

Url3 = '&freq=6&countryId=999&usaState=0&provId=1&arrayId=9900000&commodityId=271111&commodityName=Natural+gas%2C+liquefied&topNDefault=10&tradeType=3'

regexQ = re.compile('Date1 Qty')

regexC = re.compile('Footnote')

regexV = re.compile('Date1 Val')

import csv

import collections

for year in range(2016, 2018):

for month in range(0, 13):

sauce = urllib.request.urlopen(Url1+str(month)+Url2+str(year)+Url3).read().decode('utf-8')

soup = bs(sauce, 'lxml')

select = soup.find_all('option', selected=True)

for i in select:

Month=select[4]

Year=select[3]

month=Month.text

year=Year.text

#print(year)

#print(month, year)

value = [x.text.strip() for x in soup.find_all("td", {"headers": regexV})]

country = [x.text.strip() for x in soup.find_all("a", {"href": regexC})]

quantity = [x.text.strip() for x in soup.find_all("td", {"headers": regexQ})]

total_list = [list(x) for x in zip(country,quantity,value)]

for item in total_list:

h=[year , month]

data = h + item

print(data)

df = pd.DataFrame(data=data)

df.head

python字符串垂直输出加循环_将漂亮的soup嵌套循环垂直输出到datafram中相关推荐

python什么语句提前结束循环_在循环语句中,__________语句的作用是提前结束本层循环。...
[判断题]列表对象的 extend( )方法属于原地操作,调用前后列表对象的地址不变. [单选题]Python 中,for 和 while 可以有 else 语句?( ) [判断题]对于大量列表的连接 ...
python字符串与列表与运算_[Python学习笔记1]Python语言基础数学运算符字符串列表...
这个系列是我在学习Python语言的过程中记录的笔记,主要是一些知识点汇总,而非学习教程,可供有一定编程基础者参考.文中偏见和不足难以避免,仅供参考,欢迎批评指正. 本系列笔记主要参考文献是官网文档: ...
python字符串说法错误的是_以下选项中,关于Python字符串的描述错误的
以下选项中,关于Python字符串的描述错误的答:Python字符串提供区间访问方式,采用[N:M]格式,表示字符串中从N到M的索引子字符串(包含N和M) 寒武纪生物大爆发的原因可能是答:间断平衡 ...
python字符串描述错误的是_以下选项中，关于Python，字符串的描述错误的是
以下选项中,关于Python,字符串的描述错误的是答:Python字符串的切片方式是[N,M],不包括M 从<花>这首诗中,第三种个性是什么样的? 答:不能当机立喜欢抱怨杨氏模量大, ...
python输出如何加单位_如何以十为单位写出数据输出
我一直在跟随这个教程来理解线性分类模型及其应用.我在人口普查数据之外举了一个不同的例子,我可以用evaluate得到准确度.在现在我感兴趣的是用预测的列值打印出测试数据行.在import rando ...
python 字符串排序偶数位交换_在Python中将字符串列表转换为整数排序列表
当我们必须处理以字符串表示的数字时,使用python分析数据可以为我们带来情景.在本文中,我们将获取一个列表,其中包含以字符串形式出现的数字,我们需要将其转换为整数,然后以排序方式表示它们. 带图和排 ...
python从安装开始加粉_清华教授用了12小时讲完的Python，整整400集，拿走不谢！...
Python在近几年越来越受追捧,很多童鞋或者职场小伙伴想要提升技能-学习Python. 这是非常好的事情,但问题在于很多人不知道学Python做什么,所以什么零碎细末.艰难晦涩.长篇大论的都去看,很 ...
python字符串剔除空格和逗号_用逗号分隔并在Python中删除空格
用逗号分隔并在Python中删除空格我有一些python代码分裂逗号,但不剥离空格: >>> string = "blah, lots , of , spaces, he ...
python什么语句提前结束循环_在循环语句中,break语句的作用是提前结束循环。
[单选题]__________ sind Sie? Ich bin Studentin. [填空题]_______ Internet [单选题]()函数可以返回x的整数部分? [单选题]_______ ...

python字符串垂直输出加循环_将漂亮的soup嵌套循环垂直输出到datafram中

python字符串垂直输出加循环_将漂亮的soup嵌套循环垂直输出到datafram中相关推荐

最新文章

热门文章