1. 如何爬取网页上的历史数据

import pandas as pd

url='xxxxx'

dlt_df=pd.read_html(url)[0]

2.读写excel

df = pd.read_excel("input.xlsx")

df.to_excel("output.xlsx)

pandas.read_excel(io,

sheet_name=0,

header=0,

names=None,

index_col=None,

parse_cols=None,

usecols=None,

squeeze=False,

dtype=None,

engine=None,

converters=None,

true_values=None,

false_values=None,

skiprows=None,

nrows=None,

na_values=None,

keep_default_na=True,

verbose=False,

parse_dates=False,

date_parser=None,

thousands=None,

comment=None,

skip_footer=0,

skipfooter=0,

convert_float=True,

mangle_dupe_cols=True,

**kwds)

DataFrame.to_excel(excel_writer,

sheet_name='Sheet1',

na_rep='',

float_format=None,

columns=None,

header=True,

index=True,

index_label=None,

startrow=0, startcol=0,

engine=None,

merge_cells=True,

encoding=None,

inf_rep='inf',

verbose=True,

freeze_panes=None)

3.一串数字有多少个组合

x=[x for x in range(1,36) ]

allred=list(itertools.combinations(x,5))

len(allred)

4. df的数字精度

#小数点后精度

df.round()

df.round(1)

df.round({'dogs':2, 'cats':1})

#百分号

df["cnt"].map(lambda x:format(x,".2%"))

#千分位

df["cnt"].map(lambda x:format(x,","))

#单列还是全列，小数点后2位

arr=np.random.rand(6,6)

df_decimal=pd.DataFrame(arr,columns=['A','B','C','D','E','F'])

df_decimal

df_decimal['A'].map(lambda x:('%.2f')%x)

df_decimal.applymap(lambda x:('%.2f')%x)

#查看格列是啥类型

df.dtypes

#转int

for col in df.columns:

df[col]=df[col].map(lambda x:x if str(x)=='nan' else int(x))

5. df转个list

dlt_df[:4][["r1","r2","r3","r4","r5"]].values.tolist()

6. list转个df

df=pd.DataFrame(lists)

7. 2个list取差、交、并等

a = [0,1,2,3,4]

b = [0,2,6]

#普通set法

list(set(a) & set(b)) # 使用 "&" 运算求a与b的交集，输出：[0, 2]

list(set(a) | set(b)) # 使用 "|" 运算求a与b的并集，输出：[0, 1, 2, 3, 4, 6]

list(set(b) - set(a)) # 使用 "-" 运算求a与b的差(补)集： 求b中有而a中没有的元素，输出：[6]

list(set(a) - set(b)) # 使用 "-" 运算求a与b的差(补)集： 求a中有而b中没有的元素，输出：[1, 3, 4]

list(set(a) ^ set(b)) # 使用 "^" 运算求a与b的对称差集，输出：[1, 3, 4, 6]

#高效法

list(set(a).intersection(set(b))) # 使用 intersection 求a与b的交集，输出：[0, 2]

list(set(a).union(b)) # 使用 union 求a与b的并集，输出：[0, 1, 2, 3, 4, 6]

list(set(b).difference(set(a))) # 使用 difference 求a与b的差(补)集：求b中有而a中没有的元素，输出： [6]

list(set(a).difference(set(b))) # 使用 difference 求a与b的差(补)集：求a中有而b中没有的元素，输出：[1, 3, 4]

list(set(a).symmetric_difference(b)) # 使用 symmetric_difference 求a与b的对称差集，输出：[1, 3, 4, 6]

8. 2个dataframe取差、交、并等

df1=pd.DataFrame([['a',10,'男'],['b',11,'女']],columns=['name','age','gender'])

df2=pd.DataFrame([['a',10,'男']],columns=['name','age','gender'])

#取交集

pd.merge(df1,df2,on=['name','age','gender'])

#取并集

pd.merge(df1,df2,on=['name','age','gender'],how='outer')

#取差值

df1=df1.append(df2)

df1=df1.drop_duplicates(subset=['name','age','gender'],keep=False)

df1

9. 复制一个dataframe又不影响原内容

new_df=df.copy(deep=True)

10. 一个datafrme的排序

#尾部

df.tail()

df.tail(10)

#头部

data.head()

data.head(10)

#index的正序和倒序

df.sort_index()

df.sort_index(ascending=False)

#列的排序

df.sort_values(by='two')

df.sort_values(by=['one', 'two'])

#空值的前置

df.sort_values(na_position='first')

#最大的几个值, 与最小的几个值

df.nlargest(3, 'a')

df.nlargest(5, ['a', 'c'])

df.nsmallest(3, 'a')

df.nsmallest(5, ['a', 'c'])

11.