R语言

Python

Linux shell

显示更改目录

getwd()   setwd()

os.chdir()   os.getcwd()

ls -al

pwd

读写文件

read.csv()  read.table()  write.csv()  write.table()  write.xlsx()  (library (openxlsx))

import pandas as pd

pd.read_csv()  pd.read_table()  df1.to_csv(file_path)  df1.to_excel(file_path)

cat

touch

echo “xxx” > file

数据类型查看

Class(), typeof() mode()

type() isinstance(object,classinfo)

df.dtypes()  a.dtype

生成数据

matrix() array()

data.frame(col1,col2,...)

pd.Series()

pd.DataFrame(data,index =xx,columns= xx)

a=np.arange(12).reshape(3,4)

np.array()

排序

order()

df.sort()

df.sort_index() df.sort_values()

数据框合并

merge() cbind() rbind()

pd.merge()  pd.concat()

df1.join()  df1.append()

数据框选择

mydf[which(),]  subset()

df[value]--column df.loc[value]--row

df.loc[value1,value2]

df.iloc[[0,2],[1,3]]  --integer

抽样

sample(mydf) --列

mdf[sample(1:nrow(mdf),n), ] --行

df1.sample()

重命明数据框变量

names(mdf)[index] <- newName

data.rename(columns = {0:"北京",1:"上海"})

Data.columns = []

字符处理

nchar()  substr()  grep()

sub()  strsplit()   paste()

toupper()  tolower()

str.replace len()  str.startswith()

str.find()  str.strip() str.split()

re.split()  re.sub() str.upper()

数值处理

ceiling() floor() round()

trunc() log()

math.ceil() math.floor()

Math.log()  int()  round()

查看包，变量

(.packages())--已加载ls()

.packages(all.available=T) 所有

Installed.packages()  所有完整信息

dir()  --已加载变量，模块

pip list

函数运用于向量，矩阵数据框以及列表

apply()

sapply

lapply()

df['class'] = df['class'].map({'Iris-setosa': 'SET', 'Iris-virginica':'VIR', 'Iris-versicolor': 'VER'})  --- on Series

df['petal area'] = df.apply(lambda r: r['petal length'] * r['petal width'],axis=1) --- Series and df

df.applymap(lambda v: np.log(v) if isinstance(v, float) else v) ---on df values

数据框整合与重构

aggregate()

melt()  cast()

df.groupby('class').mean()

df_obj.groupby('key1').agg(func)

df_data.groupby('LeagueIndex').apply(top_n))

grouped.transform(np.sum)  ???

去除NA行

datafile[complete.cases(datafile),]

dropna(self, axis=0, how="any", thresh=None, subset=None, inplace=False)

取列名

colnames(df)

DataFrame.columns.values.tolist()