Masked Arrays（numpy arrays掩码）针对数据中存在无效或者确实数据

arrays 掩码

将要完成的事：
使用Numpy 里的 arrays掩码模块分析COVID-19的数据并处理丢失的数据

可以学到的内容

理解什么是arrays掩码，并且是怎么创建出来的
如何访问和修改掩码数组里的数据
学会在何时使用arrays掩码是最合适的

什么是arrays 掩码

思考以下问题：你有个数据集里面有部分数据丢失或者是无效的。而你想对这些数据进行处理，并且对不想要的数据跳过或者进行标记而不是直接删除他们，你可能使用条件语句过滤数据。
numpy.ma模块提供了一些Numoy ndarrays相同的功能，b并为数据添加了一种使得无效条目不会参与计算的结构。
掩码数组是标准 numpy.ndarray 和掩码的组合。掩码要么是 nomask，表示关联数组的任何值都无效，要么是一个布尔数组，用于确定关联数组的每个元素的值是否有效。当掩码的某个元素为 False 时，关联数组的对应元素是有效的，称为未掩码。当掩码的元素为 True 时，关联数组的对应元素被称为被掩码（无效）。
可将MaskedArray视为以下的组合：

data，任何形状或数量类型的常规numpy.ndarray；
boolean mask，与数据形状相同的布尔掩码；
fill_value，一个可用于替换无效条目以返回标准numpy.ndarray的值。

实例：使用arrays 掩码查看COVID-19的数据

import numpy as np
import os
# os.getcwd() function returns the current folder;you can change
# the filepath variable to point to the folder where you saved the .csv file
filepath = os.getcwd()
filename = os.path.join(filepath,"file_name")
'''
该数据文件包含不同类型的数据，其组织方式如下：
1.第一行是标题行，主要描述了各行中每列的数据，从第四列开始标明了观察日期；
2.第二行到第六行包含了将要检查数据类型不同的汇总数据，因此需要将其从将使用的数据中排除；
3.我们希望处理的数值数据从第四列第七行开始，并从那里延伸到最右侧的列和最下方的行。
'''
# skip_header and usecols to read only portions **of the data file** into each variable.
# read just the datas for columns 4-18 from the first row
dates = np.genfromtxt(filename,dtype = np.unicode_,delimiter=',',max_rows=1,usecols=range(4,18),encoding="utf-8-sig",
)
#read the names of the geographic locations from the first two colums,skipping the first six rows
locations = np.genfromtxt(filename,dtype=np.unicode_,delimiter=",",skip_header=6,usecols=(0,1),encoding="utf-8-sig",
)
#read the numeric data from just the first 14 days
nbcases = np.genfromtxt(filename,dtype=np.int_,delimiter=",",skip_header=6,usecols=range(4,18),encoding="utf-8-sig",
)

Exploring the data

import matplotlib.pyplot as plt
select_dates = [0, 3, 11, 13]
plt.plot(dates,nbcase.T,"--")
plt.xticks(select_dates,dates[select_dates])
plt.title("COVID-19 cumulative cases from Jan 21 to Feb 3 2020")

该图从1.24到2.1日具有奇怪的形状，我们提取的location数据包含了地区，国家两列。

接下来将所有来自China的数据分为一行，为此将从nbcase中仅选择位置数据对应于中国的行。接下来使用numpy.sum函数对所有选定的行（axis = 0）求和

china_total = nbcase[locations[:,1]=="China"].sum(axis=0)#numpy axis 详解：https://blog.csdn.net/sky_kkk/article/details/79725646
'''
输出
array([ 247,   288,   556,   817,   -22,   -22,   -15,   -10,    -9,-7,    -4, 11820, 14410, 17237])
发现了异常出现负值了
'''

Missing data 丢失的数据

nbcases
#输出
array([[  258,   270,   375, ...,  7153,  9074, 11177],[   14,    17,    26, ...,   520,   604,   683],[   -1,     1,     1, ...,   422,   493,   566],...,[   -1,    -1,    -1, ...,    -1,    -1,    -1],[   -1,    -1,    -1, ...,    -1,    -1,    -1],[   -1,    -1,    -1, ...,    -1,    -1,    -1]])
'''
当numpy.genfromtxt试图从csv文件中读取丢失的数据时就会以-1来标记，显然我们不能让-1也参与计算
导入numpy.ma模块后，我们将创建一个新数组，直接屏蔽无效值。
'''
from numpy import ma
nbcases_ma = ma.masked_values(nbcases,-1)
nbcases_ma
#输出
masked_array(data=[[258, 270, 375, ..., 7153, 9074, 11177],[14, 17, 26, ..., 520, 604, 683],[--, 1, 1, ..., 422, 493, 566],...,[--, --, --, ..., --, --, --],[--, --, --, ..., --, --, --],[--, --, --, ..., --, --, --]],mask=[[False, False, False, ..., False, False, False],[False, False, False, ..., False, False, False],[ True, False, False, ..., False, False, False],...,[ True,  True,  True, ...,  True,  True,  True],[ True,  True,  True, ...,  True,  True,  True],[ True,  True,  True, ...,  True,  True,  True]],fill_value=-1)
'''
It has three attributes(data,mask and fill_value)
keep in mind that the mask attribute has a True value for elements correspoding
to invalid data(represented by two dashes in the data attribute)
'''
plt.plot(dates, nbcases_ma[1:].T, "--")
plt.xticks(selected_dates, dates[selected_dates])
plt.title("COVID-19 cumulative cases from Jan 21 to Feb 3 2020")

china_masked = nbcases_ma[locations[:, 1] == "China"].sum(axis=0)
china_masked
#输出
masked_array(data=[278, 309, 574, 835, 10, 10, 17, 22, 23, 25, 28, 11821,14411, 17238],mask=[False, False, False, False, False, False, False, False,False, False, False, False, False, False],fill_value=999999)
china_total = china_masked.data
china_total
#输出
array([  278,   309,   574,   835,    10,    10,    17,    22,    23,25,    28, 11821, 14411, 17238])
'''
首先将负值全部处理了，但是（835,10）这两个数字之间明显不符合sum的定义，说明还是有一些数据缺失了，
在中国大陆数据缺失的时候，香港台湾澳门等省和其他“未指定”区域的数据是有效的。
我们可以将这样的数据去除，以便更好地了解数据。
'''
#首先，确定中国大陆地区的位置索引：
china_mask = ((locations[:, 1] == "China")& (locations[:, 0] != "Hong Kong")& (locations[:, 0] != "Taiwan")& (locations[:, 0] != "Macau")& (locations[:, 0] != "Unspecified*")
)
china_mask.nonzero()
#输出
(array([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15, 16,17, 18, 19, 20, 21, 22, 23, 25, 26, 27, 28, 29, 31, 33]),)
china_total = nbcases_ma[china_mask].sum(axis=0)
china_total
#输出
masked_array(data=[278, 308, 440, 446, --, --, --, --, --, --, --, 11791,14380, 17205],mask=[False, False, False, False,  True,  True,  True,  True,True,  True,  True, False, False, False],fill_value=999999)

Fitting Data 拟合数据

#使用.mask来查看masked(invalid entries)的值
china_total.mask
invalid = china_total[china_total.mask]
invalid
#输出
masked_array(data=[--, --, --, --, --, --, --],mask=[ True,  True,  True,  True,  True,  True,  True],fill_value=999999,dtype=int64)
#也可以使用logical negation 来查看valid entries
valid = china_total[~china_total.mask]
valid
#输出
masked_array(data=[278, 308, 440, 446, 11791, 14380, 17205],mask=[False, False, False, False, False, False, False],fill_value=999999)
# select the dates for which the data is valid
data[~china_total.mask]
#输出
array(['1/21/20', '1/22/20', '1/23/20', '1/24/20', '2/1/20', '2/2/20','2/3/20'], dtype='<U7')
# we can use the numpy.polyfit and numpy.polyval functions to create
# a cubic polynomial（三次多项式） that fits the data as best as possible:
t = np.arange(len(china_total))
params = np.polyfit(t[~china_total.mask], valid, 3)
cubic_fit = np.polyval(params, t)
plt.plot(t, china_total)
plt.plot(t, cubic_fit, "--")

这个plot不太可读，因为线条似乎相互重叠，所以用一个更详细的情节来总结。我们将在可用时绘制真实数据，并显示不可用数据的三次拟合，使用此拟合计算对 2020 年 1 月 28 日（记录开始后 7 天）观察到的病例数的估计：

plt.plot(t, china_total)
plt.plot(t[china_total.mask], cubic_fit[china_total.mask], "--", color="orange")
plt.plot(7, np.polyval(params, 7), "r*")
plt.xticks([0, 7, 13], dates[[0, 7, 13]])
plt.yticks([0, np.polyval(params, 7), 10000, 17500])
plt.legend(["Mainland China", "Cubic estimate", "7 days after start"])
plt.title("COVID-19 cumulative cases from Jan 21 to Feb 3 2020 - Mainland China\n""Cubic estimate for 7 days after start"
)

参考网站：https://numpy.org/numpy-tutorials/content/tutorial-ma.html#
https://www.kaggle.com/atilamadai/covid19