最近工作中在处理文本分类问题遇到了分类不均衡的问题,主要还是样本太少还同时非常的不均衡正负样本1:10(类别不平衡比例超过4:1,就会造成偏移),就使用了SMOTE方法。

注意:在进行数据增广的时候一定要将测试集和验证集单独提前分开,扩张只在训练集上进行,否则会造成在增广的验证集和测试集上进行验证和测试,在实际上线后再真实数据中效果可能会非常的差。

目录

什么是样本类别分布不均衡?

问题描述

样本类别分布不均衡导致的危害?

以下以二分类问题为例说明。

1. SMOTE(Synthetic Minority Over-sampling Technique)过采样小样本(扩充小类,产生新数据)

2. 欠采样大样本(压缩大类,产生新数据)

3. 对小类错分进行加权惩罚

4. 分治ensemble

5. 分层级ensemble

6. 基于异常检测的分类

7. 其他...待补充。

解决方法示例:

1.通过过抽样和欠抽样解决样本不均衡

(1)过抽样(over-sampling):通过增加分类中少数类样本的数量来实现样本均衡,比较好的方法有SMOTE算法。

(2)欠抽样(under-sampling):通过减少分类中多数类样本的数量来实现样本均衡

2.通过正负样本的惩罚权重解决样本不均衡

后附样本不平衡的问答系列

Jason Brownlee的回答:

类别不均衡问题是现实中很常见的问题

八大解决方法

Sergey Feldman的回答:

Kripa Chettiar的回答:

Roar Nybø的回答:

Dan Levin的回答:

Kaushik Kasi的回答:

Quora User的回答:

Dayvid Victor的回答:

Muktabh Mayank的回答:

Sandeep Subramanian的回答:

Quora User的回答:

Sumit Soman 的回答:


什么是样本类别分布不均衡?

举例说明,在一组样本中不同类别的样本量差异非常大,比如拥有1000条数据样本的数据集中,有一类样本的分类只占有10条,此时属于严重的数据样本分布不均衡。

问题描述

先举一个“恐怖”的例子,直观的感受一下样本不平衡问题:

你根据1000个正样本和1000个负样本正确训练出了一个准确率90%召回率90%的分类器,且通过实验验证没有欠采样过采样的问题哦~完美的样本,完美的模型,破费,你心里暗自得意。然后模型上线,正式预测每天的未知样本~。

开始一切都很美好,准确率召回率都很好。直到有一天,数据发生了一点变化,还是原来的数据类型和特征,只是每天新数据中正负样本变成了100个正样本,10000个负样本。注意,先前准确率90%的另一种表达是负样本有10%的概率被误检为正样本。好了,模型不变,现在误检的负样本数是10000*0.1=1000个,正样本被检出100*0.9(召回)=90个,好了,这个时候召回率不变仍为90%,但是新的准确率=90/(1000+90)=8.26% 。震惊吗!?恐怖吗!?

结论: 同一个模型仅仅是改变了验证集的正负样本比例,模型已经从可用退化成不可用了!!样本不平衡问题可怕就可怕在这,往往你的模型参数,训练,数据,特征都是对的!能做的都做了,但你的准确率就是上不去!!绝望吧。。。。。。
问题定义:数据集中,每个类别下的样本数目相差很大(数量级上的差距)。

样本类别分布不均衡导致的危害?

样本类别不均衡将导致样本量少的分类所包含的特征过少,并很难从中提取规律;即使得到分类模型,也容易产生过度依赖与有限的数据样本而导致过拟合问题,当模型应用到新的数据上时,模型的准确性会很差。

以下以二分类问题为例说明。

1. SMOTE(Synthetic Minority Over-sampling Technique)过采样小样本(扩充小类,产生新数据)

即该算法构造的数据是新样本,原数据集中不存在的。该基于距离度量选择小类别下两个或者更多的相似样本,然后选择其中一个样本,并随机选择一定数量的邻居样本对选择的那个样本的一个属性增加噪声,每次处理一个属性。这样就构造了更多的新生数据。(优点是相当于合理地对小样本的分类平面进行的一定程度的外扩;也相当于对小类错分进行加权惩罚(解释见3))

2. 欠采样大样本(压缩大类,产生新数据)

设小类中有N个样本。将大类聚类成N个簇,然后使用每个簇的中心组成大类中的N个样本,加上小类中所有的样本进行训练。(优点是保留了大类在特征空间的分布特性,又降低了大类数据的数目)

3. 对小类错分进行加权惩罚

对分类器的小类样本数据增加权值,降低大类样本的权值(这种方法其实是产生了新的数据分布,即产生了新的数据集,译者注),从而使得分类器将重点集中在小类样本身上。一个具体做法就是,在训练分类器时,若分类器将小类样本分错时额外增加分类器一个小类样本分错代价,这个额外的代价可以使得分类器更加“关心”小类样本。如penalized-SVM和penalized-LDA算法。
对小样本进行过采样(例如含L倍的重复数据),其实在计算小样本错分cost functions时会累加L倍的惩罚分数。

4. 分治ensemble

将大类中样本聚类到L个聚类中,然后训练L个分类器;每个分类器使用大类中的一个簇与所有的小类样本进行训练得到;最后对这L个分类器采取少数服从多数对未知类别数据进行分类,如果是连续值(预测),那么采用平均值。

5. 分层级ensemble

使用原始数据集训练第一个学习器L1;将L1错分的数据集作为新的数据集训练L2;将L1和L2分类结果不一致的数据作为数据集训练L3;最后测试集上将三个分类器的结果汇总(结合这三个分类器,采用投票的方式来决定分类结果,因此只有当L2与L3都分类为false时,最终结果才为false,否则true。)

6. 基于异常检测的分类

用异常检测算法(如高斯混合模型、聚类等)检测得到离群点或异常点;再对这些异常点为训练集学习一个分类器。

7. 其他...待补充。

解决方法示例:

1.通过过抽样和欠抽样解决样本不均衡

(1)过抽样(over-sampling):通过增加分类中少数类样本的数量来实现样本均衡,比较好的方法有SMOTE算法。

SMOTE算法:简单来说smote算法的思想是合成新的少数类样本,合成的策略是对每个少数类样本a,从它的最近邻中随机选一个样本b,然后在a、b之间的连线上随机选一点作为新合成的少数类样本。具体的过程大家可以自行google。

附上代码示例:(首先展示示例数据,本篇文章都用此数据)

    import pandas as pdfrom imblearn.over_sampling import SMOTE       #过度抽样处理库SMOTEdf=pd.read_table('data2.txt',sep=' ',names=['col1','col2','col3','col4','col5','label'])    x=df.iloc[:,:-1]y=df.iloc[:,-1]groupby_data_orginal=df.groupby('label').count()      #根据标签label分类汇总

用groupby可以看到该数据label=0的有942个样本,label=1的只有58个,存在严重的不均衡现象,在这里我们用SMOTE算法来解决一下。

    model_smote=SMOTE()    #建立smote模型对象x_smote_resampled,y_smote_resampled=model_smote.fit_sample(x,y)x_smote_resampled=pd.DataFrame(x_smote_resampled,columns=['col1','col2','col3','col4','col5'])y_smote_resampled=pd.DataFrame(y_smote_resampled,columns=['label'])smote_resampled=pd.concat([x_smote_resampled,y_smote_resampled],axis=1)groupby_data_smote=smote_resampled.groupby('label').count()


可以看到通过smote算法将原本只有58个数据的样本补齐成了942。

(2)欠抽样(under-sampling):通过减少分类中多数类样本的数量来实现样本均衡

    from imblearn.under_sampling import RandomUnderSamplermodel_RandomUnderSampler=RandomUnderSampler()                #建立RandomUnderSample模型对象x_RandomUnderSample_resampled,y_RandomUnderSample_resampled=model_RandomUnderSampler.fit_sample(x,y)         #输入数据并进行欠抽样处理x_RandomUnderSample_resampled=pd.DataFrame(x_RandomUnderSample_resampled,columns=['col1','col2','col3','col4','col5'])y_RandomUnderSample_resampled=pd.DataFrame(y_RandomUnderSample_resampled,columns=['label'])RandomUnderSampler_resampled=pd.concat([x_RandomUnderSample_resampled,y_RandomUnderSample_resampled],axis=1)groupby_data_RandomUnderSampler=RandomUnderSampler_resampled.groupby('label').count()


根据数据可看到通过随机欠抽样方法,将原本942条数据的label0删减成为58条。

2.通过正负样本的惩罚权重解决样本不均衡

算法思想:对于分类中不同样本数量的类别分别赋予不同的权重,一般是小样本量类别权重高,大样本量类别权重低。

这里以SVM为例:

    from sklearn.svm import SVCmodel_svm=SVC(class_weight='balanced')model_svm.fit(x,y)

这里的class_weight选项用其默认方法‘balanced’,即SVM会将权重设置为与不同类别样本数量呈反比的权重来进行自动均衡处理。

后附样本不平衡的问答系列

原文:https://www.quora.com/In-classification-how-do-you-handle-an-unbalanced-training-set

Jason Brownlee的回答:

原文标题:8 Tactics to Combat Imbalanced Classes in Your Machine Learning Dataset 
  当你在对一个类别不均衡的数据集进行分类时得到了90%的准确度(Accuracy)。当你进一步分析发现,数据集的90%的样本是属于同一个类,并且分类器将所有的样本都分类为该类。在这种情况下,显然该分类器是无效的。并且这种无效是由于训练集中类别不均衡而导致的。 
  首先举几个所收到的邮件中关于类别不均衡的例子:

类别不均衡问题是现实中很常见的问题

  大部分分类任务中,各类别下的数据个数基本上不可能完全相等,但是一点点差异是不会产生任何影响与问题的。 
  在现实中有很多类别不均衡问题,它是常见的,并且也是合理的,符合人们期望的。如,在欺诈交易识别中,属于欺诈交易的应该是很少部分,即绝大部分交易是正常的,只有极少部分的交易属于欺诈交易。这就是一个正常的类别不均衡问题。又如,在客户流失的数据集中,绝大部分的客户是会继续享受其服务的(非流失对象),只有极少数部分的客户不会再继续享受其服务(流失对象)。一般而已,如果类别不平衡比例超过4:1,那么其分类器会大大地因为数据不平衡性而无法满足分类要求的。因此在构建分类模型之前,需要对分类不均衡性问题进行处理。 
  在前面,我们使用准确度这个指标来评价分类质量,可以看出,在类别不均衡时,准确度这个评价指标并不能work。因为分类器将所有的样本都分类到大类下面时,该指标值仍然会很高。即,该分类器偏向了大类这个类别的数据。

八大解决方法

  • 可以扩大数据集吗? 
      当遇到类别不均衡问题时,首先应该想到,是否可能再增加数据(一定要有小类样本数据),更多的数据往往战胜更好的算法。因为机器学习是使用现有的数据多整个数据的分布进行估计,因此更多的数据往往能够得到更多的分布信息,以及更好分布估计。即使再增加小类样本数据时,又增加了大类样本数据,也可以使用放弃一部分大类数据(即对大类数据进行欠采样)来解决。
  • 尝试其它评价指标 
      从前面的分析可以看出,准确度这个评价指标在类别不均衡的分类任务中并不能work,甚至进行误导(分类器不work,但是从这个指标来看,该分类器有着很好的评价指标得分)。因此在类别不均衡分类任务中,需要使用更有说服力的评价指标来对分类器进行评价。如何对不同的问题选择有效的评价指标参见这里。 
      上面的超链接中的文章,讲述了如何对乳腺癌患者复发类别不均衡数据进行分类。在文中,推荐了几个比传统的准确度更有效的评价指标:

    • 混淆矩阵(Confusion Matrix):使用一个表格对分类器所预测的类别与其真实的类别的样本统计,分别为:TP、FN、FP与TN。
    • 精确度(Precision)
    • 召回率(Recall)
    • F1得分(F1 Score):精确度与找召回率的加权平均。

      特别是:

    • Kappa (Cohen kappa)
    • ROC曲线(ROC Curves):见Assessing and Comparing Classifier Performance with ROC Curves
  • 对数据集进行重采样 
      可以使用一些策略该减轻数据的不平衡程度。该策略便是采样(sampling),主要有两种采样方法来降低数据的不平衡性。

    • 对小类的数据样本进行采样来增加小类的数据样本个数,即过采样(over-sampling ,采样的个数大于该类样本的个数)。
    • 对大类的数据样本进行采样来减少该类数据样本的个数,即欠采样(under-sampling,采样的次数少于该类样本的个素)。

      采样算法往往很容易实现,并且其运行速度快,并且效果也不错。更详细的内容参见这里。 
      一些经验法则:

    • 考虑对大类下的样本(超过1万、十万甚至更多)进行欠采样,即删除部分样本;
    • 考虑对小类下的样本(不足1为甚至更少)进行过采样,即添加部分样本的副本;
    • 考虑尝试随机采样与非随机采样两种采样方法;
    • 考虑对各类别尝试不同的采样比例,比一定是1:1,有时候1:1反而不好,因为与现实情况相差甚远;
    • 考虑同时使用过采样与欠采样。
  • 尝试产生人工数据样本 
      一种简单的人工样本数据产生的方法便是,对该类下的所有样本每个属性特征的取值空间中随机选取一个组成新的样本,即属性值随机采样。你可以使用基于经验对属性值进行随机采样而构造新的人工样本,或者使用类似朴素贝叶斯方法假设各属性之间互相独立进行采样,这样便可得到更多的数据,但是无法保证属性之前的线性关系(如果本身是存在的)。 
      有一个系统的构造人工数据样本的方法SMOTE(Synthetic Minority Over-sampling Technique)。SMOTE是一种过采样算法,它构造新的小类样本而不是产生小类中已有的样本的副本,即该算法构造的数据是新样本,原数据集中不存在的。该基于距离度量选择小类别下两个或者更多的相似样本,然后选择其中一个样本,并随机选择一定数量的邻居样本对选择的那个样本的一个属性增加噪声,每次处理一个属性。这样就构造了更多的新生数据。具体可以参见原始论文。 
      这里有SMOTE算法的多个不同语言的实现版本:

    • Python: UnbalancedDataset模块提供了SMOTE算法的多种不同实现版本,以及多种重采样算法。
    • R: DMwR package。
    • Weka: SMOTE supervised filter。
  • 尝试不同的分类算法 
      强烈建议不要对待每一个分类都使用自己喜欢而熟悉的分类算法。应该使用不同的算法对其进行比较,因为不同的算法使用于不同的任务与数据。具体可以参见“Why you should be Spot-Checking Algorithms on your Machine Learning Problems”。 
      决策树往往在类别不均衡数据上表现不错。它使用基于类变量的划分规则去创建分类树,因此可以强制地将不同类别的样本分开。目前流行的决策树算法有:C4.5、C5.0、CART和Random Forest等。基于R编写的决策树参见这里。基于Python的Scikit-learn的CART使用参见这里。
  • 尝试对模型进行惩罚 
      你可以使用相同的分类算法,但是使用一个不同的角度,比如你的分类任务是识别那些小类,那么可以对分类器的小类样本数据增加权值,降低大类样本的权值(这种方法其实是产生了新的数据分布,即产生了新的数据集,译者注),从而使得分类器将重点集中在小类样本身上。一个具体做法就是,在训练分类器时,若分类器将小类样本分错时额外增加分类器一个小类样本分错代价,这个额外的代价可以使得分类器更加“关心”小类样本。如penalized-SVM和penalized-LDA算法。 
      Weka中有一个惩罚模型的通用框架CostSensitiveClassifier,它能够对任何分类器进行封装,并且使用一个自定义的惩罚矩阵对分错的样本进行惩罚。 
      如果你锁定一个具体的算法时,并且无法通过使用重采样来解决不均衡性问题而得到较差的分类结果。这样你便可以使用惩罚模型来解决不平衡性问题。但是,设置惩罚矩阵是一个复杂的事,因此你需要根据你的任务尝试不同的惩罚矩阵,并选取一个较好的惩罚矩阵。
  • 尝试一个新的角度理解问题 
      我们可以从不同于分类的角度去解决数据不均衡性问题,我们可以把那些小类的样本作为异常点(outliers),因此该问题便转化为异常点检测(anomaly detection)与变化趋势检测问题(change detection)。 
      异常点检测即是对那些罕见事件进行识别。如通过机器的部件的振动识别机器故障,又如通过系统调用序列识别恶意程序。这些事件相对于正常情况是很少见的。 
      变化趋势检测类似于异常点检测,不同在于其通过检测不寻常的变化趋势来识别。如通过观察用户模式或银行交易来检测用户行为的不寻常改变。 
      将小类样本作为异常点这种思维的转变,可以帮助考虑新的方法去分离或分类样本。这两种方法从不同的角度去思考,让你尝试新的方法去解决问题。
  • 尝试创新 
      仔细对你的问题进行分析与挖掘,是否可以将你的问题划分成多个更小的问题,而这些小问题更容易解决。你可以从这篇文章In classification, how do you handle an unbalanced training set?中得到灵感。例如:

    • 将你的大类压缩成小类;
    • 使用One Class分类器(将小类作为异常点);
    • 使用集成方式,训练多个分类器,然后联合这些分类器进行分类;
    • ….

  这些想法只是冰山一角,你可以想到更多的有趣的和有创意的想法去解决问题。更多的想法参加Reddit的文章http://www.quora.com/In-classification-how-do-you-handle-an-unbalanced-training-set。

选择某一种方法并使用它

  你不必成为一个精通所有算法的算法奇才或者一个建立准确而可靠的处理数据不平衡的模型的统计学家,你只需要根据你的问题的实际情况从上述算法或方法中去选择一种或两种方法去使用。希望上述的某些方法能够解决你的问题。例如使用其它评价指标或重采样算法速度快并且有效。

总结

  记住,其实并不知道哪种方法最适合你的任务与数据,你可以使用一些启发式规则或经验去选择某一个较优算法。当然最好的方法测试每一种算法,然后选择最好的方法。最重要的是,从点滴开始做起,根据自己现有的知识,并不断学习去一步步完善。

Further Reading…

  这里有一些我认为有价值的可供参考的相关资料,让你进一步去认识与研究数据不平衡问题:

  • 相关书籍

    • Imbalanced Learning: Foundations, Algorithms, and Applications
  • 相关论文 
    • Data Mining for Imbalanced Datasets: An Overview
    • Learning from Imbalanced Data
    • Addressing the Curse of Imbalanced Training Sets: One-Sided Selection (PDF)
    • A Study of the Behavior of Several Methods for Balancing Machine Learning Training Data

Sergey Feldman的回答:

Kripa Chettiar的回答:

Roar Nybø的回答:

  • 对小类进行过采样。并且使用集成模式会获得更好的效果。

Dan Levin的回答:

Kaushik Kasi的回答:

Quora User的回答:

  • 简单快速的方法:对大类欠采样或者对小类过采样。
  • 更有效的方法:使用代价函数学习得到每个类的权值,大类的权值小,小类的权值大。刚开始,可以设置每个类别的权值与样本个数比例的倒数,然后可以使用过采样进行调优。

Dayvid Victor的回答:

  在类别不平衡中,以下几个点需要注意:

  • 常规的分类评价指标可能会失效,比如将所有的样本都分类成大类,那么准确率、精确率等都会很高。这种情况下,AUC时最好的评价指标。
  • 你能够使用原型选择技术去降低不平衡水平。选择那些重要的样本。One-Sided Selection (OSS) 是一个预处理技术(模型训练之前使用),能够处理类别不平衡问题。
  • 从另一个角度,可以增加小类的样本个数,可以使用过采样与原型生成技术(prototype-generation techniques)。
  • 在K-Fold 校验中,每一份数据集中原则上应该保持类别样本比例一样或者近似,如果每份数据集中小类样本数目过少,那么应该降低K的值,知道小类样本的个数足够。 
      一般来说,如果事前不对不平衡问题进行处理,那么对于小类别的样本则会错误率很高,即大部分甚至全部小类样本都会分错。

Muktabh Mayank的回答:

Sandeep Subramanian的回答:

Quora User的回答:

  • 赋予小类样本更高的训练权值
  • 对小类进行过采样
  • 某些时候,高不平衡性下仍然可以得到效果较好的训练结果。我认为对于某些评价指标是有意义的,如AUC。

Sumit Soman 的回答:

样本不平衡问题分析与部分解决办法相关推荐

  1. oracle锁mode,【案例】Oracle dml操作产生TM锁 lmode=6 分析原因和解决办法

    [案例]Oracle dml操作产生TM锁 lmode=6 分析原因和解决办法 时间:2016-12-04 20:22   来源:Oracle研究中心   作者:网络   点击: 次 天萃荷净 Ora ...

  2. 生产时间戳错误的分析过程及解决办法

    生产时间戳错误的分析过程及解决办法 一.列表中时间属性与当前时间相差十几小时 二.查看机器时间 三.查看应用的时区设置 四.查看数据库的数据时间及数据库部署的主机时区 五.解决问题 最终发现问题出在数 ...

  3. cad拖动有残影_LCD 残影问题分析及常见解决办法

    <LCD 残影问题分析及常见解决办法>由会员分享,可在线阅读,更多相关<LCD 残影问题分析及常见解决办法(2页珍藏版)>请在人人文库网上搜索. 1.LCD 残影问题分析及常见 ...

  4. php.ini 米拓_独家发布米拓metinfo6系统ueditor编辑器getshell漏洞分析及终极解决办法...

    原标题:独家发布米拓metinfo6系统ueditor编辑器getshell漏洞分析及终极解决办法 最近笔者所有米拓metinfo系统做的网站都被植入木马,连最新版6.2.0都能被攻击,而且修改了后台 ...

  5. 三相电压不平衡的判断方法和解决办法

    安科瑞 华楠 在日常的工作中,时常会遇见三相不平衡现象,我们又如何去分析和解决呢?下面跟小编一起来充电学习吧- 引起三相电压不平衡的原因有多种,如:单相接地.断线谐振等,运行管理人员只有将其正确区分开 ...

  6. Oracle:ORA-01789: 查询块具有不正确的结果列数 分析原因和解决办法

    Oracle:ORA-01789: 查询块具有不正确的结果列数 一.分析原因 union指令的目的是将两个sql语句的查询结果合并起来, 可以查看你要的查询结果 . 但是要注意使用union连接的两个 ...

  7. cubemx—编码器测速(其中遇到的问题分析以及部分解决办法)

    我用的F103zet6的板子. 首先知道你的编码器 1.减速比,我的是1:120 2.编码器的      线数=脉冲=分辨率  大约可以等于哈哈哈.我的是11线的. 那么就可以求得我们的电机转一圈需要 ...

  8. 项目优化方案及分析过程,解决办法

    一.工具和排查方法 二.大批量的导入导出优化 三.抽样计算功能的优化 1.1. 工具和排查方法 1.1.1. 使用jdk自带的 jconsole,直接在cmd命令中打入jconsole,就会弹出一个窗 ...

  9. [4G5G专题-109]:部署 - LTE RF射频优化的流程、原因综合分析、解决办法大全

    目录 第1章 什么是RF优化 1.1 概述 1.2 RF优化的目的 1.3 RF优化的内容 1.4 RF优化流程 第2章 测试准备: 2.1 确定RF优化目标 2.2 Cluster的划分 2.3 测 ...

  10. 异常HttpMessageNotWritableException解决办法

    1. 问题描述 在写SpringBoot项目的时候,由于是前后端分离项目,为了统一接口形式,使用一个类封装了返回数据的形式,但是在测试的时候报异常HttpMessageNotWritableExcep ...

最新文章

  1. Kraken采用CashAddr地址,BCH地址统一向前一步
  2. 工作中搜索页面搜索记录功能的封装(存储到本地)
  3. Pair Project: Elevator Scheduler Report By Hu Renjun
  4. python怎么去学_Python第一步的学习,前辈告诉你怎么去学
  5. C++阶段01笔记04【程序流程结构(选择结构、循环结构、跳转语句)】
  6. 2-1 gradle安装
  7. 深入Managed DirectX9(二)
  8. mysql 查询正在执行的事务以及等待锁 常用的sql语句
  9. 已知3个坐标点xy画圆弧_尺规作图之过一点作已知直线的垂线
  10. LeetCode(922)——按奇偶排序数组 II(JavaScript)
  11. 如何提升数据安全治理能力
  12. Exception.ToString()使用及其他方法比较
  13. (已完成)java socket-套接字实现类SocketImpl.md
  14. 宁波计算机软件再好的大学是,浙江这些实力较强的大学,分数会不会虚高?
  15. c语言通过信号量id获取值_Linux信号量
  16. 【Linux学习笔记】Linux-CentOS下安装Redis
  17. Java代码实现时钟
  18. 怎么学习PLC技术?
  19. 使用canvas保存网页为pdf文件支持跨域
  20. 来自百度的移动应用框架Clouda:快速开发,一键部署BAE

热门文章

  1. 炫酷又实用的发送邮箱链接修改密码
  2. html5一个圆圈旋转,Javascript实现可旋转的圆圈实例代码
  3. 仿真 steam linux 安装教程,Ubuntu安装Steam游戏平台的解决方案
  4. mysql中查询没有选修某两门课的_mysql-学生表32题
  5. label confusion learning to enhance text classification models
  6. 日期转换 EEE MMM dd HH:mm:ss zzz yyyy
  7. 2022-2027年中国文化传媒行业市场调研及未来发展趋势预测报告
  8. 写c语言win7还是win10好,做设计系统用WIN7还是WIN10?
  9. CSS篇十六——盒子模型之边框
  10. 专访Blue Coat:移动恶意软件现状与趋势