特征工程系列学习（一）简单数字的奇淫技巧（下）

对数转换实战

让我们看看在监督学习中对数转换如何执行。我们将使用上面的两个数据集。对于 Yelp 评论数据集, 我们将使用评论的数量来预测商户的平均评级。对于 Mashable 的新闻文章, 我们将使用文章中的字数来预测其流行程度。由于输出是连续的数字, 我们将使用简单的线性回归作为模型。我们在没有对数变换和有对数变换的特色上，使用 Scikit Learn 执行10折交叉验证的线性回归。模型由 R 方评分来评估, 它测量训练后的回归模型预测新数据的良好程度。好的模型有较高的 R 方分数。一个完美的模型得到最高分1。分数可以是负的, 一个坏的模型可以得到一个任意低的负评分。通过交叉验证, 我们不仅得到了分数的估计, 还获得了方差, 这有助于我们判断两种模型之间的差异是否有意义。

例2-8:使用对数转换 YELP 评论数预测平均商户评级

ounter(line
ounter(line
ounter(line
ounter(line
ounter(line
ounter(line
ounter(line

import pandas as pdimport numpy as npimport jsonfrom sklearn import linear_modelfrom sklearn.model_selection import cross_val_scorebiz_df['log_review_count'] = np.log10(biz_df['review_count'] + 1)biz_df.head()

ounter(line
ounter(line
ounter(line
ounter(line
ounter(line
ounter(line
ounter(line
ounter(line
ounter(line
ounter(line
ounter(line
ounter(line
ounter(line

## Train linear regression models to predict the average stars rating of a business,## using the review_count feature with and without log transformation## Compare the 10-fold cross validation score of the two modelsm_orig = linear_model.LinearRegression()scores_orig = cross_val_score(    m_orig, biz_df[['review_count']], biz_df['stars'], cv=10)m_log = linear_model.LinearRegression()scores_log = cross_val_score(    m_log, biz_df[['log_review_count']], biz_df['stars'], cv=10)print("R-squared score without log transform: %0.5f (+/- %0.5f)" %      (scores_orig.mean(), scores_orig.std() * 2))print("R-squared score with log transform: %0.5f (+/- %0.5f)" %      (scores_log.mean(), scores_log.std() * 2))

输出：R-squared score without log transform: 0.00215 (+/- 0.00329) R-squared score with log transform: 0.00136 (+/- 0.00328)

从实验的结果来看, 两个简单的模型 (有对数变换和没有对数变换) 在预测目标时同样不好, 而有对数变换的特征表现略差。真令人失望!这并不奇怪, 他们都不是很好, 因为他们都只使用一个功能。但是, 人们本来希望日志转换的功能执行得更好。

数据可视化的重要性

对数变换在两个不同数据集上的影响的比较，说明了可视化数据的重要性。在这里，我们故意保持输入和目标变量简单，以便我们可以很容易地可视化它们之间的关系。另一方面，人们可以令人信服地在给定平均星级模拟评论数的分布。在建立模型时，最好直观地检查输入和输出之间的关系，以及不同输入特征之间的关系。

功率变换：对数变换的推广

对数变换是一个称为功率变换的变换族的特殊例子。在统计方面，这些是方差稳定的变换。为了理解为什么方差稳定是好的，考虑泊松分布。这是一个方差等于它的平均值的重尾分布。因此，它的质量中心越大，其方差越大，尾部越重。功率变换改变变量的分布，使得方差不再依赖于平均值。例如，假设一个随机变量X具有泊松分布。假如我们使用开平方根变换