Q1：解释什么是正规化（regularization）以及它的用处。解释特定方法的优劣势，如岭回归（ridge regression）和LASSO算法？

【Matthew Mayo解答】
正则化项是保证模型平滑性的一个调节参数，它可以起到防止过拟合的作用。正则化的通常做法，是将已有的权重向量经过L1(Lasso)或者L2(ridge)变换，当然变换也可以是其他形式。最终的模型优化目标，是加入了正则化项后的损失函数。Xavier Amatriain给了一个很好的例子，对L1和L2正则化进行比较。

Lp球：p值减小，对应Lp空间也减小

Q2：你最崇拜哪些数据科学家和创业公司？

【Gregory Piatetsky解答】

Geoff Hinton, Yann LeCun, 和 Yoshua Bengio-因他们对神经网络的坚持不懈的研究，和开启了当前深度学习的革命。
Demis Hassabis，因他在DeepMind的杰出表现——在Atari游戏中实现了人或超人的表现和最近Go的表现。
来自datakind的Jake Porway和芝加哥大学DSSG的Rayid Ghani因他们让数据科学对社会产生贡献。
DJ Patil，美国第一首席数据科学家，利用数据科学使美国政府工作效率更高。
Kirk D. Borne，因其在大众传媒中的影响力和领导力。
Claudia Perlich，因其在广告生态系统的贡献，和作为kdd-2014的领头人。
Hilary Mason在Bitly杰出的工作，和作为一个大数据的明星激发他人。
Usama Fayyad，展示了其领导力，为KDD和数据科学设立了高目标，这帮助我和成千上万的人不断激励自己做到最好。
Hadley Wickham，因他在数据科学和数据可视化方面的出色的成果，包括dplyr，ggplot2，和RStudio。
数据科学领域里有太多优秀的创业公司，但我不会在这里列出它们，以避免利益冲突。

Q3：假设你需要使用多次回归来为一个定量分析结果中的变量建立预测模型，请解释你将如何来验证该模型。

【Matthew Mayo.解答】
验证多元回归模型的方法有很多，我们推荐如下的一些方法：

如果模型预测值远在响应变量范围之外，那么模型的预估准确性显然存在问题。
虽然预测值看起来合理，但是参数存在以下问题，也可以判断存在预估问题或者多重共线性问题：与期望值相反的迹象；值特别大或特别小；在给模型输入新数据时发现不一致。
通过向模型输入新的数据，来做预测，然后用相关系数来评价模型的正确性。
把数据分成两份，一份用来训练模型参数，另一份用来验证。
如果数据集很小，就要使用 jackknife resampling技术，并用R平方和MSE(mean squared error)来测量效度。

Q4：解释什么是准确率（precision）和召回率（recall），它们和ROC曲线有什么关联？

【Gregory Piatetsky解答】
计算查准率和查全率实际上很简单。比如，在10,000个实例中有100个正例，如果你预测的结果有200个正例，那么显然召回这100个正例的概率自然会大一些。根据你的预测结果和实际的标签，将结果中正确或者错误的次数分别加起来，有如下四个统计量：

TN / True Negative:实例是负的，预测也是负的
TP / True Positive:实例是正的，预测也是正的
FN / False Negative:实例是正的，但是预测是负的
FP / False Positive:实例是负的，但是预测是正的

-	Predicted Neg	Predicted Pos
Neg Cases	TN: 9,760	FP: 140
Pos Cases	FN: 40	TP: 60

预测正确的百分比是？
回答：精度(accuracy)是(9,760 + 60) / 10,000 = 98.2%
实际为正例的样本你预测对了多少？
回答：查全率(recall)是60 / 100 = 60%
预测为正例的样本中实际为正例的百分比？
回答：查准率(precision)是60 / 200 = 30%

ROC曲线体现了灵敏性(召回)[原文：sensitivity, (RECALL)]和特异性(不是精确度)[原文：specificity(Not PRECISION)]之间的关系。通常用于衡量二分类器的好坏。然而，当处理正负样本分布得极不均匀数据集，PR曲线展示信息更具代表性。

Q5：如何证明对一个算法的改进的确是有用的？

【Anmol Rajpurohit解答】
在对快速迭代(又叫“快速成名”)[原文：rapid innovation (aka “quick fame”)]的追逐中，违反科学方法论的原则常导致误导性的创新，特别是一些很吸引人但没经过严格验证的观点。考虑如下场景，你要改进算法的效果，并且有好几个改进思路。心急的做法，是尽快列出这些思路并实施。当需要支撑数据时，只有很局限的结果可以共享，这些结果很容易受到已知或未知的选择偏差、或者误导性的全局最优(原因是缺乏适当变化的测试数据)影响。
虽然证明算法改进有效的方法要看实际案例，但仍有一些通用的指导原则：

- 确定用于效果评测的测试数据没有选择偏差(selection bias)。
- 确保测试数据有足够的变化(variety)，以便对真实数据有扩展性(有助于避免过拟合)。
- 确保遵循对照实验(controlled experiment)原则，比如当对比效果时，确保新旧算法的测试环境(硬件等)完全一致。
- 确定试验(近似)结果可以重复。
- 检查结果是否反映局部极大值/极小值或全局极大值/最小值。
- 来实现上述方针的一种常见的方式是通过A/B测试，这里面两个版本的算法是，在随机分割的两者之间不停地运行在类似的环境中的相当长的时间和输入数据。这种方法是特别常见的网络分析方法。

Q6：什么是根本原因分析(root cause analysis)？

【Gregory Piatetsky解答】
维基百科上的解释是：Root cause analysis (RCA)是确定错误或问题根本原因的方法。当把某个因素从问题故障序列中去除，能够避免最终不良事件的再次发生，该因素就会被认定为根本原因；反之，诱因影响事件的结果，却不是根本原因。
根本原因分析最初是用来分析工业事故，现在已经在医疗保健、项目管理和软件测试等领域广泛应用。

本质上来说，通过反复问“为什么”，就可以找到一个问题的根本原因和原因之间的关系，直到找到问题的根本。这个方法通常叫做“5 Whys”，当然问题的个数并不一定是5个。

“为什么”分析法示例, 来自 The Art of Root Cause Analysis

Q7：是否熟悉价格优化、价格弹性、库存管理、竞争情报？举例说明。

【Gregory Piatetsky解答】
- 价格优化，是用数学工具来确定消费者对不同渠道获得的产品或服务的不同价格的反应。
大数据和数据挖掘使个性化定价成为可能。现在，像亚马逊这样的公司可以基于用户的历史行为，将价格优化更进一步，实现不同用户不同的价格。当然，这样做是否公平仍存在很大的争论。
- 价格弹性，分为需求价格弹性和供给价格弹性：
- 需求价格弹性是对价格敏感度的一种度量，其计算公式如下：
需求价格弹性 = 需求量变化的百分比 / 价格变化的百分比
[原文：Price Elasticity of Demand = % Change in Quantity Demanded / % Change in Price]
- 供给的价格弹性(Price elasticity of supply)指的是商品或服务的供给数量随商品价格变动而变动的情况。

库存管理，是指对公司在生产过程中使用的各种物品的订购、储存和使用的监督和控制，以及待售成品数量的监督和控制。
竞争情报，维基百科上的定义如下：
Competitive intelligence: 定义、收集、分析、和发布有关产品、客户、竞争对手以及制定战略决策所需的任何方面的情报。
像Google Trends, Alexa, Compete等工具都可以在网上获得总体趋势，进而分析竞争对手的情况。

Q8：什么是统计功效(statistical power)？

【Gregory Piatetsky解答】
维基百科这样定义二元假设检验(binary hypothesis test)的统计功效或者灵敏度(sensitivity)：当备选假设(alternative hypthesis)H1为真时，正确地拒绝零假设(null hypothesis)H0的概率。另一种说法，统计功效是当效应(effect)存在时，能够检测到效应的可能性。功效越高，出现II类错误(Type II error)可能性越低(即检测结论没有效应，但事实上是有的。译者注：即假阴性)。

Q9：什么是重采样(resampling)？它有什么用？有什么局限？

【Gregory Piatetsky解答】
经典的统计参数检测把实测统计量当作理论抽样分布。而重采样是数据驱动的，而不是理论驱动的方法，它是在同一个样本中反复采样的技术。以下各种方法都可以被称为重采样：

使用可用数据集的子集(jackknifing)或者随机可重复采样出一批的数据点(bootstrapping)来估计样本统计量(中位数、方差、百分位数)[原文：medians, variances, percentiles]的准确率。
在进行显著性检验时交换数据点的标记(置换检验，也被称为精确检验，随机化检验，或重随机化检验)[原文：permutation tests, also called exact tests, randomization tests, or re-randomization tests]
通过随机子集验证模型(bootstrapping，交叉验证)[原文：bootstrapping, cross validation]

Q10：假阳性(false positive)多还是假阴性(false negative)多比较好？请说明原因。

【Devendra Desale解答】
这个问题取决于要解决的问题和领域。

比如，在医学检验方面，假阴性会给病人和医生提供错误的检查信息，但病人有病时却检测为没有病，这会导致病人得不到适合的治疗。所以，这个时候我们希望多一些假阳性。
但是，在垃圾邮件过滤时，假阳性意味着会将正常邮件当成了垃圾邮件，从而干扰邮件的传送。反垃圾邮件除了要能够够拦截或过滤大部分的垃圾邮件，但减少假阳性带来的误伤也非常重要。所以，这时我们希望多一些假阴性。

Q11：什么是选择偏差(selection bias)？它的重要性如何？怎样才能避免？

【Matthew Mayo解答】

一般来说，选择偏差指的是由于非完全随机的样本引发错误的一种情况。举例来说，如果有100个测试样本，分别由60/20/15/5分成四类组成，但实际的训练样本中每类实例数量又是接近的，那么模型有可能给出错误的假设—每类占比是决定性的预测因素。避免非随机采样是解决选择偏差的最好办法，但当它在实践中有困难时，使用类似重采样(resampling)、boosting和加权(weighting)这样的策略也有助于解决这个问题。

Q12：举例说明怎样设计实验来回答有关用户行为(user behavior)的问题

【Bhavya Geethika解答】

步骤1，制定要研究的问题：页面加载时间对用户满意度评级的影响是什么？
步骤2，识别变量：我们要识别出原因和结果，自变量是页面加载时间，因变量是用户满意度评级。
步骤3，构造假设：对一个网页来说，较低的页面加载时间会对用户满意度有更多影响。这里我们要分析的因素就是页面加载时间。
步骤4，确定实验的设计：考虑实验的复杂性，即一次改变一个因素或者在同一时间改变多个因素，这样我们用的是因子设计(factorial design, 又称2 ^ķ设计)。设计的选择要基于目标的类型(比较、筛选、响应面)[原文：Comparative, Screening, Response surface]和因素(factors)的个数。
确定采用何种实验形式，可以是参与者组内、参与者组间或者混合方式。例如：有两个版本的网页，一个在左边有购买按钮(点击购买)另一个网页这个按钮在右边。
- 参与者组内设计(Within-participants design) –用户组的用户都可以看到两个版本的网页。
- 参与者组间设计(Between-participants design) –一个用户组看到A版本，另一组的用户看到B版本的。
步骤5，制定实验任务和程序：实验中涉及的步骤的详细描述，用来衡量用户行为的工具, 目标和成功度量这些都要定义。收集有关用户参与的定性数据，以便进行统计分析。
步骤6，确定操作和测量：操作(manipulation): 控制一个层级的因素，处理另一个。我们还要定义行为的衡量标准。
- 延迟(Latency)-从提示到行为发生的时间(从展示出商品到用户点击购买按钮用了多长时间)。
- 频次(Frequency)-一个行为发生的次数(在某个时间内点击特定页面的次数)。
- 持续时长(Duration)-特定行为持续时间(添加所有商品所用的时间)。
- 强度(Intensity)-行为发生的强烈程度(用户多快购买一个商品)。
  -步骤7，分析结果：识别用户行为数据，根据观测到的结果，支持或反对该假设。例如：不同页面加载时间下用户满意度评级的分布是怎样的。

Q13：“高/宽”数据(tall/wide data)的差别是什么？

Gregory Piatetsky解答】
在大多数数据挖掘、数据科学的应用中，记录(行)比特征(列)多很多-这种数据有时被称做“高”数据。

在像基因组学或者生物信息学的一些应用中，你可能只有很少的记录（病人），例如100，但又可能会对每个病人做20,000个观察。这时，通常用在“高”数据上的标准方法会导致过度拟合数据，所以需要引入特殊的方法。

针对高数据和宽数据的不同方法
问题不仅仅是变形(reshape)数据(这里有R包 useful R packages)，而是通过减少特征数来寻找最相关的特征，以避免假阳性(false positives)。特征约减(feature reduction)的方法像Lasso在”Statistical Learning with Sparsity: The Lasso and Generalizations”一书中有介绍

Q14：怎样确定一篇文章里（报纸或其他媒体上）的统计数据是错的或者只是为了支持作者的观点，而不是关于某主题正确全面的真实信息？

Zack Lipton提出了一个简单的原则：如果这些统计数据发表在报纸上，那么它就是错的。这里有一个来自Anmol Rajpurohit的更严谨的解答。

第一步先要看发表它的机构和它的目标受众。
通过下面的方法试图隐藏他们研究的不足：巧妙的叙事技巧和忽略重要的细节直接跳到诱人的错误结论。因此，可以使用“拇指规则”(thumb’s rule)识别文章是否包含误导人的统计数据，检查文章是否包含了研究方法上的细节以及研究方法是否存在有感知限制的选择。注意查找像“样本容量(sample size)”，“误差范围(margin of error)”等词。尽管对“样本容量”，“误差范围”多少合适没有完美的答案，这些属性在阅读最终结论时要牢记于心。

另一个常见的错误报道案例是，缺乏数据素养的记者从已发表的研究报告的一两段中得到一个见解，并且为了得到他们的观点而忽略报告的其他部分。

首先，一篇可靠的文章不会含有任何无事实根据的观点。所有观点都必须能够对应研究结果的支持。
其次，即便一篇文章引用了著名的研究论文，也并不代表它正确地运用了论文中的观点。这能通过全面阅读这些研究论文来判断其与手头文章的相关性。
最后,虽然最终结果可能看起来是最有趣的部分,但是通常是致命地跳过了细节研究方法(和发现错误、偏差等)。

Q15：解释Edward Tufte’s的“图表垃圾”(chart junk)的概念

【Gregory Piatetsky解答】

图表垃圾指的是图表或图片中所有可视元素对表达信息是不必要的，或者干扰观察者获取信息。

“一个无意的内克尔错觉，像后面两个平面翻转到了前面来。有的角锥体遮住了其他的；一个变量(角锥体堆叠的深度)没有注明标识或比例”。

来自exceluser的更现代的例子，由于工人和吊车的干扰，图中的柱状图很难理解

Q16：怎样筛查异常点(outliers)以及发现异常点后该如何处理？

【Bhavya Geethika解答】
筛选异常值的方法有z-scores, modified z-score, box plots, Grubb’s test，Tietjen-Moore测试指数平滑法,Kimber测试指数分布和移动窗口滤波算法。

四分位距法(Inter Quartile Range)
异常值是给定数据集中一个小于第一四分位数(Q1)或者大于第三四分位数(Q3)1.5倍四分位距以上的数据点。

High = (Q3) + 1.5 IQR
Low = (Q1) - 1.5 IQR

Tukey法(Tukey Methond)
它使用四分位距来过滤太大或太小的数。它实际上与上面的方法一样，除了它使用了“围栏(fences)”的概念。有两个一高一低的围栏：

Low outliers = Q1 - 1.5(Q3 - Q1) = Q1 - 1.5(IQR)
High outliers = Q3 + 1.5(Q3 - Q1) = Q3 + 1.5(IQR)

在围栏之外的都是异常点。
当发现了异常值，不能在没有进行定性评估下就将它们移除，因为这样做是数据不再纯净。重要的是要理解分析问题的上下文或者说重要的是“为什么的问题-为什么异常值不同于其他数据点?”
这个原因很关键。如果是异常点导致了错误的发生，就可以把它扔掉。但如果异常点表示了一种新的趋势、模式或者揭示了数据中有价值的结论，那么它就应该被保留。

Q17：怎样运用极值理论(extreme value theory)、蒙特卡洛模拟(Monte Carlo simulations)或其他数理统计方法来正确的估计一个小概率事件(rare event)的发生几率。

【Matthew Mayo解答】
极值理论关注的是小概率事件或极值，这点和经典统计方法不太一样，后者更关注平均。极值理论认为有3种分布可以建模从一些分布中随机观察到的极值点：Gumble, Frechet, 和 Weibull分布，也被叫做极值分布(Extreme Value Distributions, EVD)I型、II型和III型。
极值理论认为，如果从一个给定分布中产生N个数据集，然后创建一个只包含了这N个数据集的最大值的新数据集，那么这个新数据集只能被一种EVD分布精确描述：Gumble, Frechet, 或者 Weibull分布。广义极值分布(GEV)则是一个可以组合这3种极值理论分布还有极值分布模型的模型。
首先要理解用来建模数据的模型，然后才能使用模型来建模数据，最后才是评估。一旦找到最合适的模型，就能对模型进行分析，包括计算可能性。

什么是推荐引擎(recommendation engine)？它是怎么工作的？

【Gregory Piatetsky解答】
我们现在都对推荐很熟悉，比如netflix的“你可能喜欢的其他电影”，亚马逊的“购买了X的用户还买了Y”。这些系统就叫做推荐引擎，或者更通俗地叫做推荐系统(recommender systems)。
两种典型的进行推荐的方法是：协同过滤(Collaborative filtering)和基于内容的推荐(Content-based filtering)。

协同过滤基于用户过去的行为(如买过的商品、看过的电影、评过的电影等)和用户以及其他用户的决定建模，然后模型被用于预测用户可能会感兴趣的物品(或者给物品的评分)。

基于内容的推荐方法基于一个物品特征来推荐更多具有类似特性的物品(items)。这些方法经常包含在混合推荐系统(Hybrid Recommender Systems)中。
如两个流行音乐推荐系统——Last.fm 和 Pandora Radio。

Last.fm建立了一个歌曲推荐站。他们观察一个用户经常听的乐队或单曲，并与其他用户的听歌行为进行比较，然后Last.fm会给一个用户播放那些不在其曲库里，但和其兴趣相似的其他用户常听的歌曲。由于这种方法利用了用户行为，它是一个协同过滤技术的例子。
Pandora是一个可以播放具有相似属性音乐的站，它主要基于一首歌或艺术家的属性(一个由Music Genome Project提供的400个属性的子集)来推荐。用户的反馈用来修正曲库的结果，当用户不喜欢一首歌曲时就减弱对应的属性(attributes)，而当用户喜欢一首歌曲时就增强对应的属性。这是一个基于内容过滤的例子。

Q19：说明假阳性(false positive)和假阴性(false negative)分别是什么？为什么区分它们的差异性很重要？

【 Gregory Piatetsky解答】
在二分类(或者医学检验)中，假阳性是指当一个算法或测试显示出现某种状况，但实际上并未出现。假阴性是指当一个算法或测试显示未出现某种状，但实际上却出现了。

在统计假设检验中，假阳性也叫做一类错误，假阴性也叫做二类错误。

很明显区分和区别对待假阳性和假阴性非常重要，因为这两类错误的代价可能会有巨大差异。

举例来讲，如果对一项重大疾病的检测是假阳性(检测结果是有病，但其实病人是健康的)，那么就需额外的检测来做出正确的诊断。另一方面，如果一项检测是假阴性(检测结果是健康的，但其实病人有疾病)，那么必要的治疗将会终止，可能会导致病人病情恶化而死亡。

Q20：你使用什么工具来做可视化(visualization)？你觉得Tableau怎么样？R呢？SAS呢？怎样在一张图或视频里有效地展示5维数据？

【Gregory Piatetsky解答】
数据可视化有很多很好的工具，如R, Python, Tableau 和 Excel等都是数据科学家经常使用的。
有很多方法可以在一个图表里展示多于2维的信息。第三维度可以用能旋转的三维散点来展示。还可以应用颜色、阴影、形状、尺寸。动画可以有效地展示时间维度（随着时间改变）。

5维Iris数据集的散点图分别对应尺寸: 花萼长度; 颜色: 花萼宽度; 形状: 类别标记; 横轴: 花瓣长度; 纵轴: 花瓣宽度

对多于5维的，一种方法是平行坐标法（Parallel Coordinates）,由Alfred Inselberg首创。

Iris数据集的平行坐标展示

另请参阅
Quora:高维数据可视化的最好方法是什么?
和
乔治·格林斯和他的同事们在High-Dimensional Visualizations 的开创性工作。
当然,当你有很多的维度的时候，最好是先减少维度或特征。

解释什么是过拟合，你如何控制它

【Gregory Piatetsky解答】
过拟合是指（机器）学习到了因偶然造成并且不能被后续研究复制的的虚假结果。
埃尼迪斯指出，为了使研究结果是可靠的，它应该有：

大型的样本和大量的结果
测试关系的数量更多，选择更少
在设计，定义，结果和分析模式几个方面有更大的灵活性
最小化偏差，依资金预算和其他因素考量（包括该科学领域的普及程度）

不幸的是，这些规则常常被违反，导致了很多不能再现的结果。例如，标准普尔500指数被发现与孟加拉国的黄油生产密切相关（从1981年至1993年）（这里是PDF）

若想看到更多有趣的（包括完全虚假）的结果，您可以使用一些工具，如谷歌的correlate或Tyler Vigen的Spurious correlations。

可以使用几种方法来避免数据过拟合：

试着寻找最简单的假设
正规化(为复杂性添加一种处罚)
随机测试(使变量随机化,在这个数据上试试你的方法——如果它发现完全相同的结果,肯定有哪里出错了)
嵌套交叉验证(在某种程度上做特征选择,然后在交叉验证外层运行整个方法)
调整错误发现率
使用2015年提出的一个突破方法——可重复使用的保持法

Reference

https://www.quora.com/What-are-20-questions-to-detect-fake-data-scientists
原作者|Jay Verkuilen
http://data.qq.com/article?id=2932

What are 20 questions to detect fake data scientists?相关推荐

【论文翻译假新闻检测综述 HICSS 2019】Can Machines Learn to Detect Fake News? A Survey Focused on Social Media
论文题目:Can Machines Learn to Detect Fake News? A Survey Focused on Social Media 论文来源:HICSS 2019,Procee ...
Why Apache Spark is a Crossover Hit for Data Scientists [FWD]
Spark is a compelling multi-purpose platform for use cases that span investigative, as well as opera ...
7CCSMCMP: Coursework 2 Computer Programming for Data Scientists The 7CCSMCMP instructors
代写-do not hesitate to contact me! WeChat:lovexc60 0 Instructions This document describes Coursework ...
Hiring data scientists
从微博上看到转发的文章,如何hire一名数据科学家(http://treycausey.com/hiring_data_scientists.html),主要的讨论点在博主认为不要写白板代码.看了下, ...
人工智能的应用现状_AI的应用状况
人工智能的应用现状 Applied AI continues to accelerate, largely fueled by the maturation of tooling and infras ...
采访Presto作者Christopher Berner
Software Engineering Daily于2015年8月8日采访了Presto作者之一Christopher Berner 以下为采访主要内容与采访录音 PS: 有不少干货 Presto ...
The Pathologies of Big Data（大数据病理）
论文目录大数据病理(The Pathologies of Big Data) 处理大数据(Dealing with Big Data) 硬件限制(Hard Limits) 分布式计算作为大数据策略( ...
The right to contest automated decisions under the General Data Protection Regulation: Beyond the so
Regulation & Governa nee Regulation & Governance (2021) doi:10.1111/rego.12391 The right to ...
【Introduction to Artificial Intelligence and Data Analytics】（TBC）
Introduction to Artificial Intelligence and Data Analytics 笔记. 课件引用于香港理工大学comp1004课程 Content Chapter ...

What are 20 questions to detect fake data scientists?

Q1：解释什么是正规化（regularization）以及它的用处。解释特定方法的优劣势，如岭回归（ridge regression）和LASSO算法？

Q2：你最崇拜哪些数据科学家和创业公司？

Q3：假设你需要使用多次回归来为一个定量分析结果中的变量建立预测模型，请解释你将如何来验证该模型。

Q4：解释什么是准确率（precision）和召回率（recall），它们和ROC曲线有什么关联？

Q5：如何证明对一个算法的改进的确是有用的？

Q6：什么是根本原因分析(root cause analysis)？

Q7：是否熟悉价格优化、价格弹性、库存管理、竞争情报？举例说明。

Q8：什么是统计功效(statistical power)？

Q9：什么是重采样(resampling)？它有什么用？有什么局限？

Q10：假阳性(false positive)多还是假阴性(false negative)多比较好？请说明原因。

Q11：什么是选择偏差(selection bias)？它的重要性如何？怎样才能避免？

Q12：举例说明怎样设计实验来回答有关用户行为(user behavior)的问题

Q13：“高/宽”数据(tall/wide data)的差别是什么？

Q14：怎样确定一篇文章里（报纸或其他媒体上）的统计数据是错的或者只是为了支持作者的观点，而不是关于某主题正确全面的真实信息？

Q15：解释Edward Tufte’s的“图表垃圾”(chart junk)的概念

Q16：怎样筛查异常点(outliers)以及发现异常点后该如何处理？

Q17：怎样运用极值理论(extreme value theory)、蒙特卡洛模拟(Monte Carlo simulations)或其他数理统计方法来正确的估计一个小概率事件(rare event)的发生几率。

什么是推荐引擎(recommendation engine)？它是怎么工作的？

Q19：说明假阳性(false positive)和假阴性(false negative)分别是什么？为什么区分它们的差异性很重要？

Q20：你使用什么工具来做可视化(visualization)？你觉得Tableau怎么样？R呢？SAS呢？怎样在一张图或视频里有效地展示5维数据？

解释什么是过拟合，你如何控制它

Reference

What are 20 questions to detect fake data scientists?相关推荐

最新文章

热门文章

What are 20 questions to detect fake data scientists?

Q1：解释什么是正规化（regularization）以及它的用处。解释特定方法的优劣势，如岭回归（ridge regression）和LASSO算法？

Q2：你最崇拜哪些数据科学家和创业公司？

Q3： 假设你需要使用多次回归来为一个定量分析结果中的变量建立预测模型，请解释你将如何来验证该模型。

Q4：解释什么是准确率（precision）和召回率（recall），它们和ROC曲线有什么关联？

Q5：如何证明对一个算法的改进的确是有用的？

Q6：什么是根本原因分析(root cause analysis)？

Q7：是否熟悉价格优化、价格弹性、库存管理、竞争情报？举例说明。

Q8：什么是统计功效(statistical power)？

Q9：什么是重采样(resampling)？它有什么用？有什么局限？

Q10：假阳性(false positive)多还是假阴性(false negative)多比较好？请说明原因。

Q11：什么是选择偏差(selection bias)？它的重要性如何？怎样才能避免？

Q12：举例说明怎样设计实验来回答有关用户行为(user behavior)的问题

Q13：“高/宽”数据(tall/wide data)的差别是什么？

Q14：怎样确定一篇文章里（报纸或其他媒体上）的统计数据是错的或者只是为了支持作者的观点，而不是关于某主题正确全面的真实信息？

Q15：解释Edward Tufte’s的“图表垃圾”(chart junk)的概念

Q16：怎样筛查异常点(outliers)以及发现异常点后该如何处理？

Q17：怎样运用极值理论(extreme value theory)、蒙特卡洛模拟(Monte Carlo simulations)或其他数理统计方法来正确的估计一个小概率事件(rare event)的发生几率。

什么是推荐引擎(recommendation engine)？它是怎么工作的？

Q19：说明假阳性(false positive)和假阴性(false negative)分别是什么？为什么区分它们的差异性很重要？

Q20：你使用什么工具来做可视化(visualization)？你觉得Tableau怎么样？R呢？SAS呢？怎样在一张图或视频里有效地展示5维数据？

解释什么是过拟合，你如何控制它

Reference

What are 20 questions to detect fake data scientists?相关推荐

最新文章

热门文章

Q3：假设你需要使用多次回归来为一个定量分析结果中的变量建立预测模型，请解释你将如何来验证该模型。