MaxDiff系列（一） 成对比较趣事
文章转载自微信公众号：消费者研究
我们将用一个系列介绍MaxDiff这种新的测量和建模技术，主要聚焦在它可以解决什么样的问题，以及如何解决问题。我们先从两个故事开始。
瑟斯顿的故事
路易斯.列昂.瑟斯顿博士(Louis Leon Thurstone)早在上世纪20年代就已经是心理测量学领域的先驱人物。他通过大量测试和评估，建立了一套关于测度的理论方法，他将其称为“比较性判断准则（Law of Comparative Judgement）”。这套准则通过让人们每次比较多个对象中的两个，而最终可以计算出每个对象的测量分数（定距尺度）。后来的学者根据这种方法的特点将其命名为“成对比较法”。瑟斯顿博士在心理学测量领域，以及因子分析方法上都做出了极大的贡献。
瑟斯顿在上世纪20年代任教于芝加哥大学。彼时芝加哥犯罪频发，黑道大哥艾尔.卡彭呼风唤雨。因此，当时不少芝加哥大学的研究学者开始关注犯罪现象，他们想知道应该如何减少犯罪，犯不同罪行的人应该如何量刑惩处。
瑟斯顿当时最关注的一个问题是如何量化不同罪行的严重程度。事实上，他非常喜欢这个问题，并且一辈子（直到去世）都致力于这项研究。也许瑟斯顿这一生最著名的研究就是试图去量化不同罪行的严重程度，去从定距尺度上了解哪些罪行会比其他一些罪行更为严重。他挑选了19种当时最普遍的犯罪行为，并且希望通过调查来获取人们对这些罪行严重程度的看法。以下是他挑选的19种罪行。
如果是您，您会如何测评这些罪行的严重程度呢？
对于大多数人来说，也许首先会想到采用打分评测的方法。那么相应的问题会长成这个样子
瑟斯顿没有采用评分的方法，因为打分的方法得到的结果往往在不同罪行上缺乏足够的差异度（不同罪行的严重程度平均分相差不大），而且很容易受到受试者个体评分尺度使用偏差的影响（有些人倾向于打高分，有些人倾向于打低分；有些人只打6/7分，有些人会愿意使用1-7分中的任何分数）。
或者，你会想到用排序的方法。这样一来应该可以克服打分评价的一些不足了。那么相应的测试问题会是这个样子。
但瑟斯顿也没有选择这种方法。这是因为需要测评的罪行比较多，受试者很难准确地完成排序。事实上，有研究表明，当需要排序的对象超过7个时，受试者就很难做出准确的判断了，何况这里有19种罪行需要排序。另外一个原因是即便受试者可以做出准确的排序，我们也很难量化不同罪行的严重程度。因为我们得到的是有序型数据，而这种数据并不能直接进行加减乘除，如果某个人把杀人罪排在第1严重，而另外一个人把杀人罪排在第5严重，我们如何汇总这两个人在杀人罪上的评价以得一个数量意义上的测量值?
瑟斯顿最终采用的方法是成对比较法。19种罪行如果进行两两比较的话，总过有171（19*(19-1)/2=171）次成对比较。下图是他的成对比较问题的部分展示：
瑟斯顿为此制作了几套不同的卡片集，每套卡片集里有171张卡片，每张卡片上出示两种罪行。每套卡片集里均有171张卡片，但是每套卡片集里卡片出现的顺序是不同的。为此，瑟斯顿还专门用圆环把每个卡片集的卡片串在一起以免搞错次序。当受访者需要完成比较时，他们一边翻动卡片集，一边将自己的比较答案记在答题纸上。这的确挺费时间的，据瑟斯顿记录，平均每个人需要花费近20分钟以完成这171张卡片的成对比较。
尽管需要更长的时间完成更多这样的问题，但受试者并不会觉得乏味和困难。因为直接比较两个对象相比打分（缺乏直接比较）或排序（需要比较的内容过多）更加简单，而且受访者会觉得这是一个有趣的过程，他们的主动参与度更高，而疲劳度更低，因此会容忍更长的访问时间。而且瑟斯顿相信对这种数据的分析会更加有效和准确，能获得更有意义的具有显著差异性的结果。
瑟斯顿把这些成对比较的调查问题交给了266名芝加哥大学的学生去完成。根据这266名受访者的答案，瑟斯顿计算出了每种罪行的严重程度（0-100，定距尺度）。看看当时瑟斯顿计算得到的最终结果。
现在我们不仅可以知道罪行严重程度的排序，还能知道某个罪行比其他的罪行严重多少。现在来看看1927年人们对罪行的看法还是挺有趣的，我们也可以想想当前我们对这些罪行的判断是否和80多年前有多大差别呢？
如果需要了解更多关于瑟斯顿关于这项研究的细节，可以参阅http://www.brocku.ca/MeadProject/Thurstone/Thurstone_1927a.html
Facemash的故事
最近20年来，互联网最大的事件无疑是社交网络的盛行。而让社交网络真正盛行起来的人无疑是facebook的创始人马克·扎克伯格。他的传奇故事于2010年被搬上了银幕--《社交网络》。电影《社交网络》的前15分钟记录了这样的场景。2003年，在哈佛大学读二年级的马克·扎克伯格刚从一次失败的约会中回到宿舍，不爽的他从冰箱里拿出啤酒解闷，同时想着需要做点什么。他编写了一个好玩的网站Facemash，可以将任意两个女生的头像照片随机组合在一起（为此他黑进了不少宿舍楼或学院的服务器，下载了大量女生的头像照片），让网页浏览者选择哪一个“更性感”。下图是《社交网络》电影介绍这段往事的一些截屏。
扎克伯格当时还把自己开发这个小程序的想法和做法都实时记录在了自己的博客上。可以看到，他认为用直接评分的方式来评价女孩子的“热辣”程度并不好，而通过成对比较方式得到的排序则更好，显得更“聪明”。关键的是，对于评测者而言，这种成对比较足够简单，好玩。这款小程序在极短的时间内风靡整个校园，facemash的点击率非常之高，甚至一度导致哈佛校园服务器的过载。
多说一句，在获得了成对比较数据后，扎克伯格使用一种叫做Elo rating system的算法实时计算女孩的“热辣度”以进行排序。这种算法是当今对弈水平评估的公认权威规则，已被广泛应于国际象棋、围棋、足球和篮球等体育运动以及游戏中。当然，能帮助扎克伯格解决女孩子热辣度排序问题的算法不止这一种。问题的关键在于，扎克伯格意识到了采用成对比较法是进行评测和获取数据的最佳方式。
对我们的启示
不论是瑟斯顿的关于罪行严重程度的社会看法的研究，还是扎克伯格的facemash网站，都体现出一个共同点，即需要比较的对象非常多。瑟斯顿需要比较19项罪行，而扎克伯格的facemash更是需要比较成百上千的女孩头像。瑟斯顿和扎克伯格不约而同地选择了成对比较这种方式，他们都注意到了评测者的因素，更多的是考虑到如何让参与评测的人能够顺利地，轻松地给出准确的评价。他们都意识打分评测方式在面对多对象评测时的缺点，因此宁愿用更长的时间成对比较方式以换来有趣得多的评测体验以及更准确的结果。
在日常生活中，也往往会遇到多个对象评价的情形，这时我们是否也需要用更有趣的方式帮我们做出准确的决策呢？在市场研究领域，客户也往往需要了解消费者对多个对象（例如多个产品，多种产品属性，多个版本的广告，抑或多种不同的生活态度倾向等）的偏好。传统的打分或排序方式往往对受访者来说是种挑（zhe）战（mo），他们很难做出准确的回答，这导致最终的研究结果经常体现不出对象间明显的差异（尽管可能体现出某种有意义的模糊趋势），客户往往对把这种结果运用于营销和管理满怀疑虑。是否我们也可以借鉴上面瑟斯顿和扎克伯格的思路去解决实际的问题呢？
MaxDiff系列（一） 成对比较趣事相关推荐
- 我把《系统设计》系列整理成了 PDF
大家好,我是等天黑. 相信很多朋友应该注意到了,我最近发了很多系统设计的文章.是的,到目前为止,已经发了有 7 篇文章.这些内容主要翻译自 Alex Xu 的 <System Design In ...
- iPhone 12系列手机成了真香机了！
昨晚八点的时候苹果正式开售自家的iPhone12,不过这一波主要销售iPhone12与iPhone12Pro手机,12mini和12promax要延迟开售! iPhone 12和iPhone 12 P ...
- 【转】BAT机器学习面试1000题系列（1~50）
BAT机器学习面试1000题系列 整理:July.元超.立娜.德伟.贾茹.王剑.AntZ.孟莹等众人.本系列大部分题目来源于公开网络,取之分享,用之分享,且在撰写答案过程中若引用他人解析则必注明原作者 ...
- 容器化技术与微服务结合---结合springcloud微服务框架进行部署（含切换成阿里云docker仓库）（五）
目录 系列 更换成阿里云仓库 开通阿里云镜像服务 创建仓库 本地k8s切换成阿里云的镜像仓库 测试阿里云镜像 准备简单的微服务 eureka 应用配置 k8s配置: demo-a 应用配置 k8s配置 ...
- 【笑小枫的SpringBoot系列】【九】SpringBoot用户登录功能实现
关于本文 其实用户登录拦截的这块不想这么早写,加个登录后面好多东西就要考虑登录状态了,我其实想把这个系列写成非必要关系,解耦性比较强的系列.但是,写完redis,总是感觉登录是对它最简单的实践,那就加 ...
- BAT机器学习面试1000题系列（第1~60题）
本文转自: https://mp.weixin.qq.com/s?__biz=MzI4MTQ2NjU5NA==&mid=2247485444&idx=1&sn=adafa439 ...
- 【转】BAT机器学习面试1000题系列（51~100）
BAT机器学习面试1000题系列 整理:July.元超.立娜.德伟.贾茹.王剑.AntZ.孟莹等众人.本系列大部分题目来源于公开网络,取之分享,用之分享,且在撰写答案过程中若引用他人解析则必注明原作者 ...
- ***BAT机器学习面试1000题系列
BAT机器学习面试1000题系列 整理:July.元超.立娜.德伟.贾茹.王剑.AntZ.孟莹等众人.本系列大部分题目来源于公开网络,取之分享,用之分享,且在撰写答案过程中若引用他人解析则必注明原作者 ...
- BAT机器学习面试1000题系列 第1 305题
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! BAT机 ...
最新文章
- 更换yum的源为阿里云或者网易
- 干货丨卷积神经网络工作原理的直观解释
- python函数能否增强代码可读性_总结的几个Python函数方法设计原则
- Java程序员必备基础：Java代码是怎么运行的？
- PyTorch机器学习从入门到实战-CH2
- 系统图标及其注册表项
- 标自然段的序号格式_你可能还不会基本的公文格式
- java注释越多_java 注释+常便量
- dubbo服务RpcException异常：Tried 3 times of the providers 或com.alibaba.dubbo.remoting.TimeoutException
- 20180810 突然发现自己不小心跑到了数据分析呈现岗位
- Python设计一个游戏类
- Git(3)：git clone远程GitHub仓库代码出现“Permission Denied (publickey)”问题
- SharePoint 使用 CMOS 上传、下载、删除文件，新增文件夹
- 在OSPF中引入直连路由时调用Route-Policy
- netty使用中的LEAK: ByteBuf.release() was not called before it‘s garbage-collected
- 借助方便的工具平台，让App制作变简单
- java html读取数据库数据类型,从Word（Docx）读取方程式和公式到html并使用java保存数据库(示例代码)...
- 数据库横向扩展和纵向扩展
- 二级域名怎么解析，在线求解
- 学习笔记-webrtc