value怎么解决(你明明知道却硬是解释不清的面试真题:P-value到底是什么?)

value怎么解决

在我第一份实习期间,希格斯玻色子 (Higgsboson)刚被证实存在。一时间,科学家们都为这一粒子的发现兴奋不已,尤其是探测粒子实验的误差都在5 sigma之内(意味着p值等于0.0000003)。那时我对p值(p-value),假设检验(hypothesis testing)和统计显著性(Statistical significance)等概念一无所知。于是我拿起手机搜索了一番,但专业的解释更让我云里雾里。
专业解释:p值(P value)就是在统计假设检验中,当原假设为真时所得到的统计数据(如两组样本数据平均值差)会大于或等于实际观察到的结果的概率。
行,彻底看晕。
直到现在,进入数据科学领域工作后,我才开始真正理解p值的意义,以及如何在实验中利用p值进行制定决策。
今天在这篇文章里,我将重新解读p值的定义,以及如何在假设检验使用p值。虽然不能跳过统计概念和定义的部分,但我不会术语轰炸你。希望能让你对p值有一个深入又直观的理解。
我会从以下四个部分,逐步帮助你达到理解、利用p值:
假设检验(Hypothesis Testing)正态分布(Normal Distribution)P值(P-value)统计显著性(Statistical Significance)
1. 假设检验(Hypothesis Testing) 
在介绍p值的定义之前,我们先来了解一下假设检验。在假设检验中,我们可以利用p值来确定检验结果的统计显著性。
统计显著性基于以下三个概念:
假设检验(Hypothesis testing)正态分布(Normal distribution)P值(P-values)
假设检验是利用样本数据,检验统计零假设(null hypothesis)的一种方法。相对于零假设,备择假设(alternative hypothesis)是统计结果的另一种可能,零假设不成立时,则选择接受备择假设。
换句话说,首先我们会先对数据总体的特征提出一个假设(零假设),并通过抽样的样本数据来检验假设是否成立。如果不成立,我们就会选择备择假设。
我们会使用p值来衡量支持假设的数据是否足够有说服力,是否具有统计意义。如果数据支持备择假设,则拒绝原假设,接受备择假设。
举个例子:假设一个披萨店,号称他们的订单平均送达时间 ≤ 30分钟。但我们认为订单平均耗时大于30分钟,则可以进行假设检验,并随机抽样一些订单送达时间来检验假设:
零假设(Null hypothesis) — 订单平均送达时间 ≤ 30分钟对立假设(Alternative hypothesis) — 订单平均送达时间 > 30分钟
有了两个假设后,我们希望能通过计算,辨别样本数据能更好的支持哪一个假设。
因为我们只想确定平均交付时间是否大于30分钟(披萨店是否说谎了),所以这个检测并不关心平均交付时间是否小于等于30分钟。针对这个例子,我们会使用假设检验的一种常用方法——单侧检验(z检验)。
2. 正态分布
 
正态分布是一种用于观察数据分布的概率密度函数。正态分布有两个参数——平均值(mean:μ)和标准差(standard deviation),也称为sigma(σ)。
平均值(mean)是函数分布的集中趋势,它决定了函数图像中峰值的分布位置。
标准差(standard deviation)是数据差异量(variability)的指标,它决定了分布的幅度(峰值与平均值的距离)。
正态分布通常遵循68-95-99.7的面积规则(见上图)。
68%的数据分布在平均值(μ)左右的一个标准差(σ)范围95%的数据分布在平均值(μ)左右的两个标准差(σ)范围内99.7%的数据分布在平均值(μ)左右的三个标准差(σ)范围内
还记得开头令我云里雾里的证实希格斯玻色子存在的“5 sigma”吗?5 sigma指的是99.9999426696856%的数据符合粒子存在的假设,其阈值如此之高,是为了最大程度避免可能的错误信号。
OK。那如何将正态分布利用于假设检验呢?
首先,由于要使用z检验来进行假设检验,我们需要计算z score,即假设数据点离平均值的标准差数。在这个例子里,每个数据点收集的是pizza送餐时间。
Z分数计算公式
计算出所有pizza送餐时间的z-score后,我们可以将其绘制成一条标准正态分布曲线。根据z-score公式,我们将送餐时间标准化,从而使正态分布曲线的x轴单位由分钟数变为标准差单位。
通过观察标准正态分布曲线,我们可以利用标准差单位比较检验抽样结果的分布和“正态”总数据的分布。
有了z-score,我们可以了解总体数据相对于平均数据的分布位置。
通常我们认为,在z-score越极端(越高或越低)的情况下,检验结果发生的可能性也越极端(越不可能或越可能发生)时,检验结果越有意义。
但是z-score需要多高(或多低),我们才认为它有足够的说服力来量化检验结果的统计意义呢?
划重点!
解答这个问题,我们需要回到P值,并结合其与假设检验前设置的统计显著性水平(significance level ),一同来解读我们的计算结果。 3. 什么是P-Value?
终于,我们现在可以聊聊什么是P-Value了。
前面的所有的讨论和解释都是为了将我们引向该P-Value。我们需要前面的背景和步骤来使我们理解这个神秘的(实际上不是那么神秘的)P-Value,以及P-Value将如何引导我们进行假设检验的决策。 我将用我自己的例子——披萨外卖的送达时间,来解释P-Value,而不是用维基百科上的定义。 回想一下,我们随机采样了一些披萨外卖的送达时间,目的是检查平均递送时间是否大于30分钟。如果最终证据支持披萨店的论述(平均交货时间为30分钟或更短),那么我们将不会拒绝原假设。否则,我们将拒绝原假设。 在此案例中P-Value的作用就是回答一下问题: 如果我生活的世界中披萨外卖的送达时间不超过30分钟(零假设是正确的),那么我在现实生活中得到的证据会出现意外情况吗? P-Value用一个数字来回答这个问题——几率。 P-Value值越低,证据越令人惊讶和意外,我们的原假设就显得越荒谬。 当我们对原假设感到荒谬时,我们该怎么办?我们拒绝这一假设,转而选择备择假设。 如果P-Value低于预定的显著性水平(人们称其为alpha,我称其为判断荒谬与否的标准。-不要问我为什么,我只是觉得更容易理解),则我们拒绝null 假设。
现在我们了解了P-Value的含义。让我们将其应用于我们的案例。 披萨外卖时间中的P-Value 现在,我们已经收集了一些采样的外卖时间,我们进行了计算,发现平均交付时间延长了10分钟,p值为0.03。 这意味着在披萨外卖送达时间为30分钟或更短的时间中(零假设是正确的),由于随机因素,我们有3%的机会发现平均送达时间至少延长10分钟。 P-Value越低,结果越有意义,因为它不太可能由随机因素引起。 在我们的案例中,大多数人通常会误解P-Value: P-Value 0.03表示有3%(概率的百分比)的结果是偶然发生的-这是不正确的。 人们经常想得到一个明确的答案(包括我在内),这就是为什么我在很长一段时间对P-Value的解释感到困惑。 P-Value不能“证明”任何东西。它只是为了做出合理决策而考虑进意外因素的一种方法。 以下是我们如何使用0.03的p值来帮助我们做出合理的决策:
想象我们生活在一个平均送达时间始终为30分钟或更短的世界中-因为我们相信披萨店(我们最初的设想)!
在分析了收集的采样送达时间后,P-Value 0.03低于显着性水平0.05(假设我们在实验之前进行了设置),并且可以说结果具有统计学意义。
因为我们一直认为披萨店可以履行其在30分钟或更短时间内送达披萨的承诺,所以我们现在需要考虑这种想法是否仍然有意义,因为结果告诉我们披萨店无法兑现其承诺且结果具有统计学意义。
那么我们该怎么办呢?首先,我们尝试罗列使我们的初始想法(零假设)有效的所有可能方法。但是,由于披萨店很快就收到了消费者的差评,而且常常用借口搪塞顾客,导致交货延迟,于是我们自己也觉得为披萨店辩护是荒谬的,因此,我们决定拒绝原假设。
最后得出的合理决定是不再从该地点购买任何披萨。
到现在为止,你可能已经意识到了……根据我们的上下文,P-Value不用于证明任何事情。 我认为,当结果具有统计学意义时,p值将用作质疑我们最初假设(无效假设)的工具。当我们对自己的假设感到荒谬的时候(假设p值显示结果具有统计意义),我们将放弃最初的假设(拒绝原假设)并做出合理的决定。 4. 统计学意义 最后,我们将所有内容综合在一起,并测试结果是否具有统计意义。 仅仅有p值是不够的,我们需要设置一个阈值(也就是显着性水平-alpha)。应该始终在实验前设置Alpha以避免偏差。如果观察到的p值小于alpha,则可以得出结论,该结果具有统计意义。 经验法则是将alpha设置为0.05或0.01(同样,该值取决于你遇到的问题)。
如前文所述,假设在开始实验之前将alpha设置为0.05,则由于p值0.03低于alpha,因此获得的结果具有统计学意义。 以下是整个实验的基本步骤: 陈述原假设陈述替代假设确定要只用的alpha值找到与你的alpha值关联的Z-score使用此公式查找测试统计量如果检验统计量的值小于alpha级别的Z-score(或p值小于alpha值),则拒绝原假设。否则,请不要拒绝原假设。 总结 我不能否认p值对许多人而言本质上是令人困惑的,并且花了我相当长的时间才能真正理解和欣赏p值的含义以及它们如何作为数据作为决策过程的一部分为数据科学家所用。 但是不要过分依赖p值,因为它们只会在整个决策过程中帮助一小部分。
如果你想要了解更多有关数据科学家的知识,如果你想要在实践中加深对各类统计原理、统计建模方法的掌握,并且拥有一段Industry Project(行业认可的实操项目),那么你就千万不能错过MarTechApe携手全球最大广告集团数据总监精心打造的宝藏项目《营销组合建模企业级实战训练营》 – 专门培养营销数据科学家的企业级别实战项目,拥有企业真实数据(改编)与行业标准流程,项目经历可成为简历上的履历!
从我们的项目中,毕业了将近200名学生,斩获各大公司数据岗位offer:
1
营销组合模型训练营是什么?
营销组合模型训练营(Marketing Mix Modeling Bootcamp)是MarTechApe的宝藏项目,由全球最大广告集团 WPP美国办公室的数据总监以及营销分析经理共同授课。在训练营中,你将学习在真实商业情境中如何用营销组合模型解决广告营销最核心的问题——科学合理地评估不同广告对品牌和销售的影响,以统计模型的结果来科学优化广告预算。
训练营的学员收获了:
真正意义上的“用数据和模型解决营销中最重要的问题”的经历。熟练掌握SQL、R、Tableau等时下最流行的数据处理语言,并用这些技能解决实际问题。大大提高Media/Advertising Industry的商业意识,熟悉不同媒介渠道的广告活动对不同商业指标的不同回报率(ROI)与有效性(Effectiveness),学会用“营销效果”的视角看待营销活动,理解各大公司市场营销部门、消费者洞察部门的痛点。跳出学校作业的框架,上手真正商业情境中、实际工作中的实战案例。让校园与实际工作无缝衔接。将学到的Analytics思维方式泛化到其他应用场景,面对Case Study建立系统性解决思路。提升项目演示Presentation技能,学会如何从原始数据中挖掘具有意义的故事。为客户解决实际问题,提高Business KPI。完成项目后,辅导老师将帮助你利用这一个惊艳的项目背景打造最引人注目的简历;所有学员获得内推机会,优秀学员获得一对一面试辅导。
2
学员对训练营评价如何?
Marketing Mix Modeling Bootcamp开办至今,收获了大量好评,学员们都觉得Bootcamp的质量非常高,在节课后给我们发来了很多让我们非常感动的评论: 

3
训练营老师是谁?
1. 全球最大广告传媒集团WPP | 数据总监商业分析高级专家拥有7年数据分析经历各类SQL、Tableau疑难杂症的go-to person
2. 全球最大广告代理公司GroupM | 营销分析经理营销效果分析专家。为十多个每年广告预算上亿美元的大客户提供营销效果评估、销售预测等解决方案拥有6年Marketing Mix Modeling等高阶分析经验,具有丰富的训练新人和带领团队的经验毕业于Columbia University统计学系
Marketing Mix Modeling Bootcamp第14期火热报名中!
我们的老规矩:小班教学,每一期Bootcamp只招收20名学生,先到先得!
接下来我们就看看训练营的具体课程内容吧!
4
 在Bootcamp中可以学到哪些内容?
整个bootcamp分为广告数据源概况、数据处理与可视化、统计建模、深度诊断,共计24小时课时,在两个月内完成。周末Online Live授课,课后完成老师布置的作业,助教团队在班级群随时答疑,直播录像永久回放。课程内容涵盖了数据分析岗位的完整工作流程(analytics cycle):数据收集 Data Acquisition数据处理和清洗 Data Processing数据可视化与商业洞察 Data Visualization & Data Story-telling统计建模 Modeling模型优化 Optimization销售预测 Simulation深度诊断 Side Diagnostics 结果展示 Presentation每位学员将有一套亲自做的Data成果作品和一套Model成果作品,以及一段完整的为客户解决实际问题的经历。结课后,每位学员获得提升简历的Project Experience完美描述,所有学员获得内推机会!优秀学员获得额外一对一面试辅导。报名的学员可在开课前一周获得详细的Syllabus。
 1. Advertising Platform Overview   广告平台概述
了解主要的广告平台/第三方技术供应商了解主要的广告数据源、变量及其意义了解现代广告机制以及各方角色感受真实的数据收集过程
 2. Data Process & Visualization  数据处理与可视化 搭建一个真实的数据库用SQL对数据进行ETL (Extract – Transform – Load)用Tableau来完成完整的Data Visualization通过挖掘数据中的信息,总结商业洞察Data Presentation:对数据产品进行展示,展示作品可作为项目经历成果
学员在前四周会聚焦在数据处理和商业洞察上。学员会面对大量的营销活动数据(如Display、Search、Social、Video、TV等广告数据),根据Media Data的数据源与结构来处理纷繁复杂的数据。并用可视化来呈现出数据洞察。你将学会如何搭建一个数据库、如何利用SQL去处理未经处理的、大型原始数据集,并利用Tableau对数据进行可视化分析。你还将完成对一份数据的商业分析。简而言之,我们将以Data Processing >> Data Visualization >> Insights Generation这样一套体系,系统加强你的数据分析能力以及商业意识。 
 3. Statistical Modeling  统计建模 建立Marketing Mix Modeling、调参、模型甄选构造与模型结果相关的visualization,分析各营销渠道ROI,提取洞察和战略建议建立Optimization,优化不同的营销渠道的预算安排,得出最优的营销组合
在真实的世界里,模型用来回答各类不同的商业问题,帮助决策者作出最优的决策。在本次bootcamp的第四~第八周中,你将建立一个真正的Marketing Mix Model!掌握模型最核心的秘诀,调整各类模型参数、学会解读模型结果、优化营销预算、精准预测销售走势。在这个过程中,学会将商业问题翻译成模型问题,用不同的分析手段来回答不同的营销问题,真正做到数据驱动战略决策。
 4. Side Diagnostics  深度诊断 详细解析模型结果,为每一个渠道对销售的影响做深度诊断在广告战役、广告创意(Creative)、投放策略(Tactics)等多个纬度上对媒介渠道的有效性进行拆解分析掌握如何通过深度诊断来回答各类数据与模型向商业传达的信息与洞察
Final Presentation:对数据和模型变量、结果做一个完整的presentation,展示作品可作为项目经历成果,助力求职面试
在向你的观众解释Marketing Mix Modeling的模型结果时,Side Diagnostics(深度诊断)往往是一个让你的受众通过商业意义来理解模型结果的重要手段。模型的解释力以及与商业可行性的融合性是决定你的受众是否“买账”的关键因素。因此,Marketing Mix Modeling专门加入深度诊断部分,教你如何用统计的方法说服你的受众!
5
上完Bootcamp,有哪些成果可以展示?
从变量可视化分析、模型解读、营销渠道分析,到战略洞察、PPT演示,学员的精致作业就是他们最好的训练营成果,这一份拿的出手的高品质项目,无论是LinkedIn还是面试展示,都会是脱颖而出的最佳帮手!

正是这些实打实的项目经验和能够直接拿到面试官面前展示的作品,让我们的学员在面试的时候信心倍增,让面试官刮目相看!
说了这么多,到底怎么报名这门干货十足物超所值的项目课程呢?
6
报名方式
长按二维码,添加小助手为好友,回复“MMM”,即可报名bootcamp:
小助手(微信ID:yvonne91_wsn)
 价格规则 
熟悉我们的老用户,应该知道我们一直都是实行阶梯价格的,这次也不例外:先到先得、越早报名越优惠(原价$1999美元)。以下价格单位为美元:第1名~第5名:1299美元
第6名~第10名:1499美元第11名~第15名:1599美元第16名~第18名:1799美元第19名~第20名:1999美元(原价)
你现在的努力决定了两年后你在什么位置,如果红遍全网的谷歌“厂妹”有勇气破釜沉舟投资自己,你为什么不愿意付出成本提高自己的职场竞争力?两倍薪水并不是遥不可及的事情,而只是你当下的眼界和选择。
我们的课程,准备就绪,等你到来!

来个“分享、点赞、在看”?

value怎么解决相关文章

版权声明

为您推荐