邮箱:mscds@cuhk.edu.cn    中文 | EN

返回上一页首页 > 新闻资讯

讲座回顾 | 统计学在互联网大厂 - AB实验

2021-11-26 阅读:293

主讲人:Yuzheng SUN

康奈尔大学经济学博士

腾讯游戏数据科学副总监



▶ 活动总结

 

1. 数据科学家的核心硬技能:因果分析

- 在面对数据的过程中,数据科学家要懂得取舍,需要有系统的理解,去定义这些指标,然后再想方设法去增长这些指标


2. 因果识别的究极追求:AB实验

相关性 = 因果关系 + 选择偏差 // +一些多数情况下不太重要的事情

- 用随机性消除选择偏差

- AB 实验在大厂里的流程

a. 很多大厂的产品有很多用户,他们可以随机把一些用户放进「实验组」,一些放进「对照组」

b. 如果和两组用户其他产品体验是一样的,这两组用户在核心指标上的统计分布应该是一样的:活跃度,付费,留存率,等等

c. 给「实验组」的用户体验B;对照组的用户体验A;就是AB实验

d. (B A) 就是你的新功能为产品/业务带来的对核心指标的变化

3. 经验分享


(1)在日常生活中

- 扎实打好概率和统计的基础

数据工作分支会不同,选好方向。明确自己的兴趣和擅长之处,在没有选好方向的时候,就去多实习、多提高技术

- 日常多总结规律、思考因果、提高认知

多提高技术,少NetworkNetwork的出发点应该是学习和了解信息,而不是为了“我认识XXX

(2)如何可以更好地提高产品思维?

首先,要多看书,去学习和认识到很多专业人士的故事。其次,很多时候,学到的方法不一定适用于所有的用户,而如何更真实的去体会去学习,就可以从身边的机会下手,例如家附近或学校附近的奶茶店,去真实的体验一下如何可以通过分析从而达到提高百分之三十销量的目的,去从真实的案例中学习。再者,多实习、多问问为什么,以及多想想为什么要这么做。


4. 学生感想

孙博在讲座中主要和我们分享了AB实验在互联网大厂里面的应用。他从理论出发,结合他自身的职业经验向我们说明了AB实验可以消除用户的选择偏差,从而避免无意义甚至有副作用的商业决策。

除了理论外,孙博士展示了一个Facebook 在用的AB Testing 平台作为例子。这个视频直接打破了我之前对软件迭代过程的认知。在这个平台上,产品每一个新的特征都会被进行AB实验,然后进行严谨的效果分析,只有有效的特征才会被应用在产品上,保证了产品持续的正向迭代过程。

除了AB实验,孙博还向我们分享了他对数据分析师的职业认知,以及一些大厂面试经验。整场讲座节奏十分紧凑也有不少的干货,提高了我对下一场专题讲座的期待。

— 21级数据科学学生 LYC


孙博士先通过一些十分有趣的例子介绍了因果分析。由此引出这次讲座的主题——AB实验在互联网大厂的应用。孙博士在这个部分向我们介绍了AB实验的流程以及Statsig。我从中了解到AB实验可以用来检验新功能业务带来的对核心指标的变化,以及它对互联网公司所带来的价值。在这次讲座的最后,腾讯的HR也向我们介绍了腾讯的业务以及校招的流程。在这次讲座中,我感受到了统计学在数据科学中的重要性以及选好自己喜欢的方向的重要性。

— 21级数据科学学生 WZT


关于我们