你的首次点赞,很可能会影响最终的评价结果

许多网站都有点赞和反对设置。用户依赖赞、反对和衍生指标判断答案质量,自己再根据观感作评论。这里马上引出问题:

 

赞数和反对数能不能反映答案真实质量?

 

耶路撒冷希伯来大学的 Muchnik,哈佛大学的 Sinan 和纽约大学的 Taylor 联手做实验检验这一点,发现赞比反对更易被扭曲。

商业、时政、文化与社会类话题赞数泡沫最大,娱乐、经济及普通新闻扭曲最小。用户关系对扭曲程度影响依关系类型及赞同 / 反对不同而不同。

 

你的首次点赞,很可能会影响最终的评价结果

 

文章很简单,故只做简单介绍。他们实验对象是某大型新闻网站评论区。每一评论有点赞及反对按钮。评论还有分数指标,用点赞数减反对数计算。实验按以下方式执行:他们随机抽取 101281 条评论,随机分三组:

  1. 点赞处理组(up-treated group),出场自带 1 赞;
  2. 反对处理组(down-treated group);
  3. 控制组。

 

如果没有泡沫,三组分数不应有显著差异。他们用重复抽样加分层贝叶斯模型控制可能存在的非随机异质性。主要结果见上图右侧:

5 个月后,点赞处理平均增加 25% 分数值,反对处理影响不显著。
图中直线与横线不接触代表 95% 显著。

 

你的首次点赞,很可能会影响最终的评价结果

另一有趣结果是不同题材新闻下评论,随机处理结果差异很大。

看上图,如果红线绿线相交,说明点赞 / 反对处理为新闻最终得分带来显著差异,说明先期一个无意义的赞对最终结果影响很大;如果不相交,说明处理影响不明显,分数泡沫较小。

结果发现商业新闻评论泡沫最明显,文化与社会类新闻及时政新闻类似现象也显著。计算机、娱乐、经济及普通新闻泡沫不显著。但类似现象在知乎,或者类似网站是不是也存在?这个问题非常有意思。

你的首次点赞,很可能会影响最终的评价结果

 

 

作者还考察了用户关系对泡沫大小影响。

“某网站”用户可以对另一用户使用“喜欢(like)”或“不喜欢(dislike)”按钮,作者分别称之为“朋友(friends)”和“敌人(enemies)”。对具体评论,虽然看不到支持者反对者是谁,评论者信息是可见的。结果显示:

 

  • 如果朋友评论出场自带 1 赞,用户点赞概率平均高 11%。
  • 虽然这一结果显著,但比起捧场,守望相助效应似乎更加明显:如果朋友评论出场自带 1 反对,用户赞成概率陡升约 17%。
  • 大家对敌人评论似乎更理性,所有估计结果都不显著。看来,大家都记得“不要仇恨你的敌人”这句教诲。

 

你的首次点赞,很可能会影响最终的评价结果

 

 

作者还考察了处理对评论回复数影响,发现结果不显著。

如果把评论者分两类,一类平时赞成较多,一类平时反对较多。赞成处理让两类评论者数量都增加,评论者行为和平时相比变化不大。反对处理同样增加了两类评论者数量,但平时反对者此时多倾向于赞成,平时赞成者此时多倾向于反对,二者相互抵消。

 

总体而言,赞成 / 反对处理都能增加表达立场的用户数量,但对用户立场本身影响差别很大。赞成泡沫比反对大,泡沫大小随讨论题材不同而不同。