占领微博微信们的信息垃圾，Facebook 是怎么处理的？

         万鸿姓徐，却被所有人亲切地称呼为 “万指导”。这位原先在 Facebook 新闻流排序组的资深工程师，2015年9月 回国出任神州专车 CTO。所谓新闻流排序（news feed ranking），指的是 Facebook 的一项看家本领：用户每天会收到两三千条新鲜事，却只会阅读前 50 至 100 条。利用机器学习将用户最想看的内容排到最前面，从而提高粘性和日活，这是万指导在 Facebook 一直琢磨的事情。

         这固然是一篇着重技术的文章，所在公司 Facebook 更是世界上最大的互联网公司之一。但这并不妨碍创业者从中得到经验。利用 A/B 测试作为迭代方法，借助 Growth Hacking 的核心——数据来驱动开发，新员工的入职宣讲……这些做法都体现了这位社交之王不同维度的文化所在：精神层面注重实现梦想，统一目标；而这一目标下放到微观层面，就是对于数据的尊重。

        覃 = 覃超，峰瑞资本互联网团队成员，前 Facebook 工程师。

        徐 = 徐万鸿，神州专车 CTO，前 Facebook 工程师。

社交网络信息垃圾，再见

        覃：在 Facebook 工作时有什么印象深刻的事情？

        徐：我第一次去的时候，当时专注于用户增长的 VP 负责宣讲。他说将来全球所有人都会使用 Facebook，这家公司将来会成为万亿美元的公司，给我印象很深刻。公司的所有人都很兴奋，对设定的目标有非常大的信心。他们的工作使命感非常强，非常专注。

        覃：你在 Facebook 里主要负责什么工作？

        徐 ：我在 Facebook 的 site-integrity （站点完整性） 组工作了两年。当时 Facebook 有很多的垃圾私信、垃圾信息，就像人人、微博上有各种广告、垃圾链接。有些用户的账号被盗用了，会使用个人页面发送垃圾短信、广告、病毒，还有一些不受欢迎的朋友请求。我会处理所有类似这些涉及到影响用户体验的东西。

         Facebook 使用了一个叫做 sigma 的系统来抵制这些垃圾信息。这个系统安装在 2000 多台机器上面，Facebook 用户做的任何事情，都会经过 sigma 系统分析处理，比如评论、链接、朋友请求，都会被这个系统进行判断，是正常行为、滥用行为还是有问题的行为。

        利用 Sigma 系统，Facebook 会对垃圾信息进行过滤和清理。

        举个例子说，比如发送朋友请求，Facebook 的系统会自动判断一下：如果这个人的朋友请求都被别人拒绝了，他再发送朋友请求是不会被批准的。如果一个人发送的朋友请求十个有九个都被拒绝了，那么他下一次的朋友请求就会被系统拒绝。当然这个系统还有其他的判断信号。

        它是一个机器学习系统，通过你之前发的朋友请求拒绝概率高低来判断你被拒绝的概率有多高。如果这个比率很高，Facebook 会让你进行手机短信或其他方式认证，来验证是软件还是真人发送的，以此判断你是不是真的要发送朋友请求，比如你发出的朋友请求对象与你没有任何共同好友，那就可能是一个不合理的请求。

         基本上，你在 Facebook 上做的任何事情，都会经过这个系统来分析、预测、决定是否允许你发出信息，借此希望会减少生态圈中的骚扰行为。当时 Facebook 每天有上百亿次的信息发生要通过这个系统进行判断。

         覃：能否介绍一下 Sigma 系统的工作原理？是使用机器学习吗？

         徐：这个系统中有些是人为规则也有机器算法，请求通过和拒绝就是一个迅捷数据组（Scrum）。任务通过，则说明这个任务是一个对机器学习来说的正样本，被拒绝则是一个负样本，很像 0 和 1。比如发送朋友请求如果被接受，y 值是 1，如果被拒绝就是 0。如果是评论和点赞，系统就能寻找 y 值，用户发送的不当信息就会被删除。

         机器学习是整个 Sigma 系统的核心。

         另外一个方法是通过一些异常行为的分析、数据挖掘的方法来分析用户的异常行为。比如一个人发的同样类型评论非常多，所有评论里都有一个相似链接，这就非常有问题。正常操作不会在不同人的主页上留同样的评论，这显然属于异常行为，我们不会允许。

“我已经没法看完所有朋友圈内容了”

          覃：可以解释一下新闻流排序是什么意思？工作两年之后为什么选择去了这个组？

          徐：“排序” 指的是信息流的顺序。它决定了打开你的 Facebook 朋友圈，你的信息流是个什么样子，信息的位置。每个人产生的内容、新闻会有两三千个，用户只能看到 50-100 个。你需要把两三千个最好地展示出来。有些我们不给用户显示，比如你喜欢游戏，你的朋友不喜欢。

         我 2012 年刚去的时候，新闻流排序组只有五六个人，尽管这可能是公司最大的机器学习系统，最核心的产品。每天有十亿多人上线，每个用户花 40 分钟在 Facebook 上，其中一半时间都花在新闻流上。Facebook 大部分收入来自新闻流广告。比如说，移动广告收入占所有广告的 70%，而其中所有的移动的广告都来自新闻流。不管是从用户的停留时间，还是收入来说，新闻流都是最重要的产品。

        新闻流是 Facebook 最重要的产品，直接决定了用户所看到的内容。

        做好新闻流排序是很难的问题，因为用户在新闻流上的行为有很多种，不只是传统广告点击或者不点击这一种操作，用户可以在新闻流里赞、评论、分享或者隐藏这个新闻流，也可以播放视频。我需要理解用户喜欢什么东西，评论、分享什么东西，想看什么样的视频。理解用户的兴趣所在，根据我们的讯息把最好的东西放在新闻流的最前面。

         以国内的社交媒体作对比来说，微信的朋友圈是所有内容全部显示，它不需要排序，是因为朋友圈容量不是特别多，大家可以看完所有的内容。朋友越来越多的话，没有时间把分享看完，排序是必然的事情。你会很容易漏掉很重要人的图片，它们迅速埋没在大部分你不感兴趣的内容了。

         Facebook 之前也是全部显示，慢慢到后来用户是看不完所有的信息的。如果不做排序，把最好的服务挑出来的话，用户不会愿意访问新闻流，因为他看到很多不感兴趣的东西，感兴趣的部分他已经没有时间找出来了。从不排序到排序是必然的过程，你的朋友越来越多，公众页面越来越多，排序是必然的。

         比如说新浪微博没有做排序，有些细节杂乱无章。他们测试过，但是做得不太好。所以放弃了。微信的朋友圈也会到要做排序的阶段。Facebook 不只是排序，还会隐藏用户不感兴趣的内容，比如你的朋友玩过 Candy Crush 游戏，但可能你本身不玩任何游戏，关于这方面的信息就没有意义。Facebook 就不会给你显示这些内容——“朋友们在玩什么游戏”。

         社交媒体的碎片化已成事实。只有采取更好的排序手段，推送给用户更精准的内容，才能提高平台停留时间，加强粘性。

         覃：能简要讲一讲新闻流排序的工作原理吗？

         徐：基本上，新闻流是从两三千条内容里面，挑出了 四五十 个。按照每个内容打分，分高的内容排在最前面。每个内容、照片、分享或者状态，我们会预测一些概率值，比如你点赞的概率，评论、分享的概率。每个用户的行为，比如点赞、分享、评论，系统都会给权值。评这些用户行为概率是通过机器学习来系统计算的。如果用户对某个内容点赞、评论或者分享，说明用户愿意看到这个内容，对内容产生了反馈。

        举个例子来说，比如你是我的好友，你上传了 100 张照片，我点赞了 20 次，那么点赞概率就是 20%。我们知道每个用户以前对哪些内容点赞、评论，这些都是我们的训练样本。我们通过学习用户的历史行为，进行相同类型、相同个人的未来行为预测，因为用户短期行为不会大幅变化，过去对哪些东西进行评论，将来也很有可能对相似内容进行评论。

         覃：有没有可能针对用户内容来进行预测？比如分析用户发了什么样的文字或者图片？

         徐：可以。如果是图片我们可以抽取图片特点，对图片进行模式识别，分析图片的主题，打上相应的标签，用机器来识别这些图片。现在在做相应的工作。Facebook 有 AI 实验室，可以对图片进行内容识别。

         覃：Facebook 怎么知道这套算法是否有效呢？以后要更新的话怎么进行迭代呢？

         徐：通过 A/B 测试。我们抽取 1% 用户进行新的算法，1%进行旧的算法。如果新的算法下用户每天点赞、评论或者分享次数增长了，那说明新的算法更好。我们就把新的算法发布给所有的用户。我们主要的核心目标是：让日活跃用户更多，停留时间更长，访问 Facebook 更频繁。

         覃：你觉得这对国内的创业公司有什么启发吗？

         徐：A/B 测试是很好的迭代方法。建立起核心指标，进行 A/B 测试，看新的改动能否提高核心指标。提高就发布，没有提高就不用发布。这很像 Growth hacking，当然最终目的还是提高 DAU。如果用户喜欢你的新闻流，就会更频繁访问，最终目的还是在线时长和日活跃用户。

        A/B 测试是 Facebook 用来测试迭代可行性的手段。峰瑞资本所投资的吆喝科技，致力于让初创企业也能使用这一技术。

        覃：你对微信朋友圈有什么好的改进建议？

        徐：我已经没法看完所有朋友圈内容了。一种改进方法是排序，把最好的内容放最前面。通过你以前点赞的内容，来学习你关心的内容，比如你女朋友发的东西你都会点赞。另外一种改进方法叫做 “内容置顶”（Story bumped）。有时候我早上起来刷微信，会看不完，只看了一小部分。过一会儿再刷的时候，已经没有什么新的内容了。

         Facebook 的内容置顶功能会把你没有看完的东西再放到上面去再次推送给你。微信是知道哪些内容你没看过的，我有很多在美国的朋友，朋友圈会有很多内容，上班前看不完只看了一部分。再刷新的时候就已经没有新的东西出来了，我也没有关心没看完的东西，朋友发的照片。Facebook 的 “内容置顶” 把很重要的，还没看，有点旧的内容放在朋友圈前面，让你再看一眼，怕你漏掉重要的内容。

         覃：最后一个问题，为什么选择九月份会加入神州专车担任 CTO？

        徐：从事业角度来说，我希望把从 Facebook 学到的公司文化、技术带回中国。中国在计算机行业上有很大的潜力。现在国内的产品质量上和美国产品已经相当了，比如微信，Facebook 的产品经理也学习了微信里面的功能。再往后面看几年的话，中国有机会赶上美国。

        计算机学科已经成熟，创造力在慢慢变好。很多初创企业尝试不同的想法，中国的创业者是美国的好多倍，都在尝试不同的想法，会诞生出成功的公司。技术上，中国正在逼近美国，甚至会超越美国。长远来看，中国的计算机行业、互联网行业，应该是有潜力成为世界上互联网行业最好的国家。