您当前的位置:首页 > 电脑百科 > 程序开发 > 算法

召回算法实践总结

时间:2020-05-11 11:59:14  来源:  作者:

近两年来,在移动腾讯网落地了许多召回算法,绝大多数对业务指标带来了不小的提升,趁着假期闲宅无事,泡壶好茶,倚窗听雨,顺便做点总结。一方面希望得到大神们的指点,另一方面也希望帮助到刚好有需要的同学,如果能起到抛砖引玉的作用更是荣幸之至。

召回在推荐系统中的地位

由于我个人主要是做召回算法的,首先免不了自吹自擂一番。以移动腾讯网( http:// xw.qq.com )新闻推荐系统为例,在整个推荐系统中召回具有奠基性,桥接性,决定性。

召回算法实践总结

 

什么是召回

召回系统,本质上是个信息漏斗,负责快速从海量信息中筛选出有价值的信息,缩小排序算法的搜素范围(解决了信息过载的问题);也负责将多路召回的数据,进行融合(相当于一个信息融合器,解决了单路召回特征单一,信息量小,多样性差的问题),得到一个精简的候选集。

召回算法实践总结

 

召回算法之初体验

如果用一副通俗易懂的图来解释召回算法做了哪些事情的话,就是下面这幅图。

召回算法实践总结

 

怎么衡量一个召回系统的好坏

召回算法的衡量虽然有一些通用的衡量指标,比如准确度,覆盖度 F1等,但是在实际应用中,一般会和自己的应用场景和业务指标挂钩,通过一些更贴合实际的指标去衡量,这里暂以移动腾讯网为例。

召回算法实践总结

 

已经落地的召回算法

我们的应用场景主要是图文推荐(详情页相关推荐和列表页个性化推荐,目前也在做视频推荐和图文视频混推),

召回算法实践总结

 

由于是新闻推荐,而且是从零到一实现整个推荐系统,因此我们的推荐和NLP 一开始就密切的联系在了一起,并且一直伴随着我们的持续优化过程。从开始到现在,按照时间顺序,依次实现了如下算法:

召回算法实践总结

 

召回算法的缘起缘灭

一路有效的召回算法从想法的产生,到最后上线并起作用大致要历经一下各态

召回算法实践总结

 

算法之美

召回算法,为移动腾讯网业务指标的持续提升发挥了重要作用,以下为分阶段的提升效果(在实际应用时各个阶段并非完全串行的,也存在一些并行和交叉的情况,为了更加清晰的表达,做了一下并不完全合理的划分)

召回算法实践总结

 

结束语

由于我们是图文类型的新闻推荐,NLP和召回算法相伴而生,在做召回的过程中也完成了一些基本的NLP基础建设,具体如下:

召回算法实践总结

 

在做召回算法的过程中,个人也总结了一些经验:个人认为贴合业务场景的可落地的创新想法,比盲目追求paper 上的模型更有效,自己能够全流程控制的可解释的模型比盲目使用一些黑盒模型要好,再就是如果能跨行业融汇贯通,把生物学,进化论,自动控制,哲学上的一些理论,活学活用到推荐领域也会起到意想不到的作用。

召回算法实践总结

 

召回算法实践总结

近两年来,在移动腾讯网落地了许多召回算法,绝大多数对业务指标带来了不小的提升,趁着假期闲宅无事,泡壶好茶,倚窗听雨,顺便做点总结。一方面希望得到大神们的指点,另一方面也希望帮助到刚好有需要的同学,如果能起到抛砖引玉的作用更是荣幸之至。

召回在推荐系统中的地位

由于我个人主要是做召回算法的,首先免不了自吹自擂一番。以移动腾讯网( http:// xw.qq.com )新闻推荐系统为例,在整个推荐系统中召回具有奠基性,桥接性,决定性。

召回算法实践总结

 

什么是召回

召回系统,本质上是个信息漏斗,负责快速从海量信息中筛选出有价值的信息,缩小排序算法的搜素范围(解决了信息过载的问题);也负责将多路召回的数据,进行融合(相当于一个信息融合器,解决了单路召回特征单一,信息量小,多样性差的问题),得到一个精简的候选集。

召回算法实践总结

 

召回算法之初体验

如果用一副通俗易懂的图来解释召回算法做了哪些事情的话,就是下面这幅图。

召回算法实践总结

 

怎么衡量一个召回系统的好坏

召回算法的衡量虽然有一些通用的衡量指标,比如准确度,覆盖度 F1等,但是在实际应用中,一般会和自己的应用场景和业务指标挂钩,通过一些更贴合实际的指标去衡量,这里暂以移动腾讯网为例。

召回算法实践总结

 

已经落地的召回算法

我们的应用场景主要是图文推荐(详情页相关推荐和列表页个性化推荐,目前也在做视频推荐和图文视频混推),

召回算法实践总结

 

由于是新闻推荐,而且是从零到一实现整个推荐系统,因此我们的推荐和NLP 一开始就密切的联系在了一起,并且一直伴随着我们的持续优化过程。从开始到现在,按照时间顺序,依次实现了如下算法:

召回算法实践总结

 

召回算法的缘起缘灭

一路有效的召回算法从想法的产生,到最后上线并起作用大致要历经一下各态

召回算法实践总结

 

算法之美

召回算法,为移动腾讯网业务指标的持续提升发挥了重要作用,以下为分阶段的提升效果(在实际应用时各个阶段并非完全串行的,也存在一些并行和交叉的情况,为了更加清晰的表达,做了一下并不完全合理的划分)

召回算法实践总结

 

结束语

由于我们是图文类型的新闻推荐,NLP和召回算法相伴而生,在做召回的过程中也完成了一些基本的NLP基础建设,具体如下:

召回算法实践总结

 

在做召回算法的过程中,个人也总结了一些经验:个人认为贴合业务场景的可落地的创新想法,比盲目追求paper 上的模型更有效,自己能够全流程控制的可解释的模型比盲目使用一些黑盒模型要好,再就是如果能跨行业融汇贯通,把生物学,进化论,自动控制,哲学上的一些理论,活学活用到推荐领域也会起到意想不到的作用。

召回算法实践总结

 

作者:minwxwang,腾讯 PCG 应用研究员



Tags:召回算法   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
近两年来,在移动腾讯网落地了许多召回算法,绝大多数对业务指标带来了不小的提升,趁着假期闲宅无事,泡壶好茶,倚窗听雨,顺便做点总结。一方面希望得到大神们的指点,另一方面也希望帮...【详细内容】
2020-05-11  Tags: 召回算法  点击:(58)  评论:(0)  加入收藏
▌简易百科推荐
前言Kafka 中有很多延时操作,比如对于耗时的网络请求(比如 Produce 是等待 ISR 副本复制成功)会被封装成 DelayOperation 进行延迟处理操作,防止阻塞 Kafka请求处理线程。Kafka...【详细内容】
2021-12-27  Java技术那些事    Tags:时间轮   点击:(1)  评论:(0)  加入收藏
博雯 发自 凹非寺量子位 报道 | 公众号 QbitAI在炼丹过程中,为了减少训练所需资源,MLer有时会将大型复杂的大模型“蒸馏”为较小的模型,同时还要保证与压缩前相当的结果。这就...【详细内容】
2021-12-24  量子位    Tags:蒸馏法   点击:(11)  评论:(0)  加入收藏
分稀疏重建和稠密重建两类:稀疏重建:使用RGB相机SLAMOrb-slam,Orb-slam2,orb-slam3:工程地址在: http://webdiis.unizar.es/~raulmur/orbslam/ DSO(Direct Sparse Odometry)因为...【详细内容】
2021-12-23  老师明明可以靠颜值    Tags:算法   点击:(7)  评论:(0)  加入收藏
1. 基本概念希尔排序又叫递减增量排序算法,它是在直接插入排序算法的基础上进行改进而来的,综合来说它的效率肯定是要高于直接插入排序算法的;希尔排序是一种不稳定的排序算法...【详细内容】
2021-12-22  青石野草    Tags:希尔排序   点击:(6)  评论:(0)  加入收藏
ROP是一种技巧,我们对execve函数进行拼凑来进行system /bin/sh。栈迁移的特征是溢出0x10个字符,在本次getshell中,还碰到了如何利用printf函数来进行canary的泄露。ROP+栈迁移...【详细内容】
2021-12-15  星云博创    Tags:栈迁移   点击:(22)  评论:(0)  加入收藏
一、什么是冒泡排序1.1、文字描述冒泡排序是一种简单的排序算法。它重复地走访要排序的数列,一次比较两个元素,如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地...【详细内容】
2021-12-15    晓掌柜丶韶华  Tags:排序算法   点击:(16)  评论:(0)  加入收藏
在了解golang的map之前,我们需要了解哈希这个概念。哈希表,又称散列表(Hash table),是根据键(key)而直接访问在内存储存位置的数据结构。也就是说,它通过计算出一个键值的函数,将...【详细内容】
2021-12-07  一棵梧桐木    Tags:哈希表   点击:(14)  评论:(0)  加入收藏
前面文章在谈论分布式唯一ID生成的时候,有提到雪花算法,这一次,我们详细点讲解,只讲它。SnowFlake算法据国家大气研究中心的查尔斯·奈特称,一般的雪花大约由10^19个水分子...【详细内容】
2021-11-17  小心程序猿QAQ    Tags:雪花算法   点击:(24)  评论:(0)  加入收藏
导读:在大数据时代,对复杂数据结构中的各数据项进行有效的排序和查找的能力非常重要,因为很多现代算法都需要用到它。在为数据恰当选择排序和查找策略时,需要根据数据的规模和类型进行判断。尽管不同策略最终得到的结果完...【详细内容】
2021-11-04  华章科技    Tags:排序算法   点击:(40)  评论:(0)  加入收藏
这是我在网上找的资源的一个总结,会先给出一个我看了觉得还行的关于算法的讲解,再配上实现的代码: Original author: Bill_Hoo Original Address: http://blog.sina.com.cn/s/bl...【详细内容】
2021-11-04  有AI野心的电工和码农    Tags: KMP算法   点击:(36)  评论:(0)  加入收藏
相关文章
    无相关信息
最新更新
栏目热门
栏目头条