网站关键词用热门的还是冷门,平台网站建设外包费用,上海人才引进网站,网站建设的注意事项推荐系统概述 1 推荐系统的意义平台方信息生产者#xff08;物品#xff09;信息消费者#xff08;用户#xff09;推荐和搜索的区别 2 推荐系统架构系统架构算法架构 3 推荐系统技术栈算法画像层召回/粗排精排重排序 工程 1 推荐系统的意义
信息生产者#xff08;平台方… 推荐系统概述 1 推荐系统的意义平台方信息生产者物品信息消费者用户推荐和搜索的区别 2 推荐系统架构系统架构算法架构 3 推荐系统技术栈算法画像层召回/粗排精排重排序 工程 1 推荐系统的意义
信息生产者平台方 - 平台推荐系统 - 消费者用户
平台方
平台方为信息生产者提供物品展示位置然后吸引用户来平台寻找感兴趣的物品。“流量”的产生对商家物品的展示用户的浏览、观看、下单等行为。推荐系统改变了传统电商的树状拓扑结构变成了更容易让流量流通的网络拓扑结构给每个商品增加了如何和展示机会。如传统的需要按照每个大类、小类一个个点击去筛选物品而推荐系统则直接提供个性化推荐让你直达感兴趣的商品。推荐系统最大限度吸引用户、留存用户、增加用户粘性、提高用户转换率达到平台商业目标增长的目的。如视频平台点击率、完播率、内置广告点击率购物平台商品点击率、用户转换率点击-购买。
信息生产者物品
物品的长尾性和二八效应严重需要推荐系统挖掘出那 80% 的长尾物品推荐给有需要的用户。推荐系统对长尾物品的曝光对信息生产者如视频平台的作者、商家也是一种激励。推荐系统的匹配需求和供给能力也成为衡量一个平台的重要标准决定了该平台的商业价值。
信息消费者用户
提高用户体验基本惊喜满足目标明确用户的基本要求给没有明确需求用户以惊喜推荐。最终都可能提高平台的转换率。
推荐和搜索的区别
推荐搜索用户意图不明确明确个性化程度强弱优化目标广泛如用户停留时长、点击、多样性、拼分等通常指标归一化折损累计收益NDCGPrecision 和 Recall精确率和召回率马太效应和长尾理论也存在马太效应长尾性非常明显存在马太效应靠后的很少被关注
2 推荐系统架构
系统架构
推荐系统架构从数据驱动角度可以分为如下三层
离线层不用实时数据不提供实时响应批量完成对数据量和算法复杂度限制少近线层使用实时数据不保证实时响应在线层使用实时数据保证实时在线服务和用户交互有实时性要求限制算法复杂性和处理数据量
网飞的设计架构如下图 整个数据部分是一整个链路包括三块
客户端及服务器实时数据处理 记录用户行为如看了哪些内容、和哪些内容交互停留时间使用设备发生时间等通过埋点。流处理平台准实时数据处理记录一些准实时数据如用户行为数据。大数据平台离线数据处理一些数据操作。
这三个模块具体来说
离线层 数据处理特征工程、离线特征计算离线模型的训练 近线层在线层面向用户需要考虑响应时延用户请求发送到在线层在线层快速返回结果 模型在线服务包括快速召回和排序在线特征快速处理拼接根据传入的用户ID和场景快速读取特征和处理AB实验或者分流根据不同用户采用不一样的模型比如冷启动用户和正常服务模型运筹优化和业务干预比如要对特殊商家流量扶持、对某些内容限流
算法架构
召回粗排精排重排
3 推荐系统技术栈
算法
架构 物料库 - 召回 - 粗排 - 精排 - 重排
召回要求轻量低延迟量大多采用多路召回粗排精排前过滤兼顾精准性和低延迟精排对粗排结果的候选集进行打分和排序要在最大时延允许下保证打分的精准性重排基于运营策略、多样性、上下文重新进行微调混排多个业务都想在 feed 流上曝光则需要混排。如推荐流中插入广告基于规则策略例如广告定坑、视频流汇总插入图文强化学习
画像层
物料库如何绘制一个用户画像和商品画像。用户画像关于年龄、爱好等。商品画像形式多样如一个内容画像的内容理解可以包含通过内容本身理解、通过用户理解。
其中涉及到技术包括
文本理解关键词标签内容理解知识图谱
召回/粗排
多路召回
考虑用户层面考虑系统层面系统多样性内容分发可解释性推荐一部分召回是有明确推荐理由的
其中涉及到的技术包括
经典召回模型序列召回模型用户序列拆分知识图谱图模型
精排
其中涉及到的技术包括
特征交叉模型序列模型多模态信息融合多任务学习强化学习跨域推荐
重排序
经典算法有MRR、DPP、RNN 等
工程
语言python 、 C、Java机器学习框架Tensorflow、Pytorch数据分析工具Pandas、Hadoop、Spark
参考文献
FunRec 第一章推荐系统概述
