.png)
|
商务会议 | 会议PPT | 培训课程 | 发布活动 | 订单查询 | 登录 |
会议PPT
主要介绍搜狐视频个性化推荐系统的架构和具体实践。主要会从五大方面剖析推荐系统的架构设计和实践，包括：多维度召回模型构建、特征工程、大规模机器学习排序、分布式推荐引擎、知识库体系。 1、介绍基于自然语言处理、行为日志分析、知识库体系等基础上构建的视频画像、用户画像和评分系统为基础构建的多维度分析的召回模型 2、介绍基础特征工程，通过非线性特征变化构建高级特征的实时特征工程为基础，开发的一套online+offline的机器学习排序系统。 3、介绍基于开发的分布式推荐引擎连接各个核心子系统的架构设计和具体实现。 主要技术点:实时大数据处理和计算架构、分布式系统设计、实时特征工程系统、自然语言处理系统、大规模机器学习的排序系统，A/B测试架构设计。
李老师2012年入职搜狐视频，一直从事大数据处理、推荐系统架构设计开发和机器学习等方面的研究和实践工作，2014年开始负责搜狐视频的个性推荐系统的基础架构设计和系统开发。
李老师主要介绍搜狐视频个性化推荐系统的架构和具体实践。主要会从五大方面剖析推荐系统的架构设计和实践，包括：多维度召回模型构建、特征工程、大规模机器学习排序、分布式推荐引擎、知识库体系。
介绍基于自然语言处理、行为日志分析、知识库体系等基础上构建的视频画像、用户画像和评分系统为基础构建的多维度分析的召回模型。
为什么要做推荐系统？李老师表示：“视频的覆盖率问题，好的视频无法难以被人发现，随着用户的量的增加，大部分用户存在没有特殊明确的需求场景，需求解决也比较迫切，帮助用户发现对自己有价值的视频，让视频展示对他感兴趣的用户面前，实现消费者和内容生产者双赢。”
个性化推荐产品形态
搜狐视频首页个性化，通过首页下拉进入个性化推荐消费流，在应用宝和百度手机助手等部分渠道可以下载，ios版本也于下个版本进行上线。
整合全站视频资源，通过“推荐引擎”和“视频处理引擎”将个性化、新鲜的视频快速分发到以适合场景，以合适形式传递给适合用户。
推荐系统架构：
李老师介绍，前段三种日志的上报、数据采集、进入实时计算、离线计算，通过调用各种算法模型、得出各种模型，通过推荐引擎对各个模型的结果进行封装得到推荐结果。
换个角度，看推荐系统服务体系架构图，推荐系统两大核心子系统即推荐引擎和视频处理引擎，通过两大引擎为中控，调用各个组件服务，产生推荐结果。
接下来，李老师介绍了基础特征工程，通过非线性特征变化构建高级特征的实时特征工程为基础，开发的一套online+offline的机器学习排序系统。
推荐引擎：
推荐引擎为基于storm计算框架开发的分布式计算程序，推荐引擎之前提供一个作用就是产生推荐结果，还有一个作用就是更新部分用户实时画像。
推荐结果和用户画像在分布式情况下进行更新，有一个很重要的点就是一致性问题，我们主要通过两步进行包装的，一个是模块内部统一个用户Ukey的数据只有一个独立的storm的计算task保证的。第二个是模块间通过CAS包保证的(compare and swap)。
如何评价推荐系统？
基于开发的分布式推荐引擎连接各个核心子系统的架构设计和具体实现。主要技术点:实时大数据处理和计算架构、分布式系统设计、实时特征工程系统、自然语言处理系统、大规模机器学习的排序系统，A/B测试架构设计。
浏览7268次
浏览5062次
浏览4128次
浏览7520次
浏览9500次
浏览1290次
2024-08-23 上海
2024-09-25 上海
2024-08-22 北京
2024-07-20 上海
打开微信扫一扫，分享到朋友圈
