携程大数据平台总监张翼发表了《携程Spark算法平台及其应用》主题演讲。张翼首先介绍了携程Spark平台的的四大功能模块,分别为模型训练,模块定制,训练结果导出以及线上服务的开发支持。技术选型方面,选择Docker和Zeppelin的原因是:Mesos提供了方便的资源管理的功能,同时也能提供简便的应用管理的功能,而Zeppelin提供了一个Spark交互执行的引擎。接着张翼进行了技术经验分享,包括Python代码模块的加入,Spark资源的释放以及XGBoost模块加入过程中的一些问题。最后张翼讲述了携程算法平台未来的发展方向。
浏览2946次
浏览3956次
浏览6094次
浏览7267次
浏览11053次
浏览4205次
2024-08-23 上海
2024-09-25 上海
2024-08-22 北京
2024-07-20 上海
打开微信扫一扫,分享到朋友圈