首页>会议文档 >

移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰

page:
移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰
移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰
移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰
移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰
移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰
移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰
移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰
移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰
移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰
移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰
移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰
移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰
移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰
移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰
移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰
移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰
移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰
移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰
移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰
移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰

移动互联网 刘振峰 移动社区的云实现和技术实践——Mob刘振峰

所属会议:GITC 2017全球互联网技术大会 北京站会议地点:北京


下载

手机看
活动家APP客户端

扫二维码下载
或点击下载
Android iOS

4319次
浏览次数
GITC 2017全球互联网技术大会 北京站所有文档 移动互联网 金昊 搜狐-如何解决视频直播APP开发与性能痛点 移动互联网 齐屹屹 高德地图SDK自动化实践之路高德-下载版 全球化专场-Joe-拥抱全球互联时代_部分1 全球化专场-Joe-拥抱全球互联时代_部分2 全球化专场-Joe-拥抱全球互联时代_部分3 互联网金融 刘发鹏 新零售互联网金融分布式架构实践-GITC2017-V3-4GITC 互联网金融 刘江-携程大数据风控实践携程-下载版 互联网金融 马俊 互联网技术团队如何应对互金业务的多变和挑战 网信财富集团 互联网金融 徐佳晶 Fintech场景下大数据处理的挑战与实践_徐佳晶 互联网金融 杨敏强 金山云互联网金融解决方案 网络安全 董俊杰 业务安全之反爬虫实践猎聘-下载版 网络安全 何艺 流量安全分析平台建设gitc-heyi 网络安全 刘刚 电商大促的那些事 网络安全 王志刚 DevOps开发模式下软件安全 网络安全 袁曙光 Docker安全实践探索 联众游戏-演讲版 网络安全专场 陈莹 实时攻击检测的智能化之路 携程 下载版 移动互联网 陈曦 链家网组件化路由方案解析 链家网路由 GITC 移动互联网 陈云龙 精益化数据分析——让你的企业具有BAT的数据分析能力 移动互联网 董岩-阿里巴巴-Apache Weex:移动研发的进阶之路 移动互联网 胡彪-饿了么Mobile Infrastructure Platform建设 GITC演讲稿 质量&测试 邱化峰 基于java代码的覆盖率在饿了么的应用 质量&测试 茹炳晟 测试基础架构的演进之路 ebay 下载版 质量&测试 陶文-基于流量回放技术进行中台建设 质量&测试 田西西 演讲版PPT 质量&测试 王公瑾 汽车电商架构测试实践 汽车之家 质量&测试 薛亚斌 京东金融app测试探索与实践 质量&测试_何畅_APP自动遍历程序的技术实现 互联网金融 高少峰-金融科技引领金融变革GITC_部分1 互联网金融 高少峰-金融科技引领金融变革GITC_部分2 互联网金融 李少伟 大数据驱动下的互联网金融创新 国美金融-GITC IoT峰会 吴川常 物联网商业系统构建之路 IoT峰会 郑晔 一个工业物联网应用的架构与实现 大大演讲_部分1 IoT峰会 郑晔 一个工业物联网应用的架构与实现 大大演讲_部分2 智慧物流论坛 陈俊波物流无人技术应用与探讨-陈俊波 智慧物流论坛 解本齐-国美安迅物流-GITC2017 智慧物流论坛 杨威 新物流--智能仓储机器人快人一步 智能仓储 让人类不再搬运 智慧物流论坛-李波-盛丰物流结算一体化的探索与实践(新) 智慧物流论坛-李伟-如何做到物流信息化建设的加减乘除_部分1 智慧物流论坛-李伟-如何做到物流信息化建设的加减乘除_部分2 智慧物流专场 伍冠军+苏宁物流在实时大数据的最佳实践 IoT峰会 仇剑东 智能家居生态系统的架构与实践 南京物联传感技术有限公司 IoT峰会 李玉峰 IOT运维之路 前端技术 苗典 小程序框架-teddy 滴滴出行_部分1 前端技术 苗典 小程序框架-teddy 滴滴出行_部分2 前端技术 曲毅 多业务场景下的灰度解决方案2017-11-17_部分1 前端技术 曲毅 多业务场景下的灰度解决方案2017-11-17_部分2 前端技术 禹立彬 苏宁渐进式前后端分离实践 前端技术 郑勇 rn-web的设计与实现 携程_部分1 前端技术 郑勇 rn-web的设计与实现 携程_部分2 前端技术 邓国梁-前端开发前后端分离实践 饿了么-下载版 前端技术 黄勇 酷家乐 Virtual DOM在3D渲染中的应用——类ReactJS库的实现及3D应用 前端技术 林溪-tree-shaking性能优化实践 百度外卖-下载版 基础架构 陈杰-支付宝关系链平台设计与实现 基础架构 高飞航 陌陌服务化架构实践 基础架构 梁向东 饿了么API框架的实践 - API Everything R1 基础架构 刘星辰如何优雅的落地中间件-GITC_部分1 基础架构 刘星辰如何优雅的落地中间件-GITC_部分2 基础架构 刘星辰如何优雅的落地中间件-GITC_部分3 基础架构 宁克凡 目睹直播下载版终稿 基础架构 沈国勋-阿里旺旺百亿消息架构演进 基础架构 沈剑 互联网分层架构演进 基础架构 孙杰 大型企业云平台的实践之路 外发版 基础架构 魏云-轻轻家教-下载版-构建基于容器的混合云架构实践 基础架构 杨培锋 广东奥飞数据科技股份有限公司-下载版 基础架构 张良 小米MySQL高可用架构演进 基础架构 赵国光途牛系统架构演化实践GITC-下载版 基础架构 郑树新 爱奇艺高可用高性能服务器编程架构实践 - v6 大数据 赵天烁_魅族大数据可视化平台建设之路 运维 权熙哲 智能时代数据中心网络实践与趋势 运维 王忠宁-搜狗运维自动化平台架构设计与实践 运维 熊亚军 新ITOM 新监控_部分1 运维 熊亚军 新ITOM 新监控_部分2 运维 熊亚军 新ITOM 新监控_部分3 运维 熊亚军 新ITOM 新监控_部分4 运维 杨金全-微服务架构的应用性能监控 运维 余珂 爱奇艺-爱奇艺基于DPDK的网络优化实践-下载版 运维 周彦伟-用开源工具之利器,善MySQL运维之琐事 运维专场 黄振 开源运维自动化平台架构实现与运营实践 运维专场 宋国欢 猎豹移动可持续性自动化运维的探索与创新 大数据 曹永鹏-Mobike大数据平台建设 大数据 常雷-新一代数据仓库:Apache HAWQ 大数据 陈涛-喜马拉雅数据计算平台xql 大数据 高鹏 数据分析领域的黑马-ClickHouse-新浪-高鹏_部分1 大数据 高鹏 数据分析领域的黑马-ClickHouse-新浪-高鹏_部分2 大数据 高鹏 数据分析领域的黑马-ClickHouse-新浪-高鹏_部分3 大数据 高鹏 数据分析领域的黑马-ClickHouse-新浪-高鹏_部分4 大数据 黄波 微博机器学习平台实践 大数据 刘一鸣_Kyligence_Apache Kylin加速大数据OLAP 大数据 欧阳辰-实时大数据分析之利器Druid 大数据 吴君-基于大数据的智能交通搜索和一键预定系统 大数据 杨少航 从位置服务到数据赋能 大数据 张博 搜狗人工智能实践与合作生态 大数据 张惠亮 联动大数据处理架构的选择和演进 大数据 张翼-携程大数据平台实践 主会场 郭炜 智能时代的大数据用户分析 主会场 侯震宇_金山云混合云网络架构设计与实现 主会场 谭晓生 互联网进入大安全时代 主会场 王卓然-语义智能:技术探索与产品落地 主会场-陈国成 构建10亿级商品的电商平台架构(微店) 运维 张兴龙-京东基础运维的智能化实践 运维 陈怡婷 呼叫中心语音线路自动化运维之路 运维 程捷 海量数据在线分析技术剖析 运维 强昌金 MySQL_NDB_Cluster实践

文档介绍

大数据AI风行的今天,以前web版本的论坛,怎样能让自己的论坛快速实现移动化和云存储?并且能减少升级带来的技术门槛和无痛切换?实现云存储和接口统一化后能带给我们什么?怎么样能深挖论坛内容的价值?

演讲实录

互联网时代,产品迭代迅速,有些产品类型流行一阵子就销声匿迹。不得不说现在一款产品的生命周期在缩短,可是论坛是否到了要完成它使命的时候?
今天我们从四个方面探讨论坛:
论坛社区的历史发展和价值定位;
怎么利用现有工具快速实现移动化和云迁徙?
实现云存储和接口统一化后能带来什么?
怎么样能深挖论坛的内容价值。
有朋友问我现在在做哪种产品,当我告诉他们做论坛的时候,他们都会心一笑,其中的意会不明讲大家都了解。
早期我在4A公司做舆情监控的时候,甲方往往需要我们提供全平台的数据。全平台其实包含(新闻、SNS、问答、博客、论坛)等,其中论坛是最难爬取的,但论坛的数据是品牌形象最立体的。
看这页ppt有这么多的论坛,相信跟我一样年代的人基本都听说过或者用过。其中的西祠胡同当时的注册用户大概有4千万之巨,可是被e龙收购后一直在走下坡路。这其中有什么原因?
论坛其实有很多优点:
1.“交互”:论坛擅长交互,将不熟悉的人变成熟悉的人,虽然只是一个沟通平台,但久而久之,论坛上的人之间很容易建立情感;
2.意见领袖:由于交互性强,人与人关系好,大家聚在一起办一件事情容易产生意见领袖;
3.用户黏性:论坛的板面设计用户容易上手,发过贴的用户也会回头查询自己帖子的动态。
4.品牌推广:小米等消费类电子产品用论坛作为他们的虚拟社区,来沟通用户,形成线上和线下的高度融合。
论坛其实在港台用户粘度很高,而且成为庶民媒体,其中以台湾最大的论坛ptt为例,它占有台湾80%的新闻来源。
其实论坛的没落主要原因在于整个中国都从pc流量转化为移动端流量。早期的论坛只能在老苹果机上运行,今天的论坛也到了转型的一个关键时间点,就是怎么实现移动化。
早先游族有做过一个bbs移动化的产品叫BigApp,相信有不少用户使用过。其实BigApp是一个web App,主要的内容都在H5上进行,导致需要埋下相当多的前端钩子,进行内容的抓取。
而钩子与钩子之间会产生互斥的影响,导致后期的QA和人员运维投入巨大,而收效并不明显。所以就产生了我们现在的方案,通过云同步后,提供统一api给sdk进行内容的调取,做原生App的案例。
快速实现移动化,在我看来无非就两点:简单,易用。这两点拓展开来看就是:
简单易用的开发环境;
熟悉的操作界面和无差别的入门门槛;
高可用的系统架构。
简单易用的开发环境,我们提供给用户三种使用方案:
1.sdk可以给有技术能力的开发人员进行应用程序的开发,快速建立应用软件;
2.UI+SDK的方式可以使用我们的UI模板自定义或直接使用整个模块集成到自己的超级App里面;
3.自动化编译分发,由于论坛时代很多的站长并没有代码能力,他可以借用快速编译分发平台把自己的App编译分发后就可以在应用市场进行下载。
熟悉的操作界面和无差别入门门槛,用户服务端使用了论坛时代流行的开源框架Discuz。
只要进行以下几步就可以成功集成打包完整App的发布。
以下是我们其中一套模板打包完毕后的预览界面。
由于我们整个系统是云同步和内容中转的一个中心,考虑到高可用型的架构设计,从以下四个方面进行系统的架构:
分布式存储:根据配置中心的信息,实例化后用appkey的方式进行MongoDB副本集的创建。
接口的高并发低延迟:使用了Java中很知名的非堵塞事件驱动的框架Netty。
实时监控和统计计算:这里用了Kafka作为流式计算的消息队列。Kafka是专门处理流式数据,它具备良好的容错性和高吞吐量(可以存储TB量级数据)、支持横向扩展、并允许地理位置的流式处理。
以下是我们的基本架构:
主要是在客户服务器端采用mysql的触发器特性进行状态的记录,用前端钩子和插件API提供数据推拉同步。这里的触发器权限等级是比较低的,只是记录下一些状态信息,而没有触发脚本,这也是考虑到用户服务器环境复杂的一点。
所有的配置从配置中心拉取后持久化在redis里。
由于MongoDB使用的副本集,要和ElasticSearch进行数据同步的时候,使用了副本集中的一个特性oplog进行数据同步,但是由于oplog有大小的限制,每个文件限制在50G的大小,这就需要我们对同步的元数据进行状态的缓存。所以我们在ElasticSearch里面特别做了一个索引用来存储元数据的状态。这些业务都是用Python实现以方便后期的大数据分析。
API调用下面的DB和Cache同时提交埋点数据到Kafka。并发数据给手机端、SDK和其他客户端。
其实数据迁徙到云之后对我们用户和客户都是有利:
业务可以更加扁平化:比如论坛的功能和商城的功能解耦,有些商城的促销不影响论坛的使用,论坛的投票也不影响商城的购买等。
减少人员的开支和硬件的投入:很多大厂一个模块就需要几十个甚至上百个开发人员的维护,这些都可以模块化并同质化的东西都没必要进行重复投入,这些都可以让云平台进行控制和QA。
收缩自如的线上环境:之前微博出现鹿晗@女友事件,突发峰值流量导致搜索引擎的crash。如果使用云平台,由于云平台有弹性伸缩的功能,虽然这个功能一般是整个平台的20%,但是足够应对突发峰值压力。
以上是云平台带给我们的好处,接下来如何优化我们的论坛,我们给出了这样的答案。
1.信息的分类和信息检索:对收集来的内容进行分词,分词完毕中的名词和形容词进行语义分析。打上各种tag进行聚类后持久化存储在搜索引擎。
2.热点分析和舆情监控:
各种来源的内容,进行来源权重的计算(浏览量,评论量,转发量)。
然后进行关键词权重的计算,有些权重关键词在我们库里面进行相应的描述。去除内容的噪点,提取核心,进行内容的标签化和分值计算。
如上两步计算出来的值,在一个周期里面进行前置排名。这些前置的排名进行回归聚合,得到我们最终的结果。
3.反哺客服系统:论坛有些情况是一个产品的反馈中心,各种产品的反馈都会在上面提交,有些已经头脑风暴并已经解答的内容可以形成知识库反哺我们的客服知识库,有利于下一次相同问题的解答。
4.社交媒体最能体现用户行为也容易形成用户画像。有些内容是平台用户在基本信息里提交的,比如用户的年龄、性别、职业等,收入可以根据用户对某些消费品和奢侈品的偏好而大概一个粗略的判断。
比如关注房产和汽车的人至少在收入这项就会提高他的等级。用户的习惯一般通过日志的收集进行计算分析。

×

打开微信扫一扫,分享到朋友圈