首页>会议文档 >

信泰人寿 章晨曦 - 数据分发平台的架构设计与实践

page:
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践
信泰人寿 章晨曦 - 数据分发平台的架构设计与实践

信泰人寿 章晨曦 - 数据分发平台的架构设计与实践

所属会议:SACC2016 (第八届)中国系统架构师大会会议地点:北京


下载

手机看
活动家APP客户端

扫二维码下载
或点击下载
Android iOS

5773次
浏览次数
SACC2016 (第八届)中国系统架构师大会所有文档 开九易云拓 朱龙春 - 互联网对传统企业应用架构冲击和机遇 淘宝 郑士汉 - Weex架构简介和性能优化实战 周亚金 - 安卓应用保护技术发展 小米电视工程师朱辉 - ZRAM那点事pdf 小米 朱辉 - 支持任意数量watchpoin的建议 学而思 赵文杰 - 交互式直播推流编码器的设计 搜狗 甄丽霞 - 基于Kafka-spark streaming的数据处理系统及测试 蚂蚁金服 郑波 - 网商银行金融云的架构之路 饿了么 徐巍 - 饿了么基础设施进化史 光载无限 许开强 - CDN直播系统的优化 搜狗 杨剑飞 - 统一数据平台的实践及思考 网易蜂巢 尧飘海 - 网易蜂巢公有容器云架构之路 超多维 郁树达 - 前进的路上,VR有哪些绕不开的坑 美团点评 喻继鹏 - 互联网行业财务系统架构探讨 阅文集团 徐海峰 - 阅文集团自主分布式文件系统 哈尔滨银行 姜岩 - 运维架构调整与运维工厂模式的建立 百度 张建伟 - 百度大数据离线计算平台流式shuffle服务 深圳瑞赛 张平 - 专业化的风控服务平台的技术架构及实践 魔窗 张申竣 - 创业公司的大数据平台选型和进化 去哪儿网 张子天 - Spider-QunarAndroid客户端架构的前世今生 蜗牛云 赵刚 - 京东VRAR实验室在电商VR中的实践 云计算公司技术专家赵伟 - 负载均衡利器HAProxy功能剖析及部署案例 中国移动 王烨 - 中国移动私有云管理平台架构和实践 优酷土豆 宋慎义 - 为全民直播量身定做流媒体平台 Linkedin China Engineer Supervisor魏佳 - 图数据库Neo4J的实践之路 美图 魏家富 - 美图公司运维自动化系统架构设计 阿里巴巴 郝豪 - 阿里Android instant run探索与实践 美团外卖 夏华夏 - 架构师的三个基本要求 爱奇艺 谢丹铭 - 爱奇艺业务风控系统 爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路 爱奇艺 刘文峰 - 爱奇艺云架构实践优化 易到用车 刘宇 - PHP高性能服务框架架构与实践 网易 刘长伟 - 网易蜂巢Docker研发实践 刘喆 - 大数据时代AdMaster的运维架构 去哪儿网 路绪清 - 基于大数据的消费信贷平台 中国移动 罗刚毅 - 中国移动异构虚拟化平台统一管理研发与实践 优酷土豆 吕红亮 - 视频精准推荐系统实践 小米VR团队马坤 - VR技术与展望 资深云计算架构师马耀泉 - 云计算的高可用实践探索与分享 袋鼠云 宁海元 - 企业级云数据库管控架构设计与实践 汽车之家 欧阳梦南 - 汽车之家移动APP架构演进与性能优化历程 光载无限 欧曜伟 - 光载无限监控体系的变革与演进 阿里巴巴 袁冶平 - 阿里大数据平台发布管理体系 Hyper.sh 裴彤 - 基于 hyper 容器技术的新一代容器云 58到家 任桃术 - 58到家分布式服务框架 阿里巴巴 桑毅宏 - 互联网公司骨干网规划构 上汽集团 龚瀚申 - 上汽集团基于容器技术的尝试实践 滴滴出行 盛克华 - 滴滴高性能列式KV存储系统实践 京东 寿如阳 - 京东虚假交易识别系统 爱可生 王伟 - 数据之大,云动未来——传统企业从IT到DT的互联网创新最佳实践 上交所 孙长昊 - 上交所基于容器技术的微服务架构技术实践 魅族 覃军 - 魅族基础系统运维之路示 美团 唐义哲 - 美团业务风控系统构建经验 腾讯 程彬 - 腾讯云数据库CDB技术演进之路 一点资讯 王成光 - 轻量级分布式实时计算框架light_drtc 京东 王大泳 - 京东数据中心网络监控实践 农银 王福强 - 农银人寿新一代核心业务系统云平台实践题 Intel 王华峰、毛玮、张天伦 - 分布式流式数据处理框架:功能对比以及性能评估 时速云 王磊 - 容器云平台在企业中的运维管理和场景实践 达乎科技 王茜 - SDN对传统网络的变革和价值提升 搜狐视频 李修鹏 - 搜狐视频个性化推荐架构设计和实践 北京邮电大学 李昕 - SDN向左,WAN向右 蜗牛云 李晨光 - VR沉浸式视频在移动平台的优化技术分析 武汉泰迪智慧科技 李成华 - 深度学习在自然语言中的应用 华胜信泰 李海翔 - 数据库引擎技术架构 360 李纪峰 - 云平台安全架构剖析 蚂蚁金服 李三红 - Java企业应用-性能优化原则,方法与策略 拍拍贷 徐王锦 - 金融行业数据库架构变迁 京东 杨海明 - 京东云的架构实践之路 神策数据 曹犟 - 从日志统计到大数据分析 饿了么 常盛 - 饿了么实时架构演进 DBI 常艳玲 - 架构师现状调查报告解读 日志易 陈军 - IT运维分析与海量日志搜索分析 华为 陈亮 - Apache CarbonData,实现大数据即席查询秒级响应 百度外卖 师陈霖 - 百度外卖服务化实战 腾讯微信 陈晓鹏 - 微信运维实时监控数据上报及存储设计实践 雪球 单艳蕾 - 雪球运维架构体系探索 证券 董国兴 - 传统金融行业企业架构创新与实践 腾御安 樊付强 - GNU工具链里的漏洞利用缓解技术 国家工商总局 付宏伟 - 工商数据中心架构创新之路 七牛云 何李石 - 七牛融合CDN实践 宜信 侯松 - 大数据全流程平台在互联网金融场景下的实现和借鉴意义 饿了么 张雪峰 - 架构师需要面对的两个【架构】 Apache HAWQ 简丽荣 - 数据仓库架构的变迁

文档介绍

大会以"架构创新之路"为主题,云集了国内外顶尖专家,共同探讨云计算大数据等技术背景下,如何通过架构创新及各种 IT 新技术来带动企业转型增效。本 届大会共设置两个主场分享时段,24个技术交流专场时段;邀请来自互联网电子商务金融、电信、政府、行业协会等20多个领域,150多位技术专家及行 业领袖来分享他们的经验;并将吸引 4000 多名系统运维、架构师、及各种 企业的IT决策人士参会,为他们提供最具价值的交流平台。

演讲实录

章晨曦,网名ThinkJ,Oracle 10g OCM,中国南方ORACLE用户组(CN`SOUG)创始人之一。曾在世界知名的大型咨询企业-凯捷咨询(Capgemini)担任J2EE开发工程师,后转入DBA团队,作为高级数据库工程师管理世界大型银行——德意志银行的实时在线交易系统的Oracle数据库,数据量接近100TB。现为某国内保险公司技术负责人。曾多次在西湖技术峰会、ORACLE亚太社区领导人峰会上发表过演讲。
  章老师在演讲中这样说:通过这几天的观察发现,来这里分享的有不少互联网公司,而传统企业为数不多。实际上,在传统行业还是有不少的好的实践,并且传统企业也应该多学习互联网行业的理念,把自己成功的推销出去。
  在数据平台的建设中,数据分发往往是被容易忽视的一个环节,但实际实践中,此环节很容易成为整个项目的绊脚石。谈到今天的演讲主题,章老师从需求上展现了分享原因,即企业所希望的:
  *对原有的系统影响较小或无影响
  *实现及管理较容易
  *提升数据流向的清晰度
  *降低系统间的耦合度
  *提升整体系统的性能  
章晨曦:数据分发平台的架构设计与实践
  讲到系统建设原则,章晨曦老师表示:要有较高的可用性、数据准确性要高、容易管理和监控、能集成到大数据平台中。对于仍以结构化数据为主的传统保险行业来说,采用GoldenGate来打造一个数据分发解决方案,是不错的选择。如何保证这个数据分发平台的高可用?
  *自动重启Extract或Replicat进程
  *在网络不稳定或网络短暂中断后特别有用但是要注意需要保证Manager进程正常运行
  章晨曦老师还强调了GoldenGate运行的重要文件:Checkpoint File和Trail File。而集群文件系统则采用ACFS用来安装GoldenGate软件。采用ACFS 主要是免费,需要11.2以上版本,它是通用的文件系统 而且还是比较稳定的。自动故障切换(Grid Infrastructure)可以配置GoldeGate VIP,实现故障转移可以自己写脚本,不是那么难,把原有的信息清除掉就可以了。
  分发平台的高可用归纳成下图,采用节点方式,按照官方最佳实践,形成这样一个中间屏的架构,原有的数据库把TARIL分发到中间分发平台,从中间分发平台把数据抓出来再进行分发到下面。  
章晨曦:数据分发平台的架构设计与实践
  这样的存在的问题,实施比较繁琐,而且比较容易出错;容易导致错误积累;容易导致数据延迟。在运用到中间库的一个过程,有很多数据库同时汇聚,这时就容易形成一个瓶颈,运用有延迟导致了数据延迟。
  因此,章晨曦老师提到了轻量化架构。轻量化架构的优点:不会导致错误积累、数据延迟更小、双向复制更加容易实现。
章晨曦:数据分发平台的架构设计与实践
  金融行业对数据的准确性要求非常高,如何保证数据准确性,GoldenGate的不足由Veridata来补足:基于J2EE的B/S架构、数据校验在内存中完成、数据会先取到Veridata服务器上在进行校验运算、对数据库压力较小、可以进行数据修复。
  最后,谈到大数据平台集成,章晨曦老师说一些技术在传统的金融行业内部一直都在尝试,但是未涉及到核心业务还是比较边缘,也在慢慢尝试。

×

打开微信扫一扫,分享到朋友圈