明晚(北京时间7月29日)20:30,继“ YARN or Mesos?Spark痛点探讨”、“ Mesos资源调度与管理的深入分享与交流”、及“ 主流SQL on Hadoop框架选择”之后,ImapBox Spark微信用户群邀请了王团结为大家分享Hadoop/Spark在七牛数据平台的实战。 王团结,七牛数据平台工程师,主要负责数据平台的设计研发工作。关注大数据处理,高性能系统服务,关注Hadoop、Flume、Kafka、Spark等离线、分布式计算技术。 嘉宾简介
作为一家提供存储服务的机构,七牛需要强大的数据平台来支撑其运营数据,其主要业务包括:第一,公司业务的基础运营数据,比如流量和存储信息;第二,运维需求信息提取,用以量化线上服务的体量质量;第三,为开发和技术支持工作提供信息支持,主要是日志的存储检索归档。
对于一家一直在摸索技术的公司来说,不停的挖坑和趟坑是不可能避免的情况,七牛数据平台架构的衍变同样伴随着这一历程。在平台打造之初,抱着“如此体量业务都可以支撑,何况业务产生的区区数据”的想法,对于数据的收集、存储和计算,七牛都自造车轮。然而,随着业务量的剧增,各种问题随之而来,而基于公司配备的人力和物理(机器)资源,自主研发数据平台显然得不偿失,为此团队开始拥抱Flume、Kafka、Hadoop、Spark等开源技术,倾力打造数据平台。
1.扫码加入Spark微信讨论组2。(注:ImapBox Spark用户微信群1已满500,正在清理并邀请2群用户进入)
2. 加入ImapBox Spark技术交流QQ群,群号:213683328。
3. ImapBox高端专家微信群,采取受邀加入方式,不惧高门槛的请加微信号“zhongyineng”或扫描下方二维码,PS:带上你的BIO。
本文为ImapBox编译整理,未经允许不得转载,如需转载请联系market#csdn.net(#换成@)
本网页所有文字内容由 imapbox邮箱云存储,邮箱网盘, iurlBox网页地址收藏管理器 下载并得到。
ImapBox 邮箱网盘 工具地址: https://www.imapbox.com/download/ImapBox.5.5.1_Build20141205_CHS_Bit32.exe
PC6下载站地址:PC6下载站分流下载
本网页所有视频内容由 imoviebox边看边下-网页视频下载, iurlBox网页地址收藏管理器 下载并得到。
ImovieBox 网页视频 工具地址: https://www.imapbox.com/download/ImovieBox4.7.0_Build20141115_CHS.exe
本文章由: imapbox邮箱云存储,邮箱网盘,ImageBox 图片批量下载器,网页图片批量下载专家,网页图片批量下载器,获取到文章图片,imoviebox网页视频批量下载器,下载视频内容,为您提供.
阅读和此文章类似的: 全球云计算