2014 BDTC 参会有感

为了迎接大数据时代的到来，更好地交流大数据的实践经验，进一步推进大数据技术创新与应用，展示国内外大数据领域的最新科研成果，2014年12月12-14日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中国科学院计算技术研究所与CSDN共同协办的2014中国大数据技术大会（Big Data Technology Conference 2014，BDTC 2014）将在北京新云南皇冠假日酒店隆重举办。

大会官网：https://bdtc2014.hadooper.cn/m/zone/bdtc_2014

由于我家在上海，没想到要去。一来是最近很忙，有很多事情要做；二来还是比较折腾的，想着看视频回放吧；三来比较贵，此去一行要花费近5K大洋。但是后来CSDN送票；还有人帮忙报销路费；住宿也不是问题，毕竟三个姐姐都在北京；因此成行。

首先感谢CSDN，不单单是因为送我票，CSDN也是本次大会的协办单位；在会场看到了很多的CSDN的小伙伴，非常辛苦。

先说几个最大的感受：

1. 会议组织的很好；不单是Speaker准备的很好，部分的内容很有深度；硬件也不错，比如同声传译。

2. 参会人员很多，遇到了很多熟悉的面孔，其中不乏从上海，杭州赶过去的；而且目测有一些我厂小伙伴（通过我厂背包）。

3. 展台很多。可以从各个创业公司的海报看到他们的产品，从产品可以看出行业一些基本的需求点和大家的关注点。

4. 见到了Doug Cutting  大神。虽然想去签名+拍照，但是为了保持自己的矜持就没有挤上去。

5. Spark的确是大家的关注点，很多Speaker不时的会提到Spark，甚至做超机的高光荣教授 教授。 

6. 大家一致认为大数据刚刚落地，甚至有嘉宾激进的认为现在和80年代PC刚起步一样，现在大数据所面临的问题比如计算存储网络资源在不久的将来将不复存在（问题是不断演进的吧，比如是否可能会有计算模型定义的硬件，即computing defined hardware，呵呵）

7. 干货很多，节奏很快，基本上没有QA的环节。

由于周日的技术论坛分了大数据生态系统，大数据技术，大数据应用和大数据基础设施等4个分论坛，而且时间是完全重叠的，因此只能选择自己感兴趣的去听。接下来分享一下印象比较深的几场。先分享第一个：

2015年大数据基础技术的演进趋势：孙元浩  星环科技CTO

四个趋势：

1. 混合架构将逐渐消失

2. 固态盘将替代内存作为缓存

3. 实时大数据技术得到广泛关注

4. 云计算和大数据终于可以融合

对于第一个趋势，我认为在小公司是可以的，毕竟维护多个架构的运维成本，集群成本都很高。如果一个架构可以满足大家需求，那么将计算资源整合到一块为整个公司服务绝对符合公司的利益。但是对于BAT这种超大的公司，可能根本就不会存在一个通用的架构。很多地方的运算都会苛刻，比如延时，比如吞吐。为不同的应用场景搭建不同的架构，BAT不单是由技术人员去实现，运维人员去运维，而且还有应用场景的强需求。可能离线和近线使用统一的架构在理论上是可能的；但是在线部分至少在现在，还没有看到这个趋势。

第二个趋势，还是非常有可能的，毕竟如果为一个计算场景设计一个特殊的文件格式，那么SSD的确可以达到很高的性能。而且成本不高，容量巨大，的确是大家应该认真思考的地方。EMC的MCF，就是使用SSD作为一层缓存，还是取得了很好的性能优势的。机械硬盘最大的问题在于随机读，一个寻道直接耗费10ms这个量级，要知道很多在线系统的总延时也不过数百ms；对于高频交易系统，大家的时间维度都是在us，甚至大家为了解决数据在内存到网卡之间的传输延时而设计了专门的硬件，为了避免TCP多次握手和ack带来的延时而实现了“可靠”的UDP。通过为不同的场景设计特殊的SSD的文件格式，SSD的性能得到最大程度的提升；这个趋势，值得大家关注。

第三个趋势，实时大数据不单在大公司得到重视，小公司也是如此；大公司实际上早已在生产环境完成了相关场景。而对于小公司，可能第三方的架构就非常重要了，毕竟从人力，物力来说很难开发一套可用的实时大数据系统。这就导致了相关技术会继续得到关注，社区也会持续在这方面进行改进。

第四个趋势，云计算和大数据终于可以融合。云计算大数据作为商业的噱头炒作了已经很多年了。但实际上，大数据才刚刚开始，大数据时代的帷幕已经徐徐拉开并且大家都在专注的实现一些可以为公司，为用户创造可见价值的技术。尤其是Docker，和在其上面的Google Kubernetes，作为一个轻量级的container，为资源部署，资源隔离等制定一个标杆。相信spark等平台以后会加入对他们的支持。 虚拟化技术这些年，解决了很多问题，也带来了很多问题；而docker，解决了虚拟化带来的问题，比如性能。

（未完待续）