来自中兴通讯、IBM、亚信数据 三位小伙伴的技术分享

Spark 社区将在1月14号分享一下topic 欢迎感兴趣小伙伴参加
1 面向电信领域的海量实时数据处理技术与实践
目前大数据技术广泛应用于电信行业的各个方面，尤其在离线存储与处理方面应用较为成熟，典型场景一是基于Hive实现经分系统云化，将传统MPP中的存储与计算模型迁移至大数据平台，二是基于Hbase的详单查询系统，改变传统的采用文本文件进行存储与全文件遍历的查询方式，在这些场景中，通过大数据技术有效的解决了原有系统在水平扩展，解耦合，租户隔离，性能瓶颈等方面的问题。
另一方面，电信行业越来越注重于业务处理的实时性与时效性。为了实现此类业务，近几年来越来越多的公司将数据从传统的文件传输方式改为流式接入，而传统的大数据离线批处理的方式很难满足企业对于高实时性的要求。基于此我们设计并实现了基于Spark Streaming的流式数据处理平台，以满足用户对于实时类业务处理的需求。橘云流平台根据电信业务的特点，在平台层面支持了高可用，可平行扩展等功能；在业务层面使用附加标签作为主要的逻辑实现方式，在数据接入、处理、输出三个主要阶段实现了可配置与可扩展，用户可以灵活的从标签库中选择标签进行组合或进行个性化定制开发以实现不同的需求

2.剖析TensorFlow架构与设计
· 阐述TensorFlow编程模型，及其基本概念；
· 阐述TensorFlow分布式系统结构，理解Device选择，Device间通信等关键技术；
· 重点描述计算图构造与执行过程，理解Tensor在前向数据传输，梯度反向传播的工作机制；
· 阐述TensorFlow的扩展性设计技术，包括梯度计算，局部执行，控制流等实现技术；
· 阐述TensorFlow的性能优化的设计技术，包括消除冗余子表达式，异步核，数据压缩等实现技术；
· 阐述TensorFlow的模型并行，数据并行的工作原理；

3. 分布式深度学习框架：SparkNet与TensorFlow
   开源深度学习框架介绍，分布式深度学习基本思想，使用SparkNet进行分布式深度学习，分布式TensorFlow功能使用介绍及性能比较。