上海大数据技术汇

背景

    信息创造价值！以数据为本的新一代信息处理技术，让数据获取、处理和呈现方式与手段更加丰富多元，更多维度凸显数据价值，深刻改变着我们的生活和工作方式。
    由示说网发起的上海“大数据技术汇”线下交流活动，致力于为工程师和研发人员提供公益、公平、和谐、友好的线下技术交流平台，让技术小伙伴以最直接的方式，了解大数据技术栈内各种理论、代码、产品、技术、案例和最佳实践等，在分享、探讨中学习并推动大数据技术发展，更好的服务于产业领域，挖掘数据价值。
    活动发起之初，便得到了字节跳动（今日头条）的积极响应，在技术议题选型、创造良好线下交流环境等方面给与了大力支持，同时也给我们带来了超大数据规模下的大数据技术应用案例实践分享。

议程安排

13:00 - 13:30 ········· 活动签到
13:30 - 13:40 ········· 活动开场白
13:40 - 14:20 ········· 大数据平台服务构建 - 之务虚心得 
14:20 - 15:00 ········· Apache Hadoop在头条的实践
15:00 - 15:30 ········· 茶歇&自由交流
15:30 - 16:10 ········· TiDB在银行核心支付交易系统中的实践
16:10 - 16:50 ········· Elasticsearch集群运维实战

主讲嘉宾

视频直播

视频直播地址

议题及嘉宾介绍

议题一：大数据平台服务构建 - 之务虚心得

刘旭晖：《大数据平台基础架构指南》一书作者，51信用卡数据技术团队负责人，此前负责蘑菇街大数据服务平台整体产品规划和架构设计工作，在填坑，背锅，重构和为人民服务方面拥有一些经验 。再往前，曾多年供职于Intel开源技术中心，Spark／Hadoop／HBase／Phoenix等开源项目贡献者。在更久远历史中，还曾在内核驱动，操作系统中间件，输入法，浏览器等方向有过多年开发和开源贡献经验，目前均已荒废。。。
个人兴趣喜好多变，对各种从入门到放弃的无聊行为乐此不疲，维护有“大数据务虚杂谈”和“望月的蚂蚁”两个公众号，超低频率更新各种技术和兴趣爱好相关话题文章，弃坑小半年。对各种低幼爱好如：桌游，乐高，摄影，徒步等有迷之热爱。

内容简介：大数据平台服务构建，目标是什么，怎么做， 产生什么价值？ 要回答这些问题，首先需要树立正确的人生观和价值观，培养全心全意为人民服务的心态；本次议题主要和大家分享一下我在这几年构建大数据平台体系的过程中的一些体会，思考和观察；并以一些核心系统为例，对其构建思路做一下浮光掠影的简介。希望能够启发听众的思考，达到明确自身平台建设目标，多快好省干革命的目的，从此过上幸福美满的生活。

议题二：Apache Hadoop在今日头条的实践

徐鹏：字节跳动基础架构研发工程师，长期关注大数据处理、分布式系统的研究以及Apache Hadoop相关技术的应用与开发，HDFS/Yarn Contributor，《HDFS 2.X 源码剖析》作者。

内容简介：字节跳动 Hadoop 平台支撑了抖音短视频、今日头条、火山小视频、西瓜视频等多款 亿+ DAU APP 的大数据平台需求，目前容量已经超过 2EB，集群规模达到 4w+ 台。本次分享分为三个部分：第一部分是Hadoop技术概述和演进，简要介绍Hadoop平台架构、发展历史以及重要演进；第二部分字节跳动在实践Hadoop时遇到了哪些挑战，以及如何解决；第三部分是对未来的规划和思考。

议题三：TiDB 在银行核心支付交易系统中的实践

余军：现任 PingCAP 公司金融行业首席架构师，中国区架构师团队负责人，20年企业级开源软件架构经验。之前曾分别担任富麦科技CTO，Red Hat中国区解决方案业务总监，前中国惠普分布式计算高级技术专家，前惠普亚太地区开源战略团队主要成员。长期从事金融，电信等传统行业的开源架构和专家服务领域工作。重点服务于包括：商业银行、证券期货交易所及券商、大型保险行业等。长期专注于企业级分布式系统，云计算，高可用架构设计及开源IT战略规划，开源治理及合规咨询。

内容简介：TiDB是一款开源的强一致，高可用，可弹性水平扩展的分布式数据库。越来越多的金融机构，尤其是银行业在考虑采用 TiDB 作为交易型数据库以替换成本高昂的 IOE 架构。本话题以一个真实的银行核心支付交易平台案例，分享 TiDB 在该场景中的细节和实践。

议题四：Elasticsearch集群运维实战

许鹏：携程机票技术总监，负责机票大数据基础平台的架构和运维，《Apache Spark源码剖析》一书作者，三年Presto及Elasticsearch集群的一线运维经验。长期专注于分布式计算引擎技术和分布式存储的设计与实现。

内容简介：Elasticsearch以其强大而易用的搜索功能赢得大量的用户和部署，在实际生产环境中如何保持集群的稳定变得越来越重要。本次分享从Elasticsearch的原理、实际运维中需要关注的重要指标两个层面来讲解Elasticsearch集群的配置和监测。

官方技术支持