数据工程师每天要面对百万级规模的离线数据处理工作

2014年，马云提出：“人类正从IT时代走向DT时代”。

如果说在IT时代是以自我控制、自我管理为主，那么到了DT (Data Technology)时代，则是以服务大众、激发生产力为主。以互联网(或者物联网)、云计算、大数据和人工智能为代表的新技术革命正在渗透至各行各业，悄悄地改变着我们的生活。

在DT时代，人们比以往任何时候更能收集到更丰富的数据。

IDC的报告显示：预计到2020年，全球数据总量将超过40ZB (相当于40万亿GB)，这一数据量是2011年的22倍!正在呈“爆炸式”增长的数据，其潜在的巨大价值有待发掘。数据作为一种新的能源，正在发生聚变，变革着我们的生产和生活，催生了当下大数据行业发展热火朝天的盛景。

但是，如果不能对这些数据进行有序，有结构地分类组织和存储。如果不能有效利用并发掘它，继而产生价值，那么它同时也成为一场“灾难”。无序、无结构的数据犹如堆积如山的垃圾，给企业带来的是令人昨舌的高额成本。

在阿里巴巴集团内，我们面临的现实情况是：集团数据存储达到EB级别，部分单张表每天的数据记录数高达几千亿条，在2016年“双”购物狂欢节”的24小时中，支付金额达到了1207 亿元人民币，支付峰值高达12万笔/秒，下单峰值达17.5万笔/秒，媒体直播大屏处理的总数据量高达百亿且所有数据都需要做到实时、准确地对外披露……

这些给数据采集、存储和计算都带来了极大的挑战。

在阿里内部，数据工程师每天要面对百万级规模的离线数据处理工作。阿里大数据井喷式的爆发，加大了数据模型、数据研发、数据质量和运维保障工作的难度。

同时，日益丰富的业态，也带来了各种各样、纷繁复杂的数据需求。如何有效地满足来自员工、商家、合作伙伴等多样化的需求？提高他们对数据使用的满意度，是数据服务和数据产品需要面对的挑战。

如何建设高效的数据模型和体系，使数据易用，避免重复建设和数据不一致性，保证数据的规范性？如何提供高效易用的数据开发工具？如何做好数据质量保障:如何有效管理和控制日益增长的存储和计算消耗？如何保证数据服务的稳定，保证其性能？如何设计有效的数据产品高效赋能于外部客户和内部员…..这些都给大数据系统的建设提出了更多复杂的要求。