肯孚小七带你初识大数据开发

数据开发的岗位最早起源于数据库这样的概念，当有了数据库后如何才能在数以亿计的数据量中开发出业务部门需求的数据那就不是简单的活了，这不是一个数据存储的过程，还得有一个数据呈现的产品，通常是报表。有这么一句话“大数据里，数据仓库是基础，算法是核心”，现在暂时还没能理解能够搭建大数据平台和ETL开发环境的牛人具备什么样的能力，想必那个从无到有的过程是十分艰辛的。

就工具的使用者来说，一般的数据开发基本都有传统BI的相关经验。大概会使用 Ascential公司的Datastage、Informatica公司的Powercenter、 NCR Teradata公司的ETL Automation。 但是到了大数据的概念，很多公司会选择基于hadoop平台的hive去抽取数据，也有类似携程的土豪公司开发自己的一套=工具系统（宙斯）。ETL（extract, transform and load）产品乍看起来似乎并不起眼，单就此项技术本身而言，几乎也没什么特别深奥之处，但是在实际项目中，却常常在这个环节耗费太多的人力，而在后续的维护工作中，更是往往让人伤透脑筋。之所以出现这种状况，恰恰与项目初期没有正确估计ETL工作、没有认真考虑其工具支撑有很大关系所以说数据开发人员 在使用武器方面应该尽量多接触些工具，不谈为自己增长多少技术能力，至少在选择机会的时候会让企业觉得匹配度较高吧。

技术本身我没有多少话语权，候选人透露不断的钻研和学习是保持技术能力的不二法则。那在数据开发这个岗位中的核心能力这块呢？数据是严谨的，既然是跟数据打交道，那自然要求我们数据开发的工作人员也要保持严谨的工作态度。往往和业务部门对接需求都是模棱两口，反反复复的沟通之后最后的结果和真实的需求还是有偏差，这样吃苍蝇的例子还少吗？所以耐心的沟通，基于业务理解层面上的需求理解能力，用逻辑思维解决问题的能力都是优秀的数据开发所必要的。