大数据平台开发大数据平台工程师主要专注于提供大数据基础设施和工具。技能要求无论是大数据平台开发工程师还是大数据开发工程师，对员工的“编程开发”和“大数据”大数据的要求都比较高，数据量越大，技能要求越高。大数据开发大数据工程师的一项重要任务是ETL(Extract，transform，Load):利用大数据平台开发工程师提供的基础设施和工具，对收集到的数据进行提取和转换，生成更高层的数据。
做大数据行业有哪些证书可以考？
感谢邀请！据我所知，目前需要软考的数据分析师证件！而且目前这个软考的属于职称证书两用证件。是升职加薪的必备品，同时也是身份认证的时候都是需要的！另外一个证书人设部大数据分析师和高级数据分析师，属于培训取得的证书也是国际化双证证书的项目之一，对比一下考试起来相对简单易得，推荐考试这个比软考简单粗暴。常规的软件认证和计算机等级证书目前只能作为基本功和基层的认证，与大数据只起到辅助作用！。
在大学大数据专业需要考哪些证书呢？
如果将来想从事数据分析相关工作，目前学习还有余力，想通过考证提升一下自己的话有两类证书可以考虑：1.数据分析间接相关证书。虽然未必和数据分析直接有关。但将来工作很可能会用到，而且可以拓宽自己的知识面加深对行业了解。2.其他行业的证书。开阔视野，多开辟一条路有助于将来成为复合型人才。1.数据分析间接相关证书。
数据分析的基础是数学和计算机，数学方面在国内没啥证书可以考。所以只能考计算机方向。扎实的计算机基础对从事数据分析的帮助还是很大的。计算机的证书主要分两类：基础类和专业类基础类主要是国际计算机等级考试和软考。优点是通用性强，可以加深基础，万一将来从事体制内工作，搞不好还可以升职加薪。缺点也是通行性太强，多理论少实操，考过也不知道自己会了多少。
专业类主要是各种vendor证书。喜欢网络的就考思科。喜欢数据库的就考Oracle。数据分析的话推荐aws。不过不建议那么早考，将来用不用到好难说。这个好处是实用性强万一你以后公司用到这个就挣大钱了。缺点是将来不一定用的到，还需要投入好多时间金钱。2.其他行业证书数据分析一定是和行业靠拢的，年轻时候可以在各个行业摸爬滚打，年纪大了可不行，要想成为专家就要专注某一领域，所以其他行业的有分量的证书也很必要。
大数据开发跟大数据平台开发有区别吗？
我用一个比喻说说个人理解吧：大数据平台在一些地方被称为数据仓库，如果把数据仓库比作粮仓的话，大数据平台开发工程师提供工具，比如研发更快的收割机、设计更大的仓库等等；大数据开发工程师使用这些工具处理数据，比如将农田里的收割、晾晒、去皮、研磨成可以食用的大米面粉。数据科学金字塔上图的数据金字塔展示了数据科学领域各岗位的大致职能。
最底层是数据收集部分，主要是原始数据的生成和收集。这部分数据来自各种IoT设备、传感器、手机APP上的用户行为、外部数据、以及用户生成数据（类似抖音用户主动发布的视频）。第二层是数据存储部分，一般需要构建数据仓库，生成一系列数据流，将原始数据存储至大数据平台。第三层是数据清洗和转化部分，主要对数据进行清洗和预处理，将数据转化为更高层次的数据，为上层数据分析做准备。
第四层是数据聚合部分，主要做一些基础的数据分析和业务报表，进行一些数据挖掘，并构建机器学习的训练数据。第五层是机器学习部分，主要构建机器学习模型，将模型发布到生产系统，进行AB实验。最顶层是人工智能部分，顶级的科学家提出新算法或新架构。大数据开发和大数据平台开发的工作都主要集中在1、2、3三层。原始的数据就像农田里的麦子，需要经过层层工序，才能最终将其转化餐桌上的面包。
大数据开发和大数据平台开发打通了粮食收割、清理、制粉的整个流程，将原始的粮食转化成了面粉。大数据平台开发大数据平台工程师开发主要关注提供大数据基础设施和工具。目前的大数据公司都建有自己的数据仓库，数据仓库中的一个子任务就是构建OLAP（Online Analytical Processing，联机分析处理）工具：主要是在Hadoop生态上，构建大数据分析平台。
大数据平台开发所做的工作包括提供HDFS、HBase、对象存储等数据存储服务；Hive和Spark批处理、Druid和Kylin预处理等数据分析工具；Spark Streaming、Flink等流式计算工具。总之，大数据平台开发工程师关注基础设施和工具。大数据开发大数据工程师的一个重要任务是ETL（Extract、Trasform、Load）：使用大数据平台开发工程师提供的基础设施和工具，在收集到的数据上做提取和转化，生成更高层次的数据。
这部分工程师关注业务相关的数据流。因为原始数据一般都是互相独立的，数据与数据之间关联性差，使用这些原始数据，几乎很难快速生成用户画像、广告收入等高层次数据分析结果，更不用提如何进行机器学习建模了。以今日头条内容推荐引擎为例，整个推荐引擎要接入不同类型的异构大数据源：每个用户在APP上的使用行为、公司购买的第三方数据（包括用户金融能力数据等）、自媒体产生的海量图文视频内容等等。
数据工程师的工作包括：将用户在APP内的点击行为与点击的内容做关联，生成用户兴趣画像；将用户的APP内部数据与第三方数据关联，生成用户的消费能力画像等。大数据开发工程师主要对收集过来的底层数据做处理，建立一系列数据管道，将来自不同数据源的原始数据经过层层转化，生成对数据分析和算法建模更有价值的中间数据，一般称这个流程为数据流。
小公司限于人力有限，数据流的响应时间有可能是天级或小时级；大公司对数据流的响应要求极高，有可能是分钟级、秒级甚至亚秒级。很多朋友都发现，在今日头条刚刚搜索过某一个内容，下一分钟就能收到相似内容的推荐了，因为大数据开发工程师提供了这种秒级数据管道。技能要求无论是大数据平台开发工程师还是大数据开发工程师都对从业人员的“编程开发”和“大数据”大数据要求比较高，而且数据量越大的公司，对技能要求越高。
公司一般要求工程师用Java和Scala语言构建基于Hadoop生态系统的实时或批量数据流。但是公司之间差异很大，整个技术栈和工作内容都和公司架构高度相关。某招聘APP对大数据开发工程师的技能要求:Java、Scala、Linux、Hadoop、Kafka、Spark、Flink等。面试通常侧重于应聘者对谷歌三大数据论文的理解，即MapReduce、GFS和BigTable，分别对应开源的Hadoop MapReduce、HDFS和HBase。这三篇论文也被称为驱动大数据的三驾马车。
