不卡AV在线|网页在线观看无码高清|亚洲国产亚洲国产|国产伦精品一区二区三区免费视频

學(xué)習(xí)啦 > 實用范文 > 辦公文秘 > 崗位職責(zé) > 大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)

大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)

時間: 舒欣1213 分享

大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)

  大數(shù)據(jù)開發(fā)工程師負(fù)責(zé)該領(lǐng)域的業(yè)務(wù)需求討論,完成技術(shù)方案及數(shù)據(jù)開發(fā)。下面是學(xué)習(xí)啦小編整理的大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)。

  大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)1

  職責(zé):

  1、負(fù)責(zé)所分管團(tuán)隊的團(tuán)隊建設(shè)和日常管理工作;

  2、負(fù)責(zé)核心技術(shù)問題攻關(guān)和性能優(yōu)化,持續(xù)維護(hù)和引進(jìn)最新的大數(shù)據(jù)技術(shù)到城市大數(shù)據(jù)平臺中,支撐城市級大數(shù)據(jù)平臺業(yè)務(wù);

  3、承擔(dān)城市數(shù)據(jù)標(biāo)準(zhǔn)編制和數(shù)據(jù)模型的設(shè)計;

  4、承擔(dān)項目中數(shù)據(jù)相關(guān)方案設(shè)計及數(shù)據(jù)團(tuán)隊管理;

  5、參與城市大數(shù)據(jù)項目中數(shù)據(jù)采集、加工過程、分析挖掘模型算法的實施工作。

  任職資格:

  1、1年以上數(shù)據(jù)開發(fā)工作經(jīng)驗,熟練使用SQL查詢引擎;

  2、熟悉Hadoop、Mpp、Oracle等至少一種數(shù)據(jù)倉庫工具

  3、具備良好的編程語言基礎(chǔ)如:java/python/scala/c++/shell等

  4、二本以上學(xué)歷,計算機(jī)相關(guān)專業(yè)或者有相關(guān)培訓(xùn)經(jīng)歷者優(yōu)先

  5、 個人素質(zhì)要求:目光長遠(yuǎn)、態(tài)度誠懇、崗位有穩(wěn)定性,能夠長期培養(yǎng)、具備很強(qiáng)的自學(xué)能力、承壓能力強(qiáng)、接受出差支援項目等工作。對數(shù)據(jù)工作具備濃厚的興趣并有明確職業(yè)規(guī)劃,優(yōu)秀的學(xué)習(xí)能力和團(tuán)隊溝通協(xié)作能力,對新技術(shù)有濃厚興趣并有鉆研精神。

  大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)2

  職責(zé):

  1、依據(jù)客戶需求完成大數(shù)據(jù)項目的數(shù)據(jù)分析及建模;

  2、進(jìn)行大數(shù)據(jù)核心算法的編寫;

  3、參與項目的需求分析、系統(tǒng)設(shè)計、編碼工作;

  4、參與開發(fā)過程中相關(guān)新技術(shù)的研究和驗證。

  5.協(xié)助承擔(dān)架構(gòu)性的體系設(shè)計和改造工作,配合制定技術(shù)實施方案,按照總體設(shè)計組織子系統(tǒng)的設(shè)計和開發(fā)。

  任職要求:

  1、精通數(shù)據(jù)建模、數(shù)據(jù)體系建設(shè),具備數(shù)據(jù)倉庫架構(gòu)設(shè)計、模型設(shè)計和處理性能調(diào)優(yōu)等相關(guān)經(jīng)驗;

  2、具有豐富的基于hadoop體系的數(shù)據(jù)平臺、數(shù)據(jù)倉庫建設(shè)經(jīng)驗,精通基于hadoop源碼的開發(fā)、優(yōu)化改造及成功應(yīng)用案例;

  3、精通hadoop生態(tài)體系各項技術(shù),如kafka、flume、hive、impala、hbase、spark等,具有100+節(jié)點hadoop集群的開發(fā)、運維經(jīng)驗;

  4、具有對大型hadoop集群的硬件規(guī)劃能力;

  大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)3

  職責(zé)

  1、負(fù)責(zé)基于hadoop/spark生態(tài)系統(tǒng)、億級別數(shù)據(jù)的全文檢索,搜索引擎的產(chǎn)品研發(fā);

  2、基于海量用戶行為數(shù)據(jù)和其他數(shù)據(jù),分析和研究數(shù)據(jù)與實際業(yè)務(wù)的關(guān)聯(lián)關(guān)系,并與實際業(yè)務(wù)應(yīng)用相結(jié)合開發(fā);

  3、負(fù)責(zé)大數(shù)據(jù)分析需求設(shè)計和開發(fā),承擔(dān)數(shù)據(jù)抽取、清洗、轉(zhuǎn)化等數(shù)據(jù)處理程序開發(fā)。

  任職要求:

  1、熟悉Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技術(shù)及其生態(tài)圈,具備相關(guān)項目開發(fā)經(jīng)驗,有數(shù)據(jù)實時計算項目經(jīng)驗優(yōu)先;

  2、有搜索引擎全文檢索開發(fā)經(jīng)驗 ,如:elasticsearch、solr;

  3、熟悉python、R任意一門開發(fā)語言;

  4、有SAAS,PAAS企業(yè)級應(yīng)用平臺或者互聯(lián)網(wǎng),金融等大型應(yīng)用平臺開發(fā)經(jīng)驗優(yōu)先考慮;

  5、 本科及以上學(xué)歷,計算機(jī)/軟件工程/統(tǒng)計學(xué)/數(shù)學(xué)等相關(guān)專業(yè),互聯(lián)網(wǎng)/金融等行業(yè)3年以上工作經(jīng)驗;

  6、擁有良好的代碼習(xí)慣,要求結(jié)構(gòu)清晰、命名規(guī)范、邏輯性強(qiáng)、代碼冗余率低,代碼注釋清晰;

  7、熟悉使用svn,禪道等項目管理工具,有良好的團(tuán)隊協(xié)作開發(fā)經(jīng)驗.

  大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)4

  職責(zé):

  1、從事Hadoop、Spark、Hbase、hive等分布式大數(shù)據(jù)產(chǎn)品的設(shè)計和開發(fā);

  2、針對部門大數(shù)據(jù)業(yè)務(wù)進(jìn)行大數(shù)據(jù)分析、挖掘等產(chǎn)品應(yīng)用的開發(fā);

  3、大數(shù)據(jù)平臺各類數(shù)據(jù)業(yè)務(wù)抽象及模型化;

  4、參與大數(shù)據(jù)管理平臺的開發(fā)及維護(hù);

  5、負(fù)責(zé)大數(shù)據(jù)平臺數(shù)據(jù)及相關(guān)的應(yīng)用開發(fā),調(diào)優(yōu)及維護(hù);

  6、為項目相關(guān)開發(fā)人員提供大數(shù)據(jù)技術(shù)指導(dǎo)及解決大數(shù)據(jù)平臺應(yīng)用中遇到的技術(shù)難題;

  7、良好的團(tuán)隊合作與溝通能力。

  任職要求:

  1、本科及以上學(xué)歷,2年以上大數(shù)據(jù)應(yīng)用開發(fā)經(jīng)驗;

  2、具備Java、Python、Scala其中兩種語言的開發(fā)經(jīng)驗;

  3、了解泛Hadoop大數(shù)據(jù)生態(tài)圈,熟悉HDFS/Hive/Flink/Hbase/Spark/Kafka其中兩種以上技術(shù),并有實際的項目開發(fā)經(jīng)驗,有相關(guān)源碼研究者優(yōu)先;

  4、具備ETL開發(fā)與運維能力,有Flume、kettle經(jīng)驗優(yōu)先;

  5、熟悉大數(shù)據(jù)平臺的搭建過程,熟悉數(shù)據(jù)處理流程,有TB級以上數(shù)據(jù)處理經(jīng)驗優(yōu)先,有實時數(shù)據(jù)處理經(jīng)驗者優(yōu)先;

  6、熟悉離線和實時數(shù)據(jù)處理流程,熟練使用Spark,F(xiàn)link處理TB級數(shù)據(jù)優(yōu)先;

  7、熟悉Linux系統(tǒng)環(huán)境,有shell等腳本編寫經(jīng)驗,熟悉Mysql、PostgreSql、Oracle等常用關(guān)系數(shù)據(jù)庫,熟練編寫SQL語句;

  8、熟悉Yarn,Kubernetes,Azkaban等資源調(diào)度框架者優(yōu)先;

  9、熟悉Datax的二次開發(fā),并有實際開發(fā)經(jīng)驗優(yōu)先。

  大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)5

  職責(zé):

  1、負(fù)責(zé)數(shù)據(jù)分析、加工、清理,相關(guān)處理腳本和程序的開發(fā);

  2、負(fù)責(zé)開發(fā)大數(shù)據(jù)工具,如報表平臺、多維度分析工具、ETL平臺、調(diào)度平臺的研發(fā);

  3、負(fù)責(zé)分布式大數(shù)據(jù)平臺應(yīng)用開發(fā)(Hadoop/Spark/Hive/HBase等);

  4、負(fù)責(zé)大數(shù)據(jù)相關(guān)平臺的維護(hù)、優(yōu)化。

  任職要求:

  1、本科及以上學(xué)歷,計算機(jī)相關(guān)專業(yè),具有5年及以上的大數(shù)據(jù)ETL或數(shù)據(jù)開發(fā)經(jīng)驗,熟悉大數(shù)據(jù)組件的維護(hù)以及調(diào)優(yōu);

  2、熟練掌握J(rèn)ava或Python編程語言,熟悉大數(shù)據(jù)架構(gòu)體系,熟悉Hadoop、HDFS、Hive、HBase、Spark、Kafka等技術(shù)中的一個或者多個,熟悉Sqoop、DataX等數(shù)據(jù)導(dǎo)入工具;

  3、能熟練使用Hive、HBase、Spark等加工和處理數(shù)據(jù),有海量數(shù)據(jù)處理經(jīng)驗;

  4、有數(shù)據(jù)倉庫開發(fā)經(jīng)驗/BI系統(tǒng)開發(fā)經(jīng)驗優(yōu)先;

  5、有電商行業(yè)數(shù)據(jù)處理與分析平臺開發(fā)經(jīng)驗者優(yōu)先。

相關(guān)文章:

1.大數(shù)據(jù)開發(fā)工程師的職責(zé)文本精選

2.大數(shù)據(jù)架構(gòu)師崗位的主要職責(zé)概述

3.中級Java開發(fā)工程師的具體職責(zé)范圍

4.大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述

5.大數(shù)據(jù)架構(gòu)師的基本職責(zé)

83127