數(shù)據(jù)倉(cāng)庫(kù)工程師的具體職責(zé)文本
數(shù)據(jù)倉(cāng)庫(kù)工程師的具體職責(zé)文本
數(shù)據(jù)倉(cāng)庫(kù)工程師需要完善和梳理數(shù)據(jù)指標(biāo)體系,完成和維護(hù)數(shù)據(jù)字典的工作。以下是學(xué)習(xí)啦小編整理的數(shù)據(jù)倉(cāng)庫(kù)工程師的具體職責(zé)文本。
數(shù)據(jù)倉(cāng)庫(kù)工程師的具體職責(zé)文本1
Responsibility
1、負(fù)責(zé)建設(shè)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu),包括元數(shù)據(jù)管理、ETL調(diào)度、數(shù)據(jù)集成、OLAP等子系統(tǒng)的設(shè)計(jì)和開(kāi)發(fā);
2、制定和推廣數(shù)據(jù)字典,建立完善的元數(shù)據(jù)管理規(guī)范,負(fù)責(zé)數(shù)據(jù)質(zhì)量監(jiān)控設(shè)計(jì);
3、搭建和維護(hù)數(shù)據(jù)倉(cāng)庫(kù)表,解決業(yè)務(wù)人員在倉(cāng)庫(kù)系統(tǒng)流程、工具使用、數(shù)據(jù)處理等遇到的問(wèn)題;
4、深入了解網(wǎng)易游戲、CC直播、藏寶閣、網(wǎng)易大神等業(yè)務(wù),負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)和其它業(yè)務(wù)系統(tǒng)接口。
5、基于對(duì)數(shù)據(jù)的理解和業(yè)務(wù)需求,對(duì)數(shù)據(jù)進(jìn)行整理、分析和用戶畫(huà)像搭建。
Requirements
1、計(jì)算機(jī)相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷,有2年以上數(shù)據(jù)倉(cāng)庫(kù)、ETL工作經(jīng)驗(yàn);
2、熟悉SQL、Shell等相關(guān)技術(shù),有海量數(shù)據(jù)處理、ETL及任務(wù)調(diào)度優(yōu)化、數(shù)據(jù)倉(cāng)庫(kù)建模等經(jīng)驗(yàn);
3、熟悉Linux環(huán)境,了解Java/Python服務(wù)端系統(tǒng)開(kāi)發(fā);
4、熟悉Hadoop/Spark/Hive/Hbase/Kafka/Flume等大數(shù)據(jù)技術(shù)者優(yōu)先;
5、邏輯清晰、對(duì)數(shù)據(jù)敏感,良好的溝通能力和協(xié)作能力,敢于接受挑戰(zhàn),能夠承受壓力;
數(shù)據(jù)倉(cāng)庫(kù)工程師的具體職責(zé)文本2
職責(zé):
1、學(xué)習(xí)并理解勵(lì)步云學(xué)***業(yè)務(wù)及系統(tǒng),根據(jù)業(yè)務(wù)部門(mén)需求對(duì)公司各項(xiàng)業(yè)務(wù)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析,出具相關(guān)報(bào)表;
2、進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)、模型開(kāi)發(fā)、數(shù)據(jù)質(zhì)量校驗(yàn),報(bào)表開(kāi)發(fā);
3、進(jìn)行數(shù)據(jù)差異分析,找出統(tǒng)計(jì)口徑、數(shù)據(jù)錯(cuò)誤、操作錯(cuò)誤等造成的差異原因;
4、進(jìn)行數(shù)據(jù)查詢(xún)優(yōu)化,解決跑數(shù)性能問(wèn)題。
任職資格:
1、本科以上學(xué)歷,數(shù)學(xué)、統(tǒng)計(jì)、計(jì)算機(jī)相關(guān)專(zhuān)業(yè)優(yōu)先;
2、3年以上互聯(lián)網(wǎng)相關(guān)行業(yè)數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn);
3、精通數(shù)據(jù)倉(cāng)庫(kù)建設(shè)思路,并有相關(guān)實(shí)施經(jīng)驗(yàn),特別是通用匯總層建設(shè)經(jīng)驗(yàn);
4、較強(qiáng)的數(shù)據(jù)開(kāi)發(fā)能力,熟悉Hadoop相關(guān)技術(shù),深刻理解MapReduce原理和過(guò)程;
5、精通Hive SQL,進(jìn)行數(shù)據(jù)處理及模型開(kāi)發(fā);
6、有較強(qiáng)的學(xué)習(xí)能力,能快速學(xué)習(xí)和理解業(yè)務(wù)知識(shí)及數(shù)據(jù)需求;
數(shù)據(jù)倉(cāng)庫(kù)工程師的具體職責(zé)文本3
職責(zé):
1、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)(HADOOP)ETL工作以及數(shù)據(jù)運(yùn)營(yíng);
2、負(fù)責(zé)數(shù)據(jù)產(chǎn)品的業(yè)務(wù)需求梳理、數(shù)據(jù)開(kāi)發(fā)以及維護(hù);
3、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)的維度建模以及設(shè)計(jì)相關(guān)的腳本調(diào)度;
4、負(fù)責(zé)維度模型的數(shù)據(jù)處理的腳本開(kāi)發(fā),程序開(kāi)發(fā)以及接口對(duì)接。
職位要求:
1. 本科以上學(xué)歷,信息管理、計(jì)算機(jī)相關(guān)專(zhuān)業(yè),兩年以上ETL、數(shù)據(jù)倉(cāng)庫(kù)和大數(shù)據(jù)相關(guān)經(jīng)驗(yàn);
2. 熟悉數(shù)據(jù)倉(cāng)庫(kù)架構(gòu),了解HADOOP等大數(shù)據(jù)平臺(tái);
3. 有ORACLE\DB2等大型的數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)經(jīng)驗(yàn);
4. 能夠用HIVE的SQL,HADOOP的MAPREDUCE和SPARK去處理數(shù)據(jù);
5. 熟悉關(guān)系數(shù)據(jù)庫(kù),并有HIVE的SQL的開(kāi)發(fā)經(jīng)驗(yàn);
6. 熟悉Linux的shell編程;
7. 有銀行和運(yùn)營(yíng)商相關(guān)的大數(shù)據(jù)或者數(shù)據(jù)倉(cāng)庫(kù)相關(guān)經(jīng)驗(yàn)的優(yōu)先
8. 熱愛(ài)技術(shù)工作,具有較強(qiáng)的團(tuán)隊(duì)協(xié)作意識(shí),數(shù)據(jù)安全意識(shí);
9. 工作嚴(yán)謹(jǐn)、責(zé)任心強(qiáng),能承受工作壓力。
數(shù)據(jù)倉(cāng)庫(kù)工程師的具體職責(zé)文本4
職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)平臺(tái)搭建及數(shù)據(jù)倉(cāng)庫(kù)建模;
2、負(fù)責(zé)數(shù)據(jù)庫(kù)管理及數(shù)據(jù)優(yōu)化;
3、利用大數(shù)據(jù)相關(guān)技術(shù)實(shí)現(xiàn)對(duì)數(shù)據(jù)的分析、挖掘、處理、及數(shù)據(jù)可視化等相關(guān)工作;
4、維護(hù)大數(shù)據(jù)平臺(tái)并能解決相關(guān)問(wèn)題, 保障平臺(tái)正常運(yùn)行;
5、學(xué)習(xí)和研究新技術(shù)以滿足系統(tǒng)需求。
任職資格:
1、本科及以上學(xué)歷,計(jì)算機(jī)、通信等相關(guān)專(zhuān)業(yè);
2、有相關(guān)工作經(jīng)驗(yàn)者優(yōu)先;
3、對(duì)互聯(lián)網(wǎng)產(chǎn)品有見(jiàn)解,關(guān)注前沿技術(shù),有較強(qiáng)的學(xué)習(xí)能力、分析能力和動(dòng)手能力;
4、熟悉Linux操作系統(tǒng)及ORACLE、MySQL及MongoDB等數(shù)據(jù)庫(kù),了解SQL優(yōu)化,熟悉ER模型和相關(guān)數(shù)據(jù)建模技術(shù),能夠熟練使用Java或Python、SHELL;
5、熟悉Hadoop的體系架構(gòu)和運(yùn)行原理,有大數(shù)據(jù)處理方面經(jīng)驗(yàn)
6、具有大型數(shù)據(jù)倉(cāng)庫(kù)和ETL開(kāi)發(fā)、HIVE經(jīng)驗(yàn)優(yōu)先
7、個(gè)性樂(lè)觀開(kāi)朗,溝通能力強(qiáng),具備良好的團(tuán)隊(duì)協(xié)作精神,能利用自身技術(shù)能力提升團(tuán)隊(duì)整體研發(fā)效率。
數(shù)據(jù)倉(cāng)庫(kù)工程師的具體職責(zé)文本5
職責(zé):
1、參與數(shù)據(jù)倉(cāng)庫(kù)建設(shè),負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì);
2、開(kāi)發(fā)高質(zhì)量可擴(kuò)展的底層數(shù)據(jù)倉(cāng)庫(kù)體系;
3、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)與業(yè)務(wù)系統(tǒng)的接口設(shè)計(jì)和確認(rèn)工作;
4、負(fù)責(zé)數(shù)據(jù)平臺(tái)相關(guān)的管理工作,如數(shù)據(jù)研發(fā)規(guī)范、數(shù)據(jù)質(zhì)量及穩(wěn)定性保證等建設(shè);
5、參與公司各個(gè)業(yè)務(wù)線BI、數(shù)據(jù)產(chǎn)品與應(yīng)用的數(shù)據(jù)研發(fā),發(fā)覺(jué)數(shù)據(jù)潛在價(jià)值。
崗位要求:
1.大學(xué)本科及以上學(xué)歷,計(jì)算機(jī)、經(jīng)濟(jì)、金融、數(shù)學(xué)專(zhuān)業(yè)背景,有3年以上工作經(jīng)驗(yàn);
2.熟悉數(shù)據(jù)倉(cāng)庫(kù)建模理論,以及數(shù)倉(cāng)數(shù)據(jù)層級(jí)關(guān)系,具備大型數(shù)倉(cāng)邏輯模型和物理模型設(shè)計(jì)經(jīng)驗(yàn);
3.熟悉一種ETL開(kāi)發(fā)工具(sqoop,datax等), 熟悉ETL開(kāi)發(fā)實(shí)施流程和原理;
4.掌握CDH版的hadoop環(huán)境,掌握hiveQL,有調(diào)優(yōu)經(jīng)驗(yàn);
5.有一定的編程語(yǔ)言基礎(chǔ),不限制于java,python,shell等;
6.有元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理工作經(jīng)驗(yàn)的優(yōu)先考慮;
7.工作認(rèn)真,負(fù)責(zé),仔細(xì),有良好的團(tuán)隊(duì)合作精神。
相關(guān)文章:
1.數(shù)據(jù)倉(cāng)庫(kù)工程師的崗位職責(zé)表述
2.數(shù)據(jù)倉(cāng)庫(kù)工程師的工作職責(zé)
3.數(shù)據(jù)倉(cāng)庫(kù)工程師的基本職責(zé)模板