不卡AV在线|网页在线观看无码高清|亚洲国产亚洲国产|国产伦精品一区二区三区免费视频

學習啦 > 實用范文 > 辦公文秘 > 崗位職責 > 大數(shù)據(jù)運維工程師的職責精選

大數(shù)據(jù)運維工程師的職責精選

時間: 舒欣1213 分享

大數(shù)據(jù)運維工程師的職責精選

  大數(shù)據(jù)運維工程師負責大數(shù)據(jù)平臺的穩(wěn)定性和性能優(yōu)化。下面是學習啦小編為您精心整理的大數(shù)據(jù)運維工程師的職責精選。

  大數(shù)據(jù)運維工程師的職責精選1

  職責:

  1、負責大數(shù)據(jù)平臺Hawq數(shù)據(jù)庫運維;

  2、負責大數(shù)據(jù)平臺Tbase數(shù)據(jù)庫運維;

  3、負責傳統(tǒng)數(shù)據(jù)(Oracle、MySQL等數(shù)據(jù)庫)數(shù)據(jù)遷移、數(shù)據(jù)同步;

  4、負責日常數(shù)據(jù)庫的監(jiān)控及問題分析排查;

  5、負責OGG、Kafafa等組件數(shù)據(jù)傳輸同步日常運維;

  6、負責數(shù)據(jù)庫的優(yōu)化、SQL語句的優(yōu)化調(diào)優(yōu);

  7、負責數(shù)據(jù)同步的檢驗與異常處理,確保數(shù)據(jù)的一致性、完整性、及時性;

  8、負責制定數(shù)據(jù)同步方案及實施。

  任職要求:

  1、大?;蛞陨蠈W歷,計算機或統(tǒng)計類相關(guān)專業(yè)

  2、有3年以上技術(shù)類或數(shù)據(jù)類的開發(fā)經(jīng)驗;

  3、熟練linux 系統(tǒng)操作及l(fā)inux 運維監(jiān)控、軟件安裝配置;

  4、熟悉大數(shù)據(jù)技術(shù),如Hadoop、Spark、storm、zookeeper等;

  5、熟悉主流數(shù)據(jù)庫mysql/sql serverl/oracle/postgreSQL等,精通SQL語句,對復雜SQL能進行優(yōu)化,能熟練編寫存儲過程;

  6、熟練Linux SHELL,可以進行運維SHELL開發(fā);

  7、學習能力強,責任心強,具有優(yōu)秀的溝通表達、理解能力與團隊合作能力;

  8、有CentOS 7、Red Hat 7等Linux操作系統(tǒng),有Shell腳本編寫經(jīng)驗的優(yōu)先。

  9、有3年以上的基于MPP(greenplum ,HAWQ,Vertica,GBASE等MPP DB)數(shù)據(jù)倉庫的實際運維經(jīng)驗或3年以上 HIVE、SPARK 實際項目運維經(jīng)驗

  10、在實際項目中,有異構(gòu)數(shù)據(jù)庫遷移經(jīng)驗,從傳統(tǒng)ORACLE,MYSQL遷移至MPP數(shù)據(jù)倉庫的實戰(zhàn)經(jīng)驗.

  大數(shù)據(jù)運維工程師的職責精選2

  職責:

  1. 負責公司核心集群的運維工作, 任務(wù)調(diào)度、監(jiān)控預警,持續(xù)完善大數(shù)據(jù)平臺,保證穩(wěn)定性、安全性;

  2. 負責集群容量規(guī)劃、擴容及集群性能優(yōu)化;

  3. 基于大數(shù)據(jù)應(yīng)用需求,持續(xù)優(yōu)化Hadoop框架及組件的配置,提升性能;

  任職資格:

  1.大專以上計算機,通信和網(wǎng)絡(luò)相關(guān)專業(yè);

  2.3年以上中等規(guī)模集群環(huán)境下的Hadoop/Impala/Hive/Spark集群相關(guān)運維經(jīng)驗;

  3.對各種HDFS/Yarn/Hive/Impala/Spark/Hbase等相關(guān)參數(shù)調(diào)優(yōu), 性能優(yōu)化等有實際經(jīng)驗;

  4.有實際踩坑經(jīng)歷, 對于相關(guān)組件的版本跟進, 補丁跟蹤, bug追蹤等有相關(guān)經(jīng)驗;

  5.實際處理過各種集群在線版本升級, 數(shù)據(jù)遷移, 集群擴容, 穩(wěn)定性監(jiān)控等工作;

  6.熟悉Kerberos安全認證系統(tǒng),實施過集群權(quán)限管理, 資源隔離方面的方案規(guī)劃或二次開發(fā)工作;

  7.能維護Hadoop源碼,有Hadoop 源代碼BUG修復或者源代碼優(yōu)化經(jīng)驗者優(yōu)先;

  8.有Cloudera的CM使用經(jīng)驗尤佳。

  大數(shù)據(jù)運維工程師的職責精選3

  職責:

  1負責政務(wù)云平臺、政務(wù)應(yīng)用系統(tǒng)中數(shù)據(jù)庫業(yè)務(wù)的日常運維,保障平臺及應(yīng)用系統(tǒng)服務(wù)7*24穩(wěn)定可靠高效運行

  2負責數(shù)據(jù)庫性能調(diào)優(yōu),了解鎖與隔離機制,協(xié)助客戶解決數(shù)據(jù)庫性能瓶頸

  3制定數(shù)據(jù)庫使用規(guī)范,制定數(shù)據(jù)庫備份、升級、遷移規(guī)劃并部署實施

  4參與數(shù)據(jù)庫設(shè)計工作,提高數(shù)據(jù)庫維護自動化水平

  5熟悉Linux操作系統(tǒng),熟練使用Python,Go,Shell等至少一種語言

  崗位要求:

  1) 5年以上 Oracle/MySQL DBA 從業(yè)經(jīng)驗;

  2) 熟練掌握 Oracle/MySQL 數(shù)據(jù)庫的基礎(chǔ)理論知識、運行機制、體系架構(gòu)、高可用方案、備份機制、容災機制等;

  3) 熟練掌握數(shù)據(jù)庫性能優(yōu)化,了解主流的分布式數(shù)據(jù)庫 Spanner/Cassandra;

  4) 熟悉 Linux/Unix 操作系統(tǒng),對服務(wù)器硬件有一定了解;

  5) 熟練掌握 golang、Python、Java 等語言中的一種;

  6) 熟悉阿里云產(chǎn)品線,具備ACP認證者優(yōu)先考慮;

  大數(shù)據(jù)運維工程師的職責精選4

  職責:

  - 負責局點大數(shù)據(jù)平臺的部署、管理、優(yōu)化、監(jiān)控報警,保障平臺服務(wù)7*24穩(wěn)定可靠高效運行;

  - 深入理解公司大數(shù)據(jù)平臺架構(gòu),發(fā)現(xiàn)并解決性能瓶頸,支撐業(yè)務(wù)和數(shù)據(jù)量的快速增長;

  - 開發(fā)大數(shù)據(jù)自動化運維、監(jiān)控報警、故障處理相關(guān)腳本和工具;

  - 負責Hadoop/spark/Kafka等集群服務(wù)、業(yè)務(wù)監(jiān)控、持續(xù)交付、應(yīng)急響應(yīng)、容量規(guī)劃等。

  要求:

  - 4年以上運維相關(guān)工作經(jīng)驗,有大數(shù)據(jù)平臺運維相關(guān)工作經(jīng)驗優(yōu)先;

  - 具備一定的故障排查能力,有良好的技術(shù)敏感度和風險識別能力,精通一門以上腳本語言(shell/python等),熟悉Http/Https、TCP/IP、SMTP等協(xié)議;

  - 熟悉Linux(redhat/centos)軟硬件環(huán)境、系統(tǒng)管理和優(yōu)化,熟練部署、優(yōu)化各種常用服務(wù)。熟練使用Linux 命令和常用的ssh、ftp、git、maven等開發(fā)工具;

  - 熟悉Hadoop大數(shù)據(jù)生態(tài)圈,包括但不限于CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flink/Impala/Elasticsearch/kibana/MySQL/Kubernetes等;

  - 熟悉Hadoop各組件的原理和實現(xiàn),有實際部署維護、管理( 包括元數(shù)據(jù)管理)及優(yōu)化經(jīng)驗。并擁有持續(xù)調(diào)優(yōu)能力,運維管理過大規(guī)模數(shù)據(jù)平臺;

  - 熟悉掌握常用的安全協(xié)議和組件服務(wù),對hadoop各組件的權(quán)限、安全、kerberos進行配置管理。熟悉SSL、ACL、kerberos等在大數(shù)據(jù)環(huán)境場景的使用;

  - 熟悉常用運維監(jiān)控工具(nagios/ganglia/zabbix/grafan/openfalcon等)和相關(guān)插件的開發(fā)。比如郵件、短信、微信報警插件等;

  - 熟悉常用nginx/haproxy/varnish/netscaler等代理工具的使用和優(yōu)化;

  - 具備良好的服務(wù)意識,善于主動思考,自我驅(qū)動力強。有良好的溝通、協(xié)調(diào)能力,富有團隊精神,有較強的文檔編寫能力;

  - 有大數(shù)據(jù)開發(fā)經(jīng)驗和閱讀源碼能力者優(yōu)先

  大數(shù)據(jù)運維工程師的職責精選5

  職責:

  1、負責銀行各類應(yīng)用系統(tǒng)的運維標準制定和運維管理等工作;

  2、負責銀行各類應(yīng)用系統(tǒng)的運行情況及相關(guān)技術(shù)的整理、分析和總結(jié)等工作;

  3、負責銀行各類應(yīng)用系統(tǒng)的應(yīng)用監(jiān)控、應(yīng)用運維體系工具的建設(shè)和維護工作;

  4、負責銀行各類應(yīng)用系統(tǒng)的自動化腳本編寫和測試工作。

  招聘要求:

  1、全日制一本以及以上學歷,理工類專業(yè);

  2、具備2年及以上應(yīng)用系統(tǒng)運維或應(yīng)用系統(tǒng)開發(fā)經(jīng)驗,有銀行應(yīng)用系統(tǒng)運維或開發(fā)經(jīng)驗者優(yōu)先;

  3、具備較強的文檔編寫、英語文檔閱讀能力;

  4、具備良好的溝通表達能力和團隊合作精神,具有較強的工作責任心和主動性;

  5、至少具備以下二項技能:

  (1)熟悉銀行應(yīng)用系統(tǒng)體系架構(gòu)、應(yīng)用運維標準化流程;

  (2)熟悉AIX、LInux操作系統(tǒng)相關(guān)運維工作,具備熟練的SHELL腳本編程能力;

  (3)熟悉應(yīng)用軟件持續(xù)集成和持續(xù)發(fā)布交付項目的整體流程,熟悉Jenkins、Nexus等相關(guān)Devops工具;

  (4)熟練使用容器平臺相關(guān)技術(shù),有容器平臺管理工作、應(yīng)用容器打包的相關(guān)經(jīng)驗;

  (5)熟練使用Golang或者Python編程。

相關(guān)文章:

1.IT運維工程師崗位的工作職責精選

2.運維服務(wù)工程師的職位職責

3.運維經(jīng)理的具體職責

4.運維主管的工作職責

5.運維經(jīng)理的工作職責模板

55881