大數(shù)據(jù)運維工程師的工作職責(zé)（通用14篇）

大數(shù)據(jù)運維工程師的工作職責(zé) 篇1

　　職責(zé)：

　　1. 完成大數(shù)據(jù)平臺日常運維工作(上線/日常監(jiān)控/問題定位/腳本開發(fā))，涉及HDP/Hadoop/Spark/Tensorflow/Flink/Storm/Presto/Kudu/Alluxio等開源組件;

　　2. 完成大數(shù)據(jù)自研平臺工具運營，比如報表平臺、調(diào)度平臺和性能監(jiān)控平臺;

　　3. 提升系統(tǒng)可靠性，完善監(jiān)控策略，優(yōu)化運維流程，提升部門運維效率，保證7*24服務(wù);

　　4. 參與開源社區(qū)建設(shè)，提升公司開源影響力;

　　任職條件：

　　1. 熟悉Hadoop工作原理，熟悉Hadoop、Hive、Storm、Presto、Flink、 Alluixo、Kudu等開源組件的搭建、維護以及問題定位;

　　2. 熟悉Linux操作系統(tǒng)，熟練掌握Linux常用命令,了解ansible/puppet;

　　3. 熟練掌握shell/python/java;

　　4. 熟悉hive/spark sql工作原理，熟悉SQL語法，掌握數(shù)據(jù)庫的維護工作;

　　5. 對自動化運維有一定見解，使用過各種開源工具完成日常運維工作;

　　6. 有大數(shù)據(jù)平臺維護經(jīng)驗優(yōu)先;

　　7. 掌握dockerfile，了解大數(shù)據(jù)與k8s結(jié)合者優(yōu)先;

　　8. 參與開源社區(qū)，有代碼貢獻或者高質(zhì)量博客文章者優(yōu)先;

大數(shù)據(jù)運維工程師的工作職責(zé) 篇2

　　職責(zé)：

　　1、負責(zé)和參與公司大數(shù)據(jù)基礎(chǔ)架構(gòu)平臺規(guī)劃，運維，監(jiān)控和優(yōu)化工作，保障數(shù)據(jù)平臺服務(wù)的穩(wěn)定性和可用性;

　　2、研究大數(shù)據(jù)前沿技術(shù)，改進現(xiàn)有系統(tǒng)的服務(wù)和運維架構(gòu)，提升系統(tǒng)可靠性和可運維性;

　　3、負責(zé)和參與自動化運維系統(tǒng)及平臺的建設(shè);

　　4、負責(zé)優(yōu)化部門運維流程提升運維效率。

　　任職要求：

　　1、統(tǒng)招本科及以上學(xué)歷，計算機相關(guān)專業(yè)，2年以上互聯(lián)網(wǎng)運維工作經(jīng)驗;

　　2、熟悉Linux操作系統(tǒng)及常見開源軟件(Nginx,Tomcat,Zabbix等)的配置，管理及優(yōu)化，能夠獨立排查及解決操作系統(tǒng)層的各類問題;

　　3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的組件原理及運維方式;

　　4、精通Python,shell,了解JAVA;有良好的系統(tǒng)性能優(yōu)化及故障排除能力;

　　5、具有很強的責(zé)任心、執(zhí)行力、服務(wù)意識、學(xué)習(xí)能力和抗壓能力;

　　6、具備較好的溝通能力、主動性和團隊合作精神。

大數(shù)據(jù)運維工程師的工作職責(zé) 篇3

　　職責(zé)：

　　1、負責(zé)大數(shù)據(jù)平臺架構(gòu)的規(guī)劃、設(shè)計、搭建;

　　2、負責(zé)大數(shù)據(jù)平臺的運維保障工作;

　　3、負責(zé)運維相關(guān)數(shù)據(jù)分析，以及報表產(chǎn)出;

　　4、為線上服務(wù)高效穩(wěn)定運行負責(zé)，支撐業(yè)務(wù)和數(shù)據(jù)量的快速擴張;

　　5、深入理解大數(shù)據(jù)平臺架構(gòu)，發(fā)現(xiàn)并解決重大故障及性能瓶頸;

　　6、研究跟進大數(shù)據(jù)架構(gòu)領(lǐng)域新技術(shù)并分享。

　　工作要求：

　　1、熟悉大數(shù)據(jù)產(chǎn)品生態(tài)圈，包括但不限于HDFS、YARN、Hive、HBase、Spark等;

　　2、精通Linux/Unix系統(tǒng);

　　3、有數(shù)據(jù)分析經(jīng)驗優(yōu)先，精通一門以上腳本語言(shell/perl/python等)，熟悉java/C/C++/Golang等開發(fā)語言一種及以上;

　　4、有2年以上大數(shù)據(jù)平臺相關(guān)運維開發(fā)經(jīng)驗，了解分布式平臺運行的原理，并有實際部署維護經(jīng)驗;

　　5、學(xué)習(xí)能力和主動性強，具有鉆研精神，充滿激情，樂于接受挑戰(zhàn);

　　6、良好的服務(wù)意識，善于團隊協(xié)作，項目管理，主動思考，自我驅(qū)動力強。

大數(shù)據(jù)運維工程師的工作職責(zé) 篇4

　　職責(zé)：

　　1、負責(zé)Hadoop、HBase、Hive、Spark等大數(shù)據(jù)平臺 規(guī)劃、部署、監(jiān)控、系統(tǒng)優(yōu)化等，確保高可用;

　　2、負責(zé)公司大數(shù)據(jù)平臺的運維管理工作，集群容量規(guī)劃、擴容及性能優(yōu)化;

　　3、處理公司大數(shù)據(jù)平臺各類異常和故障，確保系統(tǒng)平臺的穩(wěn)定運行;

　　4、設(shè)計實現(xiàn)大規(guī)模分布式集群的運維、監(jiān)控和管理平臺;

　　5、深入研究大數(shù)據(jù)業(yè)務(wù)相關(guān)運維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)，探索新的大數(shù)據(jù)運維技及發(fā)展方向;

　　6、為數(shù)據(jù)倉庫、數(shù)據(jù)挖掘建模等數(shù)據(jù)應(yīng)用項目提供運行環(huán)境支持。

　　崗位要求：

　　1、掌握Linux操作系統(tǒng)的配置，管理及優(yōu)化，能夠獨立排查及解決操作系統(tǒng)層的各類問題;

　　2、熟練掌握Python, shell中的至少一門語言，有Python運維工具開發(fā)經(jīng)驗優(yōu)先;

　　3、熟悉 Hadoop生態(tài)及高性能緩存相關(guān)的各種工具并有實戰(zhàn)經(jīng)驗，包括但不限于Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;

　　4、具有集群運維經(jīng)驗，以及大負載下的容量評估、問題定位、架構(gòu)優(yōu)化等能力優(yōu)先;有分布式系統(tǒng)(計算/存儲)開發(fā)經(jīng)驗優(yōu)先;

　　5、熟悉zabbix/ganglia/Prometheus/grafana系統(tǒng)的組合構(gòu)件及使用;

　　6、精通ELK系統(tǒng)，有過大規(guī)模ELK配置管理、調(diào)優(yōu)經(jīng)驗，有過ElasticSearch搜索和分析引擎開發(fā)經(jīng)驗者優(yōu)先;

大數(shù)據(jù)運維工程師的工作職責(zé) 篇5

　　1.負責(zé)公司大數(shù)據(jù)業(yè)務(wù)集群的運維工作(Hadoop/Hbase/Hive/Yarn/Spark/impala/kudu等)確保集群環(huán)境的穩(wěn)定可用;

　　2.負責(zé)集群容量規(guī)劃、擴容及性能優(yōu)化;

　　3.負責(zé)大數(shù)據(jù)集群性能監(jiān)控與優(yōu)化，故障處理，數(shù)據(jù)備份及容災(zāi)恢復(fù)，集群出現(xiàn)異常時，能快速定位問題，并及時給出解決方案;

　　4.設(shè)計實現(xiàn)大規(guī)模分布式集群的運維、監(jiān)控和管理平臺;

　　5.參與/主導(dǎo)業(yè)務(wù)架構(gòu)設(shè)計，在設(shè)計階段給出可運維性改進建議;

　　6.深入研究大數(shù)據(jù)業(yè)務(wù)相關(guān)運維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)，探索新的大數(shù)據(jù)運維技術(shù)及發(fā)展方向;

　　7.參與例如服務(wù)器維護、項目維護、監(jiān)控維護等常見運維事務(wù)

大數(shù)據(jù)運維工程師的工作職責(zé) 篇6

　　職責(zé)：

　　1.日常監(jiān)控報警處理、故障現(xiàn)場處理以及系統(tǒng)關(guān)聯(lián)的業(yè)務(wù)服務(wù)需求處理;

　　2.系統(tǒng)變更處理，如系統(tǒng)優(yōu)化、漏洞修復(fù)、業(yè)務(wù)增加功能、系統(tǒng)漏洞修復(fù)等;

　　3.相關(guān)系統(tǒng)的項目前期測試、調(diào)研、以及實施和后期維護;

　　4.系統(tǒng)各類程序參數(shù)優(yōu)化設(shè)置，以及應(yīng)用系統(tǒng)版本升級，系統(tǒng)架構(gòu)調(diào)整等;

　　5.系統(tǒng)故障報告編寫，以及系統(tǒng)維護相關(guān)文檔整理。

　　任職要求：

　　1、本科及以上學(xué)歷或同等學(xué)力，2年以上IT相關(guān)工作經(jīng)驗;

　　2、熟悉linux或UNIX系統(tǒng)集成和運維管理，具有系統(tǒng)集成或項目實施經(jīng)驗;

　　3、至少掌握一門腳本語言，不限于shell、python、perl;

　　4、性格開朗，吃苦耐勞，積極主動、樂觀向上，富有團隊精神，具有良好協(xié)調(diào)溝通能力，能承受較大工作壓力和工作強度，具有良好的工作態(tài)度與職業(yè)精神。

大數(shù)據(jù)運維工程師的工作職責(zé) 篇7

　　職責(zé)：

　　1.負責(zé)項目系統(tǒng)部署實施的過程執(zhí)行;

　　2.負責(zé)日常系統(tǒng)維護、產(chǎn)品上線實施和故障處理;

　　3.負責(zé)收集系統(tǒng)維護過程中的系統(tǒng)缺陷和軟件缺陷，提出合理化改進建議和意見;

　　4.為目標客戶提供系統(tǒng)技術(shù)培訓(xùn)和技術(shù)支持，完善系統(tǒng)維護知識庫建設(shè)。

　　任職要求：

　　1.具備專科及以上學(xué)歷，計算機、軟件等相關(guān)專業(yè)畢業(yè)，5年以上相關(guān)工作經(jīng)驗;

　　2.具備千萬級用戶量/設(shè)備的大型互聯(lián)網(wǎng)/物聯(lián)網(wǎng)系統(tǒng)建設(shè)運維經(jīng)驗及項目管理經(jīng)驗，熟悉互聯(lián)網(wǎng)/物聯(lián)網(wǎng)系統(tǒng)主流架構(gòu);

　　3.熟悉Tomcat、Nginx、IIS、Redis、MQTT和Apache等主流中間件及Docker等容器技術(shù);

　　4.熟悉windows server、Linux等主流操作系統(tǒng)的使用;

　　5.掌握Postgresql(主要)、Oracle、Mysql等主流數(shù)據(jù)庫的使用，包括存儲過程開發(fā)，能編寫高效SQL。

　　6.熟悉Zabbix、Telegraf+InfluxDB+Grafana等監(jiān)控工具使用及Python腳本優(yōu)化;

　　7.掌握SVN/Git/Puppet/jenkins等自動化運維工具，具備應(yīng)用服務(wù)安裝配置、管理維護、故障分析和系統(tǒng)性能分析優(yōu)化經(jīng)驗。

大數(shù)據(jù)運維工程師的工作職責(zé) 篇8

　　職責(zé)：

　　1、負責(zé)業(yè)務(wù)系統(tǒng)基礎(chǔ)設(shè)施維護，保障服務(wù)器與數(shù)據(jù)庫安全，檢查并消除安全漏洞;數(shù)據(jù)備份、數(shù)據(jù)監(jiān)控、應(yīng)急響應(yīng)、故障排除、編寫數(shù)據(jù)分析報告等。

　　2、負責(zé)Linux服務(wù)器的配置，維護，監(jiān)控，調(diào)優(yōu)，故障排除，網(wǎng)絡(luò)優(yōu)化等;大用戶量下高性能服務(wù)器系統(tǒng)部署方案的制定及實施;

　　任職要求(任意三條):

　　1、擁有對業(yè)務(wù)流向的邏輯理解能力，對軟件相關(guān)流量中的安全性有所考慮，對安全設(shè)備、網(wǎng)絡(luò)設(shè)備有了解。

　　2、熟悉centos/redhat系列l(wèi)inux系統(tǒng)，有2年以上linux系統(tǒng)工作經(jīng)驗;

　　3、熟悉常見的分布并發(fā)及負載均衡實現(xiàn)方案并有實際實施經(jīng)驗，有負載壓力及并發(fā)量控制經(jīng)驗;

　　4、熟練掌握Linux系統(tǒng)及常見服務(wù)的安裝配置，能靈活運用shell等相關(guān)腳本語言，熟悉mysql、Oracle等數(shù)據(jù)庫的部署、配置、數(shù)據(jù)備份機制等;

　　5、熟悉apache，nginx，php，squid，lvs，haproxy，mysql，redis，java等服務(wù)的安裝配置，有實際運維經(jīng)驗者優(yōu)先;

　　6、負責(zé)Linux服務(wù)器的配置，維護，監(jiān)控，調(diào)優(yōu)，故障排除，網(wǎng)絡(luò)優(yōu)化等;大用戶量下高性能服務(wù)器系統(tǒng)部署方案的制定及實施;

大數(shù)據(jù)運維工程師的工作職責(zé) 篇9

　　1、系統(tǒng)運維、服務(wù)監(jiān)控分析、故障排查，以及緊急情況下的應(yīng)急處理;

　　2、遵循發(fā)布、變更流程，負責(zé)系統(tǒng)建設(shè)和運維工作，保證其高效、穩(wěn)定工作;

　　3、研究服務(wù)架構(gòu)，發(fā)現(xiàn)潛在問題，制定系統(tǒng)調(diào)整和優(yōu)化方案，提高系統(tǒng)的健壯性和效率;

　　4、參與系統(tǒng)架構(gòu)設(shè)計，建設(shè)和管理;

　　5、參與公司基礎(chǔ)網(wǎng)絡(luò)安全架構(gòu)的建設(shè)，根據(jù)業(yè)務(wù)需求制定安全解決方案;

　　6、解決日常安全問題，在出現(xiàn)網(wǎng)絡(luò)攻擊或安全事件時進行緊急響應(yīng)、恢復(fù)系統(tǒng)及調(diào)查取證。

大數(shù)據(jù)運維工程師的工作職責(zé) 篇10

　　職責(zé)：

　　1. 負責(zé)日常網(wǎng)絡(luò)及各子系統(tǒng)管理維護;

　　2. 負責(zé)設(shè)計并部署相關(guān)應(yīng)用平臺，并提出平臺的實施、運行報告;

　　3. 負責(zé)配合開發(fā)搭建測試平臺，協(xié)助開發(fā)設(shè)計、推行、實施和持續(xù)改進;

　　4. 負責(zé)相關(guān)故障、疑難問題排查處理，編制匯總故障、問題，定期提交匯總報告;

　　5. 負責(zé)網(wǎng)絡(luò)監(jiān)控和應(yīng)急反應(yīng)，以確保網(wǎng)絡(luò)系統(tǒng)有7*24小時的持續(xù)運作能力;

　　6. 負責(zé)日常系統(tǒng)維護及監(jiān)控，提供IT軟硬件方面的服務(wù)和支持，保證系統(tǒng)的穩(wěn)定。

　　素質(zhì)要求及任職資格：

　　1.學(xué)歷： 專科以上。

　　2.專業(yè)： 計算機相關(guān)專業(yè)。

　　3.經(jīng)驗： 一年以上相關(guān)工作經(jīng)歷優(yōu)先。

　　4.核心能力及業(yè)務(wù)技術(shù)要求：

　　A.熟悉Unix/linux和Windows系統(tǒng)，有IT系統(tǒng)維護經(jīng)驗; 對操作系統(tǒng)、網(wǎng)絡(luò)、計算機安全有一定的深刻理解;

　　B.熟悉主流的交換機、路由器、防火墻等網(wǎng)絡(luò)設(shè)備及其技術(shù)應(yīng)用;

　　C.熟悉主流web配置，包括IIS、apache、tomcat、nginx等;

　　D.熟悉負載均衡技術(shù)，lvs+keepalive+Heartbeat等集群技術(shù);

　　E.精通或掌握SQLServer/Oracle/mysql等大型數(shù)據(jù)庫管理系統(tǒng)(之一)的安裝/配置和管理;

　　F.熟練掌握Linux監(jiān)控軟件，如nagios等，監(jiān)控系統(tǒng)安全控制及技術(shù)防范;

　　G.具備良好的分析和解決問題的能力，對于攻關(guān)疑難問題具有強烈的興趣;

　　H.性格開朗外向、善于學(xué)習(xí),具備較強的服務(wù)意識、溝通協(xié)調(diào)能力、團隊協(xié)作能力;

　　I.良好的文檔編寫能力，較強的客戶服務(wù)意識，積極主動，吃苦耐勞, 高度的責(zé)任心及應(yīng)急能力;

　　5.其它：身體狀態(tài)良好。

大數(shù)據(jù)運維工程師的工作職責(zé) 篇11

　　職責(zé)：

　　1. 負責(zé)公司服務(wù)器的運維工作，主要包括升級部署、備份恢復(fù)、日常巡檢、性能優(yōu)化、配置操作等;

　　2. 搭建平臺監(jiān)控工具、自動化運維工具;

　　3. 編寫運維手冊，制定運維計劃、操作規(guī)范、應(yīng)急手冊等;

　　4. 及時響應(yīng)問題，快速定位排查故障，優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，提升用戶體驗;

　　5. 負責(zé)監(jiān)控檢查系統(tǒng)軟件、服務(wù)運行狀態(tài)和操作記錄，并進行詳細的數(shù)據(jù)化記錄，定期匯總并上報給負責(zé)人;

　　任職要求：

　　1.本科及以上學(xué)歷，計算機通信相關(guān)專業(yè)，3年以上相關(guān)工作經(jīng)驗;

　　2.熟練操作LINUX/WINDOWS操作系統(tǒng)的安裝、配置 及命令。

　　3.熟練操作ORACLE，編寫SQL語句，對用戶、表空間，數(shù)據(jù)文件有理解，并能擴大相關(guān)系統(tǒng)的表空間。

　　4.熟悉WEBLOGIC安裝及調(diào)優(yōu)，定期對JAVA應(yīng)用程序的發(fā)布和更新;

　　5.具備故障診斷和處理能力及應(yīng)用系統(tǒng)和數(shù)據(jù)庫備份的運維經(jīng)驗;

　　6.有較強的溝通協(xié)調(diào)能力及高度責(zé)任心

大數(shù)據(jù)運維工程師的工作職責(zé) 篇12

　　1、設(shè)計網(wǎng)絡(luò)設(shè)備、服務(wù)器及安全系統(tǒng)的拓撲結(jié)構(gòu)

　　2、開展對公司各平臺服務(wù)器硬件的巡檢;桌面計算機軟硬件(計算機、顯示器、電話、網(wǎng)絡(luò)設(shè)施和其他附屬硬件設(shè)施，如打印機、掃描儀)安裝、配置、升級、運行維護與管理，保障桌面系統(tǒng)正常運行，滿足日常工作的需要;對網(wǎng)絡(luò)設(shè)備、服務(wù)器及安全系統(tǒng)等運行監(jiān)控與管理，負責(zé)對公司綜合布線系統(tǒng)的維護與管理;撰寫運維技術(shù)文檔。

　　3、根據(jù)運維、巡檢報告等統(tǒng)計整理運維數(shù)據(jù)定期評估平臺的硬件、軟件的服務(wù)能力，出具評估報告。

　　4、完成領(lǐng)導(dǎo)交辦的其他工作。

大數(shù)據(jù)運維工程師的工作職責(zé) 篇13

　　職責(zé):

　　1、 負責(zé)企業(yè)機房日常維護和巡檢工作

　　2、 負責(zé)機房內(nèi)服務(wù)器、存儲等硬件設(shè)備的維護管理, 自動化運維系統(tǒng)的部署和管理，以及常見軟硬件故障的處理

　　3、 負責(zé)企業(yè)內(nèi)核心應(yīng)用數(shù)據(jù)庫的日常維護，數(shù)據(jù)備份、數(shù)據(jù)恢復(fù)以及數(shù)據(jù)庫的優(yōu)化等工作

　　4、 負責(zé)各類服務(wù)器操作系統(tǒng)的維護和管理，包含Windows、Linux以及Unix服務(wù)器系統(tǒng)的日常維護

　　5、 負責(zé)云平臺系統(tǒng)的日常維護管理，虛擬機創(chuàng)建，資源分配、回收以及系統(tǒng)資源的日常監(jiān)控和管理

　　任職資格:

　　1、 本科或以上學(xué)歷，計算機相關(guān)專業(yè)

　　2、 至少兩年以上 windows、linux 服務(wù)器運維管理經(jīng)驗

　　3、 熟練掌握windows server、 liunx操作系統(tǒng)的安裝配置、系統(tǒng)管理以及系統(tǒng)優(yōu)化

　　4、 熟練掌握oracle/mysql/sybase主流數(shù)據(jù)庫的配置與優(yōu)化，數(shù)據(jù)備份與恢復(fù)，數(shù)據(jù)安全，數(shù)據(jù)遷移與歸檔，數(shù)據(jù)庫日常監(jiān)控與管理

　　5、 具有豐富的系統(tǒng)軟件及其硬件的故障排除經(jīng)驗，具備較強的分析及解決問題的能力，并善于主動總結(jié)和分享自己的工作經(jīng)驗;

　　6、具有良好的服務(wù)意識，端正的服務(wù)態(tài)度，敢于吃苦，服從安排

大數(shù)據(jù)運維工程師的工作職責(zé) 篇14

　　職責(zé)：

　　1、 負責(zé)Windows，Linux服務(wù)器操作系統(tǒng)的安全加固，包括防病毒，應(yīng)用防護等。

　　2、 負責(zé)安全滲透、安全加固及安全事件的應(yīng)急響應(yīng)，協(xié)助漏洞驗證等。

　　3、 負責(zé)定期對服務(wù)器進行漏洞掃描、端口掃描、弱密碼掃描，并整理報告。

　　4、 負責(zé)定期對運維人員，研發(fā)人員及測試人員進行安全培訓(xùn)，提高整體的安全意識。

　　5、 負責(zé)對各類安全事件主導(dǎo)跟進，包括系統(tǒng)漏洞處理、防薅羊毛、DDOS防御及其他安全加固措施實施。

　　6、 負責(zé)等保三級的相關(guān)工作;

　　7、處理領(lǐng)導(dǎo)交辦的其他工作 。

　　崗位要求：

　　1、 計算機、通信相關(guān)專業(yè)大專以上學(xué)歷

　　2、 熟悉主流服務(wù)器操作系統(tǒng)(Windows、LINUX)、數(shù)據(jù)庫(sql、mysql)等基本操作和安全配置;

　　3、 具備一定的信息安全基礎(chǔ)知識，熟悉網(wǎng)絡(luò)設(shè)備和安全設(shè)備的操作，熟悉防火墻、入侵檢測、VPN等網(wǎng)絡(luò)安全技術(shù);

　　4、 良好的溝通能力、富有團隊精神，能夠承擔(dān)較大工作壓力;

　　5、 了解信息安全等級保護、27001信息安全體系、ITIL等相關(guān)安全標準優(yōu)先;

　　6、 持有等級保護測評師認證、HCNP或同等級證書者優(yōu)先;

　　7、 熟悉國產(chǎn)操作系統(tǒng)(如中標麒麟、中科方德等)、國產(chǎn)數(shù)據(jù)庫(神通、達夢、南大通用)優(yōu)先;

　　8、 有政府類項目實施維護經(jīng)驗優(yōu)先。