大數據開發工程師崗位的主要職責概述(精選16篇)
大數據開發工程師崗位的主要職責概述 篇1
職責:
1、 規劃及建設大數據平臺;
2、 負責大數據存儲系統、分布式計算系統、挖掘算法等設計、研發以及維護、優化工作;
3、負責分析、挖掘、對抗各種產品安全層面的惡意行為;
4、 參與項目的系統設計和核心代碼開發,指導和培訓其他工程師;
5、 整理和提交技術文檔,負責核心功能模塊的代碼編寫和測試工作。
崗位要求:
1、 計算機、統計學等相關專業本科及以上學歷,具有深厚的數學、統計學和計算機相關知識,精通數據倉庫和數據挖掘的相關技術,3年以上大數據開發相關經驗;
2、具有非常扎實的Java基礎,熟悉Shell、Python、R、Scala等一種以上語言;
3、算法基礎扎實,熟悉常見的數據結構,了解分布式算法和分布式系統的技術原理;
4、精通MapReduce設計方法或Spark計算框架、對NoSQL,Hadoop、Hbase、Spark、Hive等主流云計算,大數據相關軟件有充分的了解,并且有實踐經驗,能解決應用中的復雜問題;
5、熟悉大數據處理相關技術,包括但不限于Hadoop、Hive、Hbase、Impala、Spark,Kafaka、Flume、Sqoop、Storm、Redis等;
6、研讀過Hadoop、Hbase、Hive源代碼者,能夠在特定業務中進行定制改造者優先;
7、具有海量數據處理、數據挖掘、數據分析相關項目的工作經驗者優先。
大數據開發工程師崗位的主要職責概述 篇2
職責:
1. 對數據進行結構化、標準化處理,對處理流程進行自動化搭建
2. 通過ETL/Cube數據建模,構建基于數據倉庫的分析工具;
3. 參與數據與公司軟件產品及第三軟件的API對接;
4. 搭建與優化,數據采集、處理、可視化流程中所需的框架與模塊開發;
5. 協同內外部力量完成需求的表達與技術攻關。
任職要求:
1. 熟悉數據庫的設計和開發如:Oracle/Mysql/MSSQL/Redis等,有處理大量數據經驗的優先;
3. 熟練使用ETL工具進行數據抽取,清洗,轉換,關聯等操作;
4. 熟練使用Linux操作系統,具備編寫shell的能力;
5. 熟練使用主流的開發框架,掌握以下語言:Java、Python;了解過源碼的優先;
6. 具有2年以上數據倉庫(DW)、商務智能(BI)、大數據等方面的軟件或項目開發經驗;
7. 了解可視化及BI工具者優先;
大數據開發工程師崗位的主要職責概述 篇3
職責:
1、 負責大數據平臺架構的整體設計,承擔數據抽取、清洗、轉化等數據處理程序開發;
2、 為業務運營提供技術支持,完成應用系統的搭建、優化、升級工作,保證平臺穩定運行;
3、 編寫系統的需求分析、設計、開發和部署文檔等。
崗位要求:
1、碩士及以上學歷,計算機、自動化、通信等相關專業;
2、熟練掌握Java語言,并熟悉Python語言,熟悉分布式系統架構,有hadoop,spark系統架構經驗;
3、熟悉實時計算框架storm,flink,spark streaming其中之一;
4、熟練使用SQL,熟悉數據庫原理,熟練使用至少一種主流關系型數據庫;
5、熟悉軟件開發流程,能夠根據需求編寫需求、設計、開發手冊等項目過程文檔;
6、具有良好的溝通能力和主動性,抗壓能力強。
大數據開發工程師崗位的主要職責概述 篇4
職責:
1、參與大規模數據快速查詢系統的架構設計和開發;
2、大規模數據挖掘和機器學習算法的實現;
3、在線和離線海量數據分析平臺的開發;
4、研究大數據前沿技術,提升系統的運維效率;
5、實現大數據基礎架構平臺的自動化運維。
【任職要求】:
1、計算機相關專業,具有3年以上大數據開發經驗,熟悉Java,Linux;
2、熟悉Hadoop大數據處理系統的開發,搭建及部署者優先
3、熟練地處理數據模型、數據ETL以及存儲管理;
4、熟悉HDFS/Hive/MapReduce/Kylin/HBase,能獨自進行Mapreduce程序開發者優先;
5、熟悉分布式系統概念、架構,有大規模分布式系統設計、實現、部署等經驗;
6、有較強的書面與口頭溝通表達能力,獨立分析、解決問題的能力。
大數據開發工程師崗位的主要職責概述 篇5
職責:
1、參與大數據架構的規劃設計,參與業務建模及數據化運營平臺的搭建、運維,對業務流程與大數據的結合提出建議和解決方案;
2、完成基于大數據平臺的業務項目的開發、實施和維護工作;
3、負責解決大數據平臺建設過程中的技術難點和性能調優工作;
4、參與數據倉庫設計,根據業務需求實現高效率高靈活性的查詢,數據分析,數據挖掘;
5、負責高吞吐高可用數據實時和離線采集,高并發的大數據業務架構設計
6、負責研發技術發展方向,新技術領域的探索,引入并驗證數據平臺領域新技術,提供系統效能
7、對大數據技術及開源框架充滿熱情,具有鉆研精神,能自我學習。
任職資格:
1、具有5年Java開發經驗,熟悉Spring生態,掌握Hibernate、Mybatis任意一種ORM框架,掌握Oracle、Mysql數據庫。
2、具有2年以上的大數據開發經驗,熟悉大數據、數據倉庫,分布式架構技術理論,具有大數據整體系統架構設計和實戰經驗,熟悉CDH、HDP、TDH至少一款大數據產品,有從無到有建設大數據平臺經驗者優先;
3、熟悉大數據組件的開發、搭建、維護以及性能優化;
4、較強的開發能力,必須熟練使用相關開發語言(Java/Python/Scala/Shell等),熟悉大數據生態、關系數據庫和NOSQL數據庫、Linux等相關知識,能夠獨立完成并指導初級開發人員完成大數據相關的技術實現和調優;
5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Phoenix等組件或技術,能閱讀源碼跟蹤問題。
6、熟練掌握Spark、flink任意一種計算框架,掌握MapReduce計算框架原理,并有實際項目開發經驗。
7、熟練掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技術和組件,熟練應用開發,必須熟悉復雜數據查詢性能調優,包括實時查詢和離線批處理查詢,服務器和生態組件的參數優化。
8、精通高級算法并有與業務結合落地優先;
9、扎實的獨立分析問題、解決問題的能力,具備良好的需求理解能力、溝通協調能力和團隊合作精神;有很強的數據設計抽象能力,善于從復雜的數據問題中找到關鍵路徑,并且擅于跟業務團隊就業務問題進行良好的溝通,能推動業務的指標化、量化;
10、有較好的學習能力、團隊協作精神,認真細心,有強烈的責任心,愛崗敬業,有較高抗壓能力,有較好的工作穩定性。
大數據開發工程師崗位的主要職責概述 篇6
1、按照項目計劃,在保證質量的前提下,按時完成開發任務;
2、參與軟件系統需求分析和設計,編寫有關技術文檔;
3、對初級開發人員進行技術指導和技能培訓。
大數據開發工程師崗位的主要職責概述 篇7
職責:
1、公司產品無線線端web端的制作、開發和優化
2、根據設計稿,編寫靜態頁面和交互、特效等功能的腳本程序
3、優化前端組件的靈活性和可擴展性
4、跟蹤研究前沿的前端技術,并應用到公司的產品開發當中
任職要求:
1、3-5年工作經驗,了解react框架前端技術,熟悉流行的前端ui庫,能夠設計開發工具型網站,如:碼工助手;
2、熟練掌握DIV+CSS網頁布局,并且對模板化、模塊化有一定理解,精通HTML/HTML5、CSS/CSS3等前端開發技術;
3、熟練掌握JavaScript語言核心技術DOM、Ajax、JSON等,對javascript框架(如react/jQuery/jq ui 等)有一定的經驗;
4、對css/JavaScript性能優化、解決多瀏覽器兼容性問題有一定的經驗;
5、對無線端開發有一定經驗,能夠較好解決ios,Android端兼容問題;
6、具備良好的責任心、邏輯思維強、善于交流和表達、較強的學習能力、優秀的團隊溝通與協作能力。
7、愛思考,溝通能力強。
大數據開發工程師崗位的主要職責概述 篇8
職責:
1、負責進行用戶需求收集和分析;
2、運用SQL數據庫語法,進行系統的二次開發和運維;
3、軟件安裝,調試,數據導入,用戶權限設定;
4、培訓甲方公司系統操作人員,使其掌握系統操作方法。
【任職要求】
1、具有良好的SQL Server或Oracle數據庫編程基礎;
2、具有較強的學習能力和良好的溝通能力;
3、工作積極主動、具有團隊合作精神;
4、具有數據庫開發相關經驗,或軟件實施、運維經驗優先。
大數據開發工程師崗位的主要職責概述 篇9
職責:
1.負責網宿云各個產品線日常運維運營工作和自動化運維工具開發;
2.負責網宿云各個產品線自動化運維方案,疑難問題分析,告警優化;
3.具備良好的溝通能力,能全鏈路推動產品質量,為產品線質量負責;
4.其他和以上工作相關的專項事務。
任職要求:
1.熟悉Linux操作系統,熟練應用常用命令(awk,sed,grep等),能分析并定位出系統常見的性能問題;
2.精通shell/python編程,或熟悉java編程,有項目開發經驗者優先;
3.熟悉TCP/IP協議,能抓包做基本協議分析;
4.具備良好的分析和研究能力,熱愛技術,有研發經驗優先;
5.本科及以上學歷,計算機相關專業,1年以上工作經驗。
大數據開發工程師崗位的主要職責概述 篇10
職責:
1、維護現有學歷平臺的穩定;
2、針對需求進行定制開發;
3、針對現有數據庫和平臺進行相關優化;
4、按時完成自己的開發工作,并做好單元測試;
5、及時修改測試人員反饋的bug;
6、撰寫相關的開發文檔。
任職資格:
1、3年以上c# ,Asp.net,webform,mvc編程經驗。熟悉.net運行機制;
2、熟悉面向對象編程,精通c# 對象 、接口、委托等基礎概念及應用;
3、3年以上sqlserver數據庫使用經驗,熟悉編寫存儲過程,能對sql語句進行性能優化;
4、掌握html、js、css客戶端技術,熟練使用ajax、jquery;
5、熟練掌握Sql Server 20xx/20xx數據庫開發,能夠使用索引、視圖、查詢優化、存儲過程、數據庫作業等技術;
6、具有SQL語句調優和數據庫調優工作經驗。
大數據開發工程師崗位的主要職責概述 篇11
1.負責顯示圖像處理相關的FPGA RTL架構及子模塊設計,工程綜合及時序分析,解決開發過程中出現的技術問題;
2.負責芯片化IP開發工作,對應芯片化代碼綜合及驗證;
職位要求:
熟悉FPGA原理,熟悉HDMI、DP和網口等接口調試,熟練掌握FPGA開發軟件、硬件描述語言,熟悉DDR控制設計
有豐富的圖像處理或圖像識別相關FPGA項目開發經驗、有較多的復雜工程整合和時序分析經驗,有RTL代碼測試經驗
大數據開發工程師崗位的主要職責概述 篇12
職責:
1、編寫代碼,單元測試,保質保量完成分配任務;
2、參與功能詳細設計,接口聯調;
3、參與評估項目技術難點、技術分析和指導、攻關技術瓶頸、系統重構和優化;
4、負責解決開發過程中的技術問題。
任職資格:
1、本科及以上學歷,計算機相關專業,3年及以上開發經驗;
2、Html5、CSS、JavaScript基礎扎實,精通vue或者Angularjs,React.js,node.js等;
3,精通基于Web的應用程序開發,精通javascript、HTML、XML、JSON、CSS、AJAX等技術;
4, 對數據敏感、有創新精神、主動思考和獲取新知識。
大數據開發工程師崗位的主要職責概述 篇13
1、協助項目經理開展空調產品結構設計工作;
2、協助跟進項目進度,參與產品開發過程中試模、試產及量產的組織、協調等工作
3、協助空調新產品開發過程中各種相關文件的編制,確保過程控制文件符合研發控制流程和相關質量管理標準;
4、協助生產制造部門技術支持等相關工作。
大數據開發工程師崗位的主要職責概述 篇14
職責:
1、獨立負責工作小組,指導和監督下級人員日常工作;
2、參與軟件系統的設計和分析,制定小組實施方案;
3、根據開發進度和任務分配,完成相應模塊軟件的設計、開發、編程任務。
任職要求:
1.計算機相關專業,有2年以上JAVA開發經驗;
2.精通JAVA,熟練掌握SPRING、SPRING MVC、MyBatis,熟練SPRING CLOUD、NETFLIX優先;
3.精通jQuery、JavaScript;熟悉Bootstrap等UI組件;
4.熟悉Oracle、MySQL等常規數據庫,熟悉Redis;
5.掌握redis、MongoDB、Mysql等數據庫開發及優化;
6.熱衷于軟件開發工作、致力于微服務架構技術;
7.具有強烈的責任意識和開放的心態,事業心強,勤奮好學,有團隊精神。
大數據開發工程師崗位的主要職責概述 篇15
職責:
1、利用HTML5、CSS3等相關技術開發手機、平板、PC等多平臺上的WEB前端應用;
2、解決不同設備/瀏覽器的兼容性問題。
3、配合(C#.NET)后臺工程師一起研討技術實現方案和后端數據的對接,進行應用及系統整合;
4、負責產品的持續迭代和維護工作。
職位要求:
1.計算機相關專業專科及以上學歷,一年以上WEB前端開發經驗;
2. 精通HTML5、CSS、JavaScript、Jquery、bootstrap等技術。
3.有微信公眾號/微信小程序的開發經驗 作為加分項;
4.有C#.NET MVC開發經驗 作為加分項;
5.熟悉MySql數據庫 作為加分項;
6.具有良好的編碼習慣,良好的溝通與表達能力,思路清晰,業務邏輯理解與分析能力強;
大數據開發工程師崗位的主要職責概述 篇16
職責:
1、根據產品設計文檔和UI原型,利用HTML5相關技術開發移動端的web前端頁面;
2、基于HTML5.0標準進行頁面制作,編寫可復用的用戶界面組件;
3、持續的優化前端體驗和頁面響應速度,并保證兼容性和執行效率。
崗位要求:
1、計算機或相關專業專科及以上學歷,1年以上的HTML5開發經驗;
2、具有獨立完成前端開發工作的能力;
3、熟悉移動端的前端開發、多瀏覽器兼容及移動端機型適配方式;
4、熟練掌握web系統開發技術,熟悉javascript、jquery、CSS3、HTML5、Ajax,能快速定位解決瀏覽器兼容性問題;
5、熟悉常見頁面布局方式,移動端響應式頁面布局方式,熟悉css性能優化方式。