數據倉庫工程師的主要職責(精選13篇)
數據倉庫工程師的主要職責 篇1
職責:
1.建設公司級數據倉庫,并根據業務變化持續迭代和優化;
2.對業務數據進行梳理和抽象,建設數據倉庫的數據模型;
3.對業務數據進行采集、清洗、轉換和存儲;
4.支撐BI、用戶數據、用戶運營、用戶畫像、房源數據、推薦系統等核心數據平臺產品;
5.研究大數據前沿技術,不斷持續優化大數據平臺,為業務提供價值。
任職資格:
1.本科及以上計算機、統計學、數據庫、機器學習等相關專業,5年以上數據相關工作;
2.對業務數據有敏銳的理解能力,并能快速梳理和分析業務數據;
3.熟練掌握SQL語言、熟悉MySQL,對Shell、Java(主要開發語言)、Python編程非常熟悉;
4.熟悉常用的ETL技術和原則;精通數據倉庫數據庫設計規范和實操;
5.熟悉Hadoop、Hive、HBase、Spark、Storm等開源平臺者優先;
6.具有較強的分析和解決問題的能力,良好的學習能力和團隊合作精神,追求價值實現,認同目標管理和敏捷。
數據倉庫工程師的主要職責 篇2
職責:
1.負責企業級數據倉庫設計、規劃、建設、實施、管理,數據倉庫架構設計與數據開發,創建數據倉庫、數據集市
2.熟悉數據倉庫領域知識,從架構和技術層面參與建設數據倉庫,包括元數據管理、數據質量、主數據管理、性能優化和調優。
3.負責數據倉庫平臺相關數據管理工作,如研發規范、質量規范、保障規范的制定與推動實施落地
4.配合和協助數據分析/數據挖掘形成底層/中間層的業務邏輯切片
任職資格:
1. 本科或碩士以上學歷,計算機工程相關專業
2. 熟悉大數據相關技術能力(Hadoop/MapReduce/Hive/Hbase等),熟練進行數倉Hive建設和軟件架構,較強的數據抽象能力
3.精通SQL,具備海量數據處理和Hive/Spark性能調優經驗,3年以上大規模分布式數據倉庫建設經驗
4.熟練使用Druid/Kylin之一進行數據挖掘模型設計,熟練掌握Java/Scala之一,具備良好的coding素養和習慣,了解腳本語言,如Python、Shell等
5.強烈的責任心,工作態度積極主動,有較好的團隊精神和溝通能力,工作細致認真
數據倉庫工程師的主要職責 篇3
職責:
1、負責ETL開發、作業調度和數據平臺建設
2、負責數據倉庫的設計、開發和優化,建立結構層次合理、靈活可擴展的數據倉庫
3、設計并研發BI分析相關的數據產品
4、結合對數據的理解和業務需求,對數據進行整理、分析和挖掘
任職要求
1、計算機相關專業本科及以上學歷,有2年以上數據倉庫、ETL工作經驗
2、有海量數據處理、ETL及作業調度優化、數據倉庫建模等經驗
3、熟悉Linux、SQL、Python或Java、Shell腳本,有Hadoop/Hive/Spark/HBase/Kylin/Impala等大數據技術使用經驗
4、邏輯清晰,對數據敏感,深入了解業務,具備自己獨特的想法并能提出合理的建議
數據倉庫工程師的主要職責 篇4
職責:
1、負責制定數據倉庫平臺技術體系架構、數據架構及規范;
2、負責設計和實施公司業務數據的實時/離線數據ETL架構方案;
3、負責調度架構設計與開發;
4、負責數據倉庫平臺運維以及日常數據運營等管理;
5、負責關鍵技術攻關;
任職要求:
1、5年以上數據倉庫項目開發經驗,參與過數據倉庫架構設計,對ETL開發流程、調度架構有深入理解;
2、精通mysql、 oralce 、greenplum等至少一種數據庫,豐富的SQL性能調優經驗;
3、熟練使用Java、Shell、Python、Perl等至少一種腳本語言;
4、熟悉數據治理理論,數據質量、元數據管理流程和方法;
5、了解Hadoop/Hive/HBase/Spark/Storm等技術及其生態圈;
6、溝通能力好、責任心強,具有良好的團隊合作精神和敬業精神;
數據倉庫工程師的主要職責 篇5
職責:
1.參與傳統數倉和大數據數倉日常開發工作;
2.參與大數據倉庫設計、規劃和開發;
3.參與日常工作的優化,提出建設性意見;
4.負責管理項目,負責板塊內的資源協調、進度管理、交付管理;
5.參與數據倉庫、數據集市體系架構的設計、規劃與開發, 參與大數據、ETL開發,sql性能優化。
任職要求:
1.全日制本科,計算機等相關專業。3年以上數倉開發經驗,有銀行、金融從業經驗者優先。
2.2年以上項目管理經驗,具備PMP證書優先.
3.熟悉oracle/hive/spark,熟悉數據處理和性能優化,有UDF自定義函數、MR開發經驗優先;
4.熟悉常用ETL工具,熟悉常用的Linux指令,熟悉shell/python任意一種腳本語言。
數據倉庫工程師的主要職責 篇6
職責:
1、持續了解信貸行業發展,負責調研評估行業內外最新風控技術、產出可行性方案,協調資源應用于公司內部風控產品體系建設中;
2、負責信審相關系統產品設計、需求文檔編寫,與風控業務、技術部門緊密配合,管控進度及質量,確保產品高效落地;
3、負責信審相關系統日常需求收集評估;
4、負責信審相關系統問題處理定位分析及跟蹤;
5、領導安排的其他工作;
任職資格:
1、3年以上互聯網金融風控產品/運營/實操/開發工作經驗;
2、具有敏銳的業務洞察、邏輯思維及數據分析能力;
3、具有較強的創新意識和目標導向意識;
4、具有良好的產品文檔撰寫及產品原型設計能力 ;
5、具備良好的項目統籌推動及跨部門溝通協調能力 ;
數據倉庫工程師的主要職責 篇7
1、熟練掌握翠歐產品知識技能,負責翠歐全線產品的技術支持和產品維護;
2、協助客戶開發程序,攻克項目難點;
3、獨立完成項目的編程調試工作;
4、整理行業相關案例;
5、開發通用功能塊。
數據倉庫工程師的主要職責 篇8
職責:
1.參與打造數據中心內容的規劃、設計、開發和優化工作,實現高質量數據的互通與共享;
2.參與數據模型體系構建及數據主題設計和開發,搭建離線、實時數據倉庫;
3.參與數據產品與應用的數據研發;
4.負責日常應用系統監控,發現異常問題及時分發,并跟進后續處理;
5.編寫Python程序,或ETL技術完成日常數據抽取和整理任務,可獨立進行數據分析;
崗位要求:
1.熟悉ETL開發、數據倉庫設計流程,熟悉Oracle, MS SQL Server 等主流數據庫,表結構設計,存儲過程編寫;
2.熟練掌握常用Linux命令,具備shell編程能力,熟練掌握Python編程語言
3.具有較強的語言表達和溝通能力,良好的團隊合作精神
4.邏輯思維能力強,對數據敏感,有較強學習能力和創新思維;
5.具有高度的責任感和敬業精神,能夠承受較大的工作壓力
數據倉庫工程師的主要職責 篇9
1. 負責主線橋梁、各種城市立交等常規跨徑橋梁設計;
2. 橋梁結構整體和局部分析計算,完成計算分析報告;
3. 制訂和實施項目技術方案, 解決橋梁工程施工中的技術問題,提供相關技術咨詢意見;
4. 熟練運用橋梁博士、Midas、Ansys及CAD及相關軟件,有編程基礎者優先;
5. 短期出差,與委托方或承包方進行技術交流;
6. 完成公司領導交辦的其他工作。
數據倉庫工程師的主要職責 篇10
職責:
1、編制水文水資源信息化項目有關的科研報告、實施方案、投標文件等;
2、負責與客戶進行業務溝通,挖掘和把握客戶的需求;
3、在項目實施過程中,對階段成果進行功能性測試;
4、協助項目經理在項目實施過程中進行匯報、溝通;
5、帶領團隊進行需求調研,包括需求調研計劃編制、需求調研實施、系統原型設計、需求規格說明書編寫、推進需求評審等;
6、掌握軟件開發與數據庫基礎知識,輔助項目實施工作;
7、負責需求變更的跟蹤管理;
8、編制項目過程文檔,完成各類匯報與項目驗收等工作,承擔培訓及后期維護工作;
9、配合項目經理,帶領團隊針對項目中的數據進行規劃、整理,掌握行業發展現狀,了解行業動態,分析政策信息。
任職要求:
1、從事水利行業需求分析等相關經驗3年以上,最好做過2個以上大中型項目(300萬以上),熟悉軟件開發者更佳;
2、本科及以上學歷,碩士研究生優先考慮;
3、有良好的計算機基礎,了解軟件設計和開發基本原理;
4、熟悉水文、水資源、地下水、水環境等業務者優先,具備應用系統初步設計能力;
5、有較強的文檔編寫能力;
6、具備良好的系統分析、邏輯思維和抽象概括的能力;
7、具備獨立工作能力和團隊合作精神,細心、責任感強;
8、 對用戶體驗方面的理論有一定的了解和認識,并能有效運用于產品設計工作中;
9、熟悉需求調研方法,有較強的業務流程及業務模型分析設計能力。
10、優先考慮具有水利行業軟件需求分析經驗的人員。
數據倉庫工程師的主要職責 篇11
職責:
對業務數據進行采集、清洗、整理、標簽、分層;
根據業務需求,應用統計學、數據挖掘等建立精準數據模型,滿足業務需求;
能從業務和產品角度出發,利用數據來發現產品或業務的瓶頸,提出優化方案;
探索業界和學術界前言的數據挖掘、機器學習理論與實踐。
任職資格:
本科及以上學歷,數學、統計學、計算機專業優先;
精通數據挖掘腳本語言,能靈活運用R、Python中的一種,熟練sklean/numpy/pandas等科學計算相關庫,有統計建模、機器學習或數據挖掘應用的項目經驗優先;
對大數據技術有深入了解,能夠使用Hadoop、spark等相關技術;
勤奮踏實,樂于學習新事物,有良好團隊合作精神和高度的責任感;
醫療、生物背景人員優先。
數據倉庫工程師的主要職責 篇12
1.與營銷、研發部門溝通協助,確定項目的milestone與MP schedule;
2.制定各個工作的詳細任務,跟蹤任務的執行情況并進行控制;
3.組織會議,對整個開發過程中的問題進行解決、檢討;
4.協調各項目參與人員之間的關系以及臨時的工作任務等。
數據倉庫工程師的主要職責 篇13
1、負責廢氣治理工程現場施工管理;
2、負責與甲方、監理方的現場溝通協調;
3、負責現場安全、技術安裝指導、質量及工期把控;
4、完成領導安排的其他工作。