大數據架構師崗位的職責內容(精選30篇)
大數據架構師崗位的職責內容 篇1
職責:
1、 負責大數據倉庫、數據集市的規劃及實現,負責大數據中臺的設計和核心開發工作;
2、 負責數據基礎架構和數據處理體系的升級和優化,不斷提升系統的穩定性和效率,為公司的業務提供大數據底層平臺的支持和保證;
3、 大數據平臺的數據采集、處理、存儲以及挖掘分析的架構實現;
4、 研究未來數據模型和計算框架的創新與落地,包括但不限于以下領域:大規模數據實時化、研發模式敏捷化、數據計算框架輕量化、數據模型組織方式業務化等方面,參與制定并實踐團隊的技術發展路線
任職資格:
1、 精通數據建模、數據標準管理、元數據管理、數據質量管理;
2、 有作為技術負責人系統化解決問題的成功案例;有海量數據實踐經驗優先;
3、 熟悉目前正在發展的大數據分布式平臺前沿技術的應用;包括但不僅僅限于:hadoop、flink、spark等;
4、 性格積極樂觀,誠信,能自我驅動,有較強的語言表達能力;具備強烈的進取心、求知欲及團隊合作精神;具有良好的溝通、團隊協作、計劃和創新的能力; 在數據業界有一定的影響力優先,具有風控經驗背景的人優先;
5、 具備獨立的深度思考能力,給出結合實際情況的較為理想的技術解決方案。
大數據架構師崗位的職責內容 篇2
職責:
1)負責大數據平臺系統架構設計、核心開發工作(Hadoop&Spark技術方向),基于業務場景設計最優的系統解決方案。
2)構架支持大數量級的數據的大數據平臺系統,及相關監控,拓展系統設計及實現。
3)利用Hadoop、Spark等大數據技術對海量數據進行處理,支持BI和數據科學(建模)的應用實現。
4)對現有系統的進行架構深入分析及系統優化,進一步提升系統的性能及數據處理能力。
任職資格
1)統招本科或以上學歷,計算機相關專業, 5年以上軟件開發經驗、3年以上大數據項目經驗。
2)具備較豐富的大數據平臺相關構建,維護及調優經驗,有大數據量級下的大數據集市相關經驗。
3)具備較豐富的基于Hadoop或Hive或Spark等大數據處理項目經驗,具備一定的數據挖掘經驗。
4) 具有阿里云的EMR(emapreduce)的經驗者優先考慮。
5)具有良好的業務理解、溝通和協作能力,具有較強的學習和總結能力。
6)優秀的團隊合作精神、誠實、勤奮、嚴謹,敢于接受挑戰。
7)機器學習技術、數據挖掘經驗豐富者優先考慮。
大數據架構師崗位的職責內容 篇3
職責:
1、對業務需求深入分析,從而進行大數據平臺核心應用的架構設計、開發和技術支持;
2、規劃業務應用系統和基礎平臺的技術架構,參與需求分析、建模、架構設計、技術決策以及詳細設計;
3、把握復雜系統的設計,確保系統的架構質量,編寫核心部分代碼;
4、帶領團隊攻克例如大數據量、高并發、高穩定性等帶來的各種挑戰及技術難關;
5、在大數據平臺建設路線圖指導下,進行架構實施和交付物投遞,同時確保研發質量和方向的準確性;
6、進行團隊技術的培訓和梯隊建設崗位要求;
任職條件:
1、本科或以上學歷,計算機相關專業,8年以上研發經驗,3年以上大數據平臺相關工作經驗;
2、精通Java開發技術,熟悉Shell、Scala語言和PYTHON優先;
3、編程基礎扎實,熟悉I/O、多線程、集群等基礎框架和原理,熟悉分布式、緩存、消息等機制;
4、熟悉常用設計模式,代碼評審規則,單元測試,持續集成;
5、熟悉AWS云服務或阿里云服務;
6、熟悉容器技術原理、生態系統,熟悉Docker、Mesos、Kubernetes等容器系統、大規模容器資源調度系統、分布式應用生命周期。
大數據架構師崗位的職責內容 篇4
職責:
負責大數據平臺的規劃和搭建、完成大數據平臺的日常運營工作,為數據分析和展現提供支持;
對系統框架相關技術和業務進行培訓,并負責核心代碼編寫,指導團隊開發及解決出現的系統問題;
參與基于大數據平臺的創新業務場景進行數據產品的架構設計,負責數據產品的研發交付;
負責處理大數據平臺的疑難問題,為數據團隊提供可靠的技術支持;
負責數據質量、穩定性等數據管理,數據內部共享融通的數據平臺,讓數據標準更規范、數據獲取更高效;
及時跟進大數據領域新技術并分享,提升團隊技術能力。
任職要求:
本科或以上學歷,5年以上數據系統建設經驗,3年以上大數據架構設計經驗;
精通 java,python,scala 等一種大數據開發語言,熟悉Hadoop生態圈,包括但不限于hdfs,hive,spark, 有豐富的大數據項目的實踐經驗;
具備創新精神,條理清晰,溝通表達和邏輯思維能力強;
熟悉數據倉庫的設計和開發,對數據架構有深入的了解和具備相關的項目實踐經驗優先;
對SQL on Hadoop 的開源查詢引擎(如Presto、 Apache Drill ) 原理有深入研究優先;
有敏捷大數據和數據可視化實踐經驗優先。
大數據架構師崗位的職責內容 篇5
職責:
1、負責大數據平臺架構的規劃與設計;
2、負責大數據平臺技術框架的選型與技術難點攻關;
3、參與企業級大數據產品和應用規劃;
4、研究跟進大數據架構領域新技術并分享;
5、大數據處理和分析應用平臺的設計指導。
任職資格:
1、 具備深厚的分布式系統或數據庫系統的理論基礎,熟悉分布式計算系統的工作機制,具有分布式文件系統、分布式數據庫系統、集群存儲系統等架構設計經驗;
2、熟悉BI平臺架構及相關項目標準,大數據解決方案包括Hadoop、Spark、Storm、機器學習等大數據平臺解決方案;
3、熟悉MySql/Postgresql/Oracle/MongoDB/Redis等主流數據數據庫;
4、 精通Linux/Unix環境,精通J java、scala、python、R中的一種或多種語言;
5、 具備優秀的團隊意識和溝通能力,學習能力和主動性強,具有鉆研精神,充滿激情,樂于接受挑戰;
6、大專及以上學歷,3年及以上工作經驗。
大數據架構師崗位的職責內容 篇6
1、負責大數據項目技術架構評估與設計;
2、負責關鍵功能的開發,技術難題的解決,以及輸出代碼的關鍵把控;
3、負責對使用關鍵技術的預研和選型,完成PoC;
4、指導工程師完成開發工作,并能分享技術經驗。
大數據架構師崗位的職責內容 篇7
職責:
1、負責大數據項目平臺架構的評估、規劃和設計
2、開發大數據平臺的核心模塊代碼,負責大數據平臺的搭建,完成系統調試、集成與實施,保證大數據產品的上線運行
3、根據業務需求整合優化數據架構,保證產品的可靠性、穩定性
4、指導開發人員完成數據模型規劃建設,分析模型構建及分析呈現
5、深入研究大數據相關技術和產品,跟進業界先進技術;
6、根據項目要求編寫相關技術文檔;
7、負責大數據平臺的架構評審,代碼評審,上線評審;參與數據應用需求、設計、審核和評審;
8、負責核心模塊研發,負責大數據平臺的搭建,完成系統調試、集成與實施;
9. 負責關鍵功能的開發,技術難題的解決,以及輸出代碼的關鍵把控;
10. 負責對使用關鍵技術的預研和選型,完成 PoC ;
11. 指導工程師完成開發工作,并能分享技術經驗。
任職資格:
1、精通Linux操作系統,熟練使用Java;
2、3年以上大數據項目實戰經驗,兩個項目的架構設計經驗,熟悉Hadoop、Hbase、Storm、Spark、Pig等開源框架,并熟悉其工作原理;
3、有Hadoop、Spark、Hbase平臺性能調優經驗;
4、熟悉其它分布式存儲相關技術,包括HDFS,Hive、Redis、Mongodb、 Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch等;
5、熟悉Java開發常用框架.如Spring、MyBatis等;
6、熟悉關系型數據庫如oracle及數據庫編程。
7、能夠根據項目情況安排人力、分配任務,具有較強的團隊管理能力。
8、碩士以上學歷,20xx年以上的工作經驗。
大數據架構師崗位的職責內容 篇8
1、負責公司大數據產品的架構設計,包含數據收集、數據存儲、數據應用,并完成相關架構設計文檔的撰寫;
2、參與規劃從數據源到數據應用的整體流程,并參與相關產品的決策;
3、負責解決核心技術問題,對技術方案進行決策;
4、負責大數據研發團隊建設、人才梯隊培養和技術團隊管理;
5、積極了解業界發展,研究與跟蹤大數據新技術發展方向。
大數據架構師崗位的職責內容 篇9
職責:
負責大數據平臺架構的規劃和設計,主導系統的架構設計和核心模塊開發,確保項目質量和關鍵性能指標達成;
負責大數據平臺技術框架的選型與技術難點攻關,指導開發大數據平臺的開發,保證大數據產品的上線運行;
負責深入理解業務需求,對業務建模,設計系統架構,滿足業務需求;
負責協助策略和算法工作,保障數據挖掘建模和工程化;
負責根據業務需求整合優化數據架構,保證產品的可靠性、穩定性;
負責指導開發人員完成數據模型規劃建設、分析模型構建及分析呈現;
負責研發技術發展方向,新技術領域的探索,將新技術應用到公司大數據平臺,提升公司效能
任職要求:
本科及以上學歷,擁有5年以上大數據平臺產品或分布式系統設計經驗,6年以上的開發經驗;
精通Hadoop,熟悉大數據生態技術,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Yarn、Sqoop、CDH、Solr 、Kylin、Impala、Hive、Hbase、Kerberos、Sentry等,有大規模集群架構、開發及運維經驗;
熟練掌握java/Scala語言,實現面向對象開發思想OOA,OOD,OOP;
熟悉linux操作系統,熟練掌握腳本言語Shell/Perl/Python等編碼語言;
熟練掌握數據倉庫設計,開發工作。能夠根據業務設計并開發數據倉。
具備源碼級問題解決和集群優化改造能力者優先;
能快速的學習新的開源框架和知識體系,并應用到現有架構體系中;
邏輯清晰,快速的學習能力,良好的溝通能力、團隊協調能力。
具備良好的團隊合作精神,較強的溝通交流能力,具備良好的技術領導能力;
具備良好的文檔撰寫能力和技術團隊管理能力
大數據架構師崗位的職責內容 篇10
1、負責公司大數據處理框架研發工作,設計與開發分布式存儲、數據處理與分析架構。
2、負責大數據平臺與產品和相關技術的追蹤及研究。
3、負責大數據的處理工作,以及業務數據提取、加載、轉換處理流程的開發和優化。
4、利用大數據平臺工具對數據維護。
5、負責相關項目的技術支持和服務。
6、持續對系統的技術架構進行改進和優化。
大數據架構師崗位的職責內容 篇11
1)負責公司軟件產品整體架構的設計和關鍵功能實現
2)負責公司架構長期看護以及優化;
3)負責軟件部門各模組間的協調配合;
4)提高鞏固軟件代碼質量;
5)負責大數據流式框架的設計、優化及部署;
6)規劃研發部門員工的技術發展路線并提供必要的幫助和指導
大數據架構師崗位的職責內容 篇12
職責:
1、數據分析軟件平臺架構搭建
2、負責深度學習核心框架或高性能后臺服務系統的架構設計工作,包括系統總體規劃、架構設計、系統分析、軟件實現、性能優化;
3、指導開發人員開發,并解決系統出現的問題,理解物業需求;
4、制定開發計劃和控制開發進度,負責指導研發團隊開展設計工作;
任職要求:
1、碩士以上,計算機或先關專業;
2、5年左右軟件開發經驗,含3年以上系統分析、設計經驗,有大型軟件項目大型軟件項目;有中大型互聯網企業數據庫架構設計及管理經驗,
3、 具備良好的組件級建模能力,熟悉HTTP、TCP等協議
4、熟練使用UML進行軟件架構設計,至少精通EA,RATIONAL, VISIO等一種設計工具.
5、精通至少一種編程語言,熟悉 Linux 相關技術,能獨立在上面進行開發、測試和部署
6、深入理解數據庫、數據倉庫、大數據、分布式體系架構和關鍵技術
大數據架構師崗位的職責內容 篇13
職責:
根據大數據業務需求,設計大數據方案及架構,實現相關功能;
搭建和維護大數據集群,保證集群規模持續、穩定、高效平穩運行;
負責大數據業務的設計和指導具體開發工作;
負責公司產品研發過程中的數據及存儲設計;
針對數據分析工作,能夠完成和指導負責業務數據建模。
職位要求:
計算機、自動化或相關專業(如統計學、數學)本科以上學歷,3年以上大數據處理相關工作經驗;
精通大數據主流框架(如 Hadoop、hive、Spark等);
熟悉 MySQL、NoSQL(MongoDB、Redis)等主流數據庫,以及rabbit MQ等隊列技術;
熟悉hadoop/spark生態的原理、特性且有實戰開發經驗;
熟悉常用的數據挖掘算法優先.
大數據架構師崗位的職責內容 篇14
職責:
1、負責大數據開發團隊建設;
2、負責行業大數據產品架構設計與研發;
3、負責帶領團隊進行行業大數據產品關鍵技術攻關。
任職要求:
1、有三年以上大數據應用、開發經驗;具備海量數據加工處理(ETL)相關經驗,對數據挖掘及機器學習有較為深刻的理解;
2、熟悉Hadoop相關技術,對HDFS、MapReduce、Hive、HBase有一定的使用和開發經驗;
3、熟悉Linux,熟練使用Shell或Python,進行腳本編寫;
4、對數據結構和數據統計分析算法有較為深刻理解;
5、掌握至少一種主流關系數據庫開發技術:Oracle、SQL Server、MySQL等;
6、掌握實時流計算技術,有Spark、Storm開發經驗者優先;
7、需要具備2年以上研發團隊管理經驗。
大數據架構師崗位的職責內容 篇15
職責:
1、負責大數據平臺的技術選型,基于Spark、Hadoop大數據平臺建設和開發;
2、完成包括數據模型設計、數據采集、數據存儲等方面的大數據系統架構的設計和數據層架構設計;
3、構建數據中臺,為多種行業應用提供主數據(畫像標簽/關系圖譜)、數據模型、人工智能業務算法及數據服務。
4、對海量數據處理的業務需求進行評估和方案設計、拆分任務并指導工程師完成開發;
5、帶領大數據技術團隊提供并實現大數據平臺上各項數據分析和數據可視化的架構設計,支撐解決方案實施。
任職要求:
1、本科及以上學歷,具有5年及以上大數據架構設計和開發經驗;2年及以上帶領團隊經驗;溝通能力強。在大型互聯網企業從事大數據架構設計者優先考慮;有分布式大型商業軟件系統設計經驗、主導過大型商業軟件的架構設計并取得過市場商業成功者優先考慮;
2、熟悉整個大數據的完整處理流程,包括數據的采集、清洗、預處理、存儲、分析挖據、機器學習和數據可視化;
3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一種主流數據庫的使用,并能進行性能調優;
4、具備優秀的團隊意識和溝通能力,學習能力和主動性強,具有鉆研精神,充滿激情,樂于接受挑戰。
大數據架構師崗位的職責內容 篇16
職責:
1、負責大數據平臺的架構設計、核心代碼開發等任務;根據項目要求編寫相關技術文檔;
2、負責大數據平臺的架構評審,代碼評審,上線評審;參與數據應用需求、設計、審核和評審;
3、負責核心模塊研發,負責大數據平臺的搭建,完成系統調試、集成與實施;
4、負責建立和維護大數據平臺技術標準規范,指導開發人員編寫代碼;
任職要求:
1、本科及以上計算機相關專業畢業;
2、精通離線和實時數據處理流程,掌握離線數據處理框架hive、impala、spark-sql等,掌握實時數據處理常用技術工具,包括Storm、SparkStreaming等;
3、熟悉大數據技術生態圈,精通大數據技術架構,有大數據平臺構建經驗;
4、掌握常見數據流接入工具,包括Flume、kafka等;
5、熟練掌握基本的Linux操作系統和某種腳本語言編程(如Shell等);
6、掌握一種或以上實時處理語言,如JAVA、SCALA、PYTHON等,有SCALA經驗者優先;
7、有實際大規模數據(TB級以上)處理經驗優先;
大數據架構師崗位的職責內容 篇17
職責:
1、負責大數據基礎平臺、海量數據存儲處理分布式平臺、數據分析系統架構設計和研發;
2、負責實時計算平臺基礎架構設計、部署、監控、優化升級;
3、制定項目數據倉庫設計及實現規范,指導設計研發和部署;
4、協助策略和算法團隊工作,保障數據挖掘建模和工程化;
5、深入研究大數據相關技術和產品,跟進業界先進技術。
任職要求:
1、3年以上大數據系統架構經驗;
2、精通Hadoop HBase Hive Spark Flink Kafka Redis技術及其生態圈;
3、具備Java Scala Python等開發經驗,熟悉數據挖掘和分析的策略與算法;
4、精通數據抽取,海量數據傳輸,數據清洗的常用方法和工具。
5、具備良好的系統分析能力、故障診斷能力;
6、有大數據策略、算法、可視化經驗優先;
7、有在華為云存儲產品和大數據產品的開發使用經驗優先。
大數據架構師崗位的職責內容 篇18
職責:
1.負責公司大數據底層框架的整體架構設計,結合公司實際業務情況進行技術選型及大數據戰略規劃;
2.負責統一數據平臺項目的整體評估、設計、架構及關鍵模塊的開發,不斷提升系統的穩定性和效率;
3.負責架構優化及系統關鍵模塊的設計開發,協助團隊解決開發過程中的技術難題;
4.建立良好的公司內外的業界技術影響力;有效輔導團隊,提升數據研發能力;
任職要求:
1.從事大數據項目相關開發和設計2年以上經驗;有作為技術負責人系統化解決問題的成功案例;有海量數據實踐經驗優先;
2.擁有一定的算法和數據結構基礎;有很強的數據設計抽象能力,善于從復雜的數據問題中找到關鍵路徑;
3.熟悉目前正在發展的大數據分布式平臺前沿技術的應用;包括但不僅僅限于:hadoop、storm、spark、等;
4. 良好的邏輯思維能力,良好的業務解讀能力,懂電力或通信業務優先;
5.具有鉆研精神,樂于接受挑戰;
大數據架構師崗位的職責內容 篇19
職責:
1.參與公司數據平臺系統規劃和架構工作,主導系統的架構設計和項目實施,確保項目質量和關鍵性能指標達成;
2.統籌和推進制造工廠內部數據系統的構建,搭建不同來源數據之間的邏輯關系,能夠為公司運營診斷、運營效率提升提供數據支持;
3.負責數據系統需求對接、各信息化系統數據對接、軟件供應商管理工作
5.根據現狀制定總體的數據治理方案及數據體系建立,包括數據采集、接入、分類、開發標準和規范,制定全鏈路數據治理方案;深入挖掘公司數據業務,超強的數據業務感知力,挖掘數據價值,推動數據變現場景的落地,為決策及業務賦能;
6.定義不同的數據應用場景,推動公司的數據可視化工作,提升公司數據分析效率和數據價值轉化。
任職要求:
1.本科以上學歷,8年以上軟件行業從業經驗,5年以上大數據架構設計經驗,熟悉BI平臺、大數據系統相關技術架構及技術標準;
2.熟悉數據倉庫、熟悉數據集市,了解數據挖掘、數據抽取、數據清洗、數據建模相關技術;
3.熟悉大數據相關技術:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;
4.熟悉制造企業信息化系統及相關數據庫技術;
5.具備大數據平臺、計算存儲平臺、可視化開發平臺經驗,具有制造企業大數據系統項目開發或實施經驗優先;
6.對數據敏感,具備優秀的業務需求分析和報告展示能力,具備制造企業數據分析和數據洞察、大數據系統的架構設計能力,了解主流的報表工具或新興的前端報表工具;
7.有較強的溝通和組織協調能力,具備結果導向思維,有相關項目管理經驗優先。
大數據架構師崗位的職責內容 篇20
職責:
1. 負責大數據基礎和應用平臺的整體規劃和架構設計,參與需求分析,架構設計,詳細設計以及技術選型決策
2. 參與數據挖掘和建模相關核心算法的代碼實現
3. 負責大數據算法平臺的技術把關,性能調優,控制架構質量,解決項目技術難題;對研發項目和任務需求進行評估和方案設計、拆分任務并指導工程師完成開發
4. 帶領團隊提供并實現大數據算法平臺上各項數據接入、數據挖掘分析及數據可視化的架構設計與能力,支持解決方案實施
5. 負責數據庫設計、應用架構設計、核心技術選型等工作
6. 協調解決開發中的技術問題、設計和監控運營指標,保障系統穩定運行
7. 培養,指導有能力的員工,指導工程師進行技術驗證實現,核心技術攻關,解決開發過程中的技術難題
任職要求:
1. 熟悉大數據和數據倉庫的系統架構設計方法
2. 熟練使用并理解HadoopSpark架構及生態。(Hadoop,Hive,Hbase,Elasticsearch,Kafka,SparkFlink等)
3. 熟悉分布式系統架構,有分布式實時、離線和機器學習平臺的架構和開發經驗,具備海量數據清洗、分析處理及存儲的實踐經驗
4. 熟練使用JAVA,具有大規模分布式系統調優經驗
5. 熟悉AI相關算法,熟悉機器學習、深度學習。熟悉AI學習開源框架(Tensorflow、PyTorch等)者優先;
6. 具備良好的團隊合作精神,對工作充滿激情。
7. 熟悉FusionInsight平臺開發經驗者優先
大數據架構師崗位的職責內容 篇21
職責
1、負責大數據架構設計,包括定義數據的存儲、集成(ETL)、應用,支撐業務運營和數據分析類需求實現;
2、制定數據治理領域的數據體系化管理措施,包括元數據設計、數據標準、數據質量、數據處理、數據安全等工作,確保數據可信與安全;
3、基于行業數據積累,滿足業務的數據挖掘需求,實現從數據到資產的轉變,根據目標行業建立具有前瞻性的數據模型;
4、對各產品的數據安全負責,主導制定和實施數據庫系統安全策略,保證整體方案數據安全;
崗位要求
業務技能要求:
1、深入理解云化、數據倉庫,在參與過的系統設計中,必須涉及這兩項關鍵技術;
n2、精通或者熟悉Hadoop體系架構,以及HDFS/HBase/Hive/MapReduce/Spark等技術,了解體系架構各組件的優缺點,有直接的產品設計與開發、部署、調優的經驗;
3、精通或熟悉常見RDBMS(Oracle / PostgreSQL / MySql)、NoSQL(Redis / Memcached/ MongoDB)、全文搜索引擎(Solr/ElasticSearch)的使用及開發,了解各數據庫優缺點, 熟悉與架構設計相關的數據存儲、性能調優等相關領域知識,有相關項目經驗尤佳;
4、熟悉業界常用的數據采集、集成、數據存儲、計算、數據模型、數據分析的技術方案,具有數據分析或數據挖掘相關經驗者優先;
n5、熟悉數據治理相關流程,包括數據接入、數據處理、數據治理、數據組織、數據服務等。
專業知識要求:
1、具備數據治理的知識與體系方案,包含政策、組織、角色、流程、規范等,以及規劃相應的支撐方案。了解業界的數據管理方法論;
2、具備數據用例設計和開發能力。能夠基于業務相關數據進行業務需求分析和痛點識別,將業務需求轉化為數據的需求,完成數據用例的設計和開發;
3、精通海量數據(日增量百億)級別數據倉庫、數據集市的構建流程。熟悉公安、政務、工業、交通、醫療等多行業業務者優先。
大數據架構師崗位的職責內容 篇22
職責:
1、從事電信行業大數據項目相關業務調研、產品標準建設、核心模型設計和優化、系統測試等相關工作
2、與數據專業委員會一起研究數據建模方案和建模工具,負責產品線產品的數據架構、數據模型設計
3、參與研究數據庫之間的數據轉換方式,參與項目中的數據移植工作,收集在項目中的數據移植經驗,優化產品的數據模型
4、負責培訓本部門隊伍的數據模型基礎理論工作,建立數據模型團隊
崗位要求:
1、統招本科學歷,3年以上主流數據上(DB2、Oracle、SQLServer、Mysql等)ETL設計、開發經驗,具備大型數據倉庫邏輯模型和物理模型設計經驗,精通SQL,有較好的SQL性能調優經驗;
2、擁有Python,R等數學建模工具的使用經驗,并具備一定的數據處理和建模經驗,可以輸出相應的模型分析結果、模型比較、模型效率以及對模型的理論和判斷依據方法并對其進行完整的解釋和說明;
3、熟悉統計學基本原理,做過實戰的數據建模項目;
4、有分布式數據倉庫建設相關經驗者優先,具備電信行業數據倉庫建設相關經驗者優先;
大數據架構師崗位的職責內容 篇23
職責:
1、負責公司的大數據平臺的數倉架構、系統架構設計;
2、負責帶領團隊完成輿情分析相關的挖掘方案設計;
3、負責大數據研發組團隊管理;
4、負責帶領團隊完成輿情平臺的方案文檔撰寫、迭代開發;
5、負責研發規范制定,研究行業前沿技術;
6、參與產品規劃及設計討論。
任職要求:
1、本科五年工作經驗及以上,有至少五年的大數據技術實踐經驗,有NLP或AI相關經驗;
2、有很強的架構設計能力和良好的表達能力;
3、有一定的項目管理及團隊管理能力;
4、精通Hadoop、Spark生態圈中的常用組件原理及應用;
6、理解媒體業務,精通數據倉庫的規劃和設計;
5、精通掌握Java或Python編程,有性能調優能力;
4、熟悉NLP算法原理及應用;
6、對新生事物或者新技術有濃厚興趣,學習能力強。
大數據架構師崗位的職責內容 篇24
職責:
1、負責公司大數據平臺架構的技術選型和技術難點攻關工作;
2、依據行業數據現狀和客戶需求,完成行業大數據的特定技術方案設計與撰寫;
3、負責研究跟進大數據架構領域新興技術并在公司內部進行分享;
4、參與公司大數據項目的技術交流、解決方案定制以及項目的招投標工作;
5、參與公司大數據項目前期的架構設計工作;
任職要求:
1、計算機及相關專業本科以上,5年以上數據類項目(數據倉庫、商務智能)實施經驗,至少2年以上大數據架構設計和開發經驗,至少主導過一個大數據平臺項目架構設計;
2、精通大數據生態圈的技術,包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具備數據統計查詢性能優化能力。熟悉星環大數據產品線及有過產品項目實施經驗者優先;
3、優秀的方案撰寫能力,思路清晰,邏輯思維強,能夠根據業務需求設計合理的解決方案;
4、精通ORACLE、DB2、mySql等主流關系型數據庫,熟悉數據倉庫建設思路和數據分層架構思想;
5. 熟練掌握java、R、python等1-2門數據挖掘開發語言;
6. 熟悉云服務平臺及微服務相關架構思想和技術路線,熟悉阿里云或騰訊云產品者優先;
7、有煙草或制造行業大數據解決方案售前經驗者優先;
8、能適應售前支持和項目實施需要的短期出差;
大數據架構師崗位的職責內容 篇25
職責:
1、搭建基于Hadoop/Spark的數據挖掘體系和大數據分析系統架構;
2、研究大數據領域前沿數據挖掘技術,并引入相應技術在數據中心的使用;
3、進行大數據系統框架設計、模型算法開發;
4、負責大型數據挖掘項目方案制定、項目實施落地及優化等 ;
5、開展數據爬取、聚類分析、輿情分析、魚骨圖分析、定價策略等領域數據挖掘工作;
任職資格:
1、本科以上學歷(持有學士學位)(985,211優先),計算機相關專業,五年工作經驗;
2、二年以上數據挖掘項目經驗,完整參與過數據挖掘大數據平臺的架構開發過程,具備互聯網行業背景優先;
3、精通分布式計算框架(hadoop、spark、Storm等)及相關經驗,熟練掌握Hive/SQL,Python,熟悉Python、R相關數值科學計算庫(NumPy,SciPy等);
4、了解傳統的BI/DW 理論,能結合傳統BI實踐設計大數據平臺;
5、熟悉常用機器學習算法(如分類、回歸、聚類、關聯規則等)及其原理,具備應用場景經驗,如用戶畫像、商品關聯度分析、輿情分析;
6、熟悉主數據、元數據、數據質量、和數據建模等數據治理相關的體系和方法;
7、具備較強的邏輯思維能力、數據敏感度,擅于利用數據發現問題及解決問題;
大數據架構師崗位的職責內容 篇26
1、建設大數據平臺,主要技術為k8s, docker;
2、跟進開源社區的更新,閱讀文檔,驗證feature;
3、閱讀容器生態圈各組件的開源項目代碼,開發新功能;
4、持續提升平臺的性能和穩定性。
大數據架構師崗位的職責內容 篇27
職責:
(1) 負責公司大數據平臺搭建,相關的設計和技術開發工作,負責大數據存儲系統、分布式計算系統、數據集成、挖掘算法等的設計、研發以及維護、優化工作;
(2) 通過數據分析技術,挖掘有利于營銷中各業務場景的變量或規則類標簽,以提升模型效果,為文旅、教育業務提供數學模型理論及編程支撐;
(3) 對接溝通業務系統研發團隊和產品部門,提供數據驅動方面的專業咨詢方案,并對業務的大數據應用場景提出建設性意見;
(4) 配合部門領導進行項目需求分析、設計開發工作。
任職要求:
(1) 計算機、統計學,數學等相關專業本科以上學歷,5年以上大數據或文旅、教育數據產品設計開發經驗,高效高質量產出需求和技術文檔;
(2) 精通Hadoop,熟悉大數據生態技術,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等,有大規模集群架構、開發及運維經驗;熟悉HDFS/MapReduce等;
(3) 熟悉Java,能夠獨立應用python、R、SAS或類似分析工具進行數據分析;
(4) 熟悉大數據挖掘、可視化分析,各種BI算法和產品等,在計算廣告、搜索引擎、推薦系統、用戶畫像等有一個或多個算法領域的研發經驗,能夠運用數據作為產品解決業務方運營及決策問題;
(5) 有互聯網行業工作經驗者優先,有海量數據的機器學習算法實踐經驗優先;
(6) 工作認真、負責,有良好的團隊合作精神,良好的分析能力、溝通技巧。
大數據架構師崗位的職責內容 篇28
職責:
1、負責面向政府信領域的企業(不限于)大數據平臺、大數據應用等系統的架構設計、技術規劃、技術選型
2、跟進業界大數據技術發展動態,匹配行業應用訴求,制定大數據策略,提前識別關鍵技術并完成技術驗證;
3、支撐售前完成項目解決方案技術架構的設計及重要客戶的交流;
4、負責指導研發完成大數據產品的開發
5、帶領團隊進行產品核心技術的創新和積累
崗位要求:
1、熟悉BI和大數據領域的解決方案,具備該領域全面的技術積累,包括報表平臺,OLAP引擎和DB,ETL,數據倉庫建模和設計,海量分布式數據處理分析架構;
2、在大數據處理和分析領域具有3年或者以上的技術規劃、架構設計經驗,并有成功的項目實踐;
3、4年以上Hadoop實戰經驗,熟悉Hadoop底層文件系統及分布式計算框架,具備傳統數據倉庫、MPP、Hadoop等混搭平臺架構的設計能力和數據建模能力,對大規模數據并行計算、傳輸、處理等有豐富的經驗;
4、有實際應用storm、spark、flume、kafka等項目經驗優先;
5、卓越的技術領導力,善于溝通、發現和解決產品需求階段、開發階段和測試階段的問題,并能提供合理解決方案,有大中型互聯網企業工作背景優先。
大數據架構師崗位的職責內容 篇29
職責:
負責公司大數據產品架構的設計與實現;
配合大數據產品經理完成產品的快速研發與交付;
負責大數據產品架構的持續優化設計;
負責大數據產品核心組件設計;
負責大數據相關數據架構規劃、數據建模、數據庫設計以及大數據產品研發工作;
為應用開發團隊提供技術支撐。
任職要求:
本科及以上學歷,3年以上的大數據開發經驗、
2年以上大數據架構設計經驗;
豐富的JAVA研發經驗,精通JAVA,熟悉Python Scala等編程語言;具備深厚的分布式系統或數據庫系統的理論基礎,熟悉分布式計算系統的工作機制,具有分布式文件系統、分布式數據庫系統、集群存儲系統等架構設計經驗;
熟悉整個大數據的完整處理流程(數據的采集、清洗、預處理、存儲、分析挖掘、機器學習和數據可視化);
精通各種大數據相關技術體系:Hadoop、Spark、Storm、ElasticSearch、Kafka;
有數據挖掘、機器學習相關應用或研究背景;
溝通能力較好,積極主動意識較強,責任心較強。
大數據架構師崗位的職責內容 篇30
1、數據分析軟件平臺架構搭建
2、負責深度學習核心框架或高性能后臺服務系統的架構設計工作,包括系統總體規劃、架構設計、系統分析、軟件實現、性能優化;
3、指導開發人員開發,并解決系統出現的問題,理解物業需求;
4、制定開發計劃和控制開發進度,負責指導研發團隊開展設計工作;