大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述(精選15篇)
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇1
職責(zé):
1、負(fù)責(zé)公司大數(shù)據(jù)平臺架構(gòu)的技術(shù)選型和技術(shù)難點(diǎn)攻關(guān)工作;
2、依據(jù)行業(yè)數(shù)據(jù)現(xiàn)狀和客戶需求,完成行業(yè)大數(shù)據(jù)的特定技術(shù)方案設(shè)計與撰寫;
3、負(fù)責(zé)研究跟進(jìn)大數(shù)據(jù)架構(gòu)領(lǐng)域新興技術(shù)并在公司內(nèi)部進(jìn)行分享;
4、參與公司大數(shù)據(jù)項目的技術(shù)交流、解決方案定制以及項目的招投標(biāo)工作;
5、參與公司大數(shù)據(jù)項目前期的架構(gòu)設(shè)計工作;
任職要求:
1、計算機(jī)及相關(guān)專業(yè)本科以上,5年以上數(shù)據(jù)類項目(數(shù)據(jù)倉庫、商務(wù)智能)實(shí)施經(jīng)驗,至少2年以上大數(shù)據(jù)架構(gòu)設(shè)計和開發(fā)經(jīng)驗,至少主導(dǎo)過一個大數(shù)據(jù)平臺項目架構(gòu)設(shè)計;
2、精通大數(shù)據(jù)生態(tài)圈的技術(shù),包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具備數(shù)據(jù)統(tǒng)計查詢性能優(yōu)化能力。熟悉星環(huán)大數(shù)據(jù)產(chǎn)品線及有過產(chǎn)品項目實(shí)施經(jīng)驗者優(yōu)先;
3、優(yōu)秀的方案撰寫能力,思路清晰,邏輯思維強(qiáng),能夠根據(jù)業(yè)務(wù)需求設(shè)計合理的解決方案;
4、精通ORACLE、DB2、mySql等主流關(guān)系型數(shù)據(jù)庫,熟悉數(shù)據(jù)倉庫建設(shè)思路和數(shù)據(jù)分層架構(gòu)思想;
5. 熟練掌握java、R、python等1-2門數(shù)據(jù)挖掘開發(fā)語言;
6. 熟悉云服務(wù)平臺及微服務(wù)相關(guān)架構(gòu)思想和技術(shù)路線,熟悉阿里云或騰訊云產(chǎn)品者優(yōu)先;
7、有煙草或制造行業(yè)大數(shù)據(jù)解決方案售前經(jīng)驗者優(yōu)先;
8、能適應(yīng)售前支持和項目實(shí)施需要的短期出差;
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇2
職責(zé):
1、負(fù)責(zé)規(guī)劃大數(shù)據(jù)平臺及應(yīng)用產(chǎn)品的需求和技術(shù)方案設(shè)計;
2、負(fù)責(zé)數(shù)據(jù)對接和對外服務(wù)設(shè)計、開發(fā)和維護(hù),并能保證質(zhì)量和性能;
3、負(fù)責(zé)基于大數(shù)據(jù)平臺的應(yīng)用設(shè)計、開發(fā)和維護(hù);
4、能從系統(tǒng)全局和各子系統(tǒng)的角度思考可能存在的問題,并提出改進(jìn)方案建議;
任職要求:
1、大學(xué)本科6年以上工作經(jīng)驗,計算機(jī)相關(guān)專業(yè)。
2、至少4年以上的Java開發(fā)經(jīng)驗,3年以上大數(shù)據(jù)應(yīng)用系統(tǒng)的開發(fā)和設(shè)計經(jīng)驗。
3、熟悉Hadoop生態(tài)圈技術(shù)體系, 對離線計算、內(nèi)存計算和流式計算均有深刻理解, 如Hadoop、Storm、Spark三個中的任意二個, 能進(jìn)行平臺和組件優(yōu)化。
4、精通Hive、HBase倉庫設(shè)計,深刻理解MR運(yùn)行原理和機(jī)制,能進(jìn)行以提供高任務(wù)執(zhí)行效率的優(yōu)化。
5、精通Java開發(fā),熟悉JVM調(diào)優(yōu), 對GC有深刻理解。
6、熟悉Linux、Shell、Kafka、Oracle、Mysql、Redis等相關(guān)技術(shù), 能進(jìn)行hbase可靠性診斷和維護(hù)。
7、快速研究和學(xué)習(xí)技術(shù)能力。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇3
職責(zé):
1、 基于公司大數(shù)據(jù)基礎(chǔ)和數(shù)據(jù)資產(chǎn)積累,負(fù)責(zé)大數(shù)據(jù)應(yīng)用整體技術(shù)架構(gòu)的設(shè)計、優(yōu)化,建設(shè)大數(shù)據(jù)能力開放平臺;負(fù)責(zé)大數(shù)據(jù)應(yīng)用產(chǎn)品的架構(gòu)設(shè)計、技術(shù)把控工作。
2、 負(fù)責(zé)制定大數(shù)據(jù)應(yīng)用系統(tǒng)的數(shù)據(jù)安全管控體系和數(shù)據(jù)使用規(guī)范。
3、 作為大數(shù)據(jù)技術(shù)方案到產(chǎn)品實(shí)現(xiàn)的技術(shù)負(fù)責(zé)人,負(fù)責(zé)關(guān)鍵技術(shù)點(diǎn)攻堅工作,負(fù)責(zé)內(nèi)部技術(shù)推廣、培訓(xùn)及知識轉(zhuǎn)移工作。
4、 負(fù)責(zé)大數(shù)據(jù)系統(tǒng)研發(fā)項目任務(wù)規(guī)劃、整體進(jìn)度、風(fēng)險把控,有效協(xié)同團(tuán)隊成員并組織跨團(tuán)隊技術(shù)協(xié)作,保證項目質(zhì)量與進(jìn)度。
5、 負(fù)責(zé)提升產(chǎn)品技術(shù)團(tuán)隊的技術(shù)影響力,針對新人、普通開發(fā)人員進(jìn)行有效輔導(dǎo),幫助其快速成長。
任職資格:
1、 計算機(jī)、數(shù)學(xué)或相關(guān)專業(yè)本科以上學(xué)歷,5-20xx年工作經(jīng)驗,具有大型系統(tǒng)的技術(shù)架構(gòu)\應(yīng)用架構(gòu)\數(shù)據(jù)架構(gòu)相關(guān)的實(shí)踐工作經(jīng)驗。
2、 有分布式系統(tǒng)分析及架構(gòu)設(shè)計經(jīng)驗,熟悉基于計算集群的軟件系統(tǒng)架構(gòu)和實(shí)施經(jīng)驗。
3、 掌握Hadoop/Spark/Storm生態(tài)圈的主流技術(shù)及產(chǎn)品,深入了解Hadoop/Spark/Storm生態(tài)圈產(chǎn)品的工作原理及應(yīng)用場景。
4、 掌握Mysql/Oracle等常用關(guān)系型數(shù)據(jù)庫,能夠?qū)QL進(jìn)行優(yōu)化。
5、 熟悉分布式系統(tǒng)基礎(chǔ)設(shè)施中常用的技術(shù),如緩存(Varnish、Memcache、Redis)、消息中間件(Rabbit MQ、Active MQ、Kafka、NSQ)等;有實(shí)踐經(jīng)驗者優(yōu)先。
6、 熟悉Linux,Java基礎(chǔ)扎實(shí),至少3-5年以上Java應(yīng)用開發(fā)經(jīng)驗,熟悉常用的設(shè)計模式和開源框架。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇4
職責(zé):
1、負(fù)責(zé)面向政府信領(lǐng)域的企業(yè)(不限于)大數(shù)據(jù)平臺、大數(shù)據(jù)應(yīng)用等系統(tǒng)的架構(gòu)設(shè)計、技術(shù)規(guī)劃、技術(shù)選型
2、跟進(jìn)業(yè)界大數(shù)據(jù)技術(shù)發(fā)展動態(tài),匹配行業(yè)應(yīng)用訴求,制定大數(shù)據(jù)策略,提前識別關(guān)鍵技術(shù)并完成技術(shù)驗證;
3、支撐售前完成項目解決方案技術(shù)架構(gòu)的設(shè)計及重要客戶的交流;
4、負(fù)責(zé)指導(dǎo)研發(fā)完成大數(shù)據(jù)產(chǎn)品的開發(fā)
5、帶領(lǐng)團(tuán)隊進(jìn)行產(chǎn)品核心技術(shù)的創(chuàng)新和積累
崗位要求:
1、熟悉BI和大數(shù)據(jù)領(lǐng)域的解決方案,具備該領(lǐng)域全面的技術(shù)積累,包括報表平臺,OLAP引擎和DB,ETL,數(shù)據(jù)倉庫建模和設(shè)計,海量分布式數(shù)據(jù)處理分析架構(gòu);
2、在大數(shù)據(jù)處理和分析領(lǐng)域具有3年或者以上的技術(shù)規(guī)劃、架構(gòu)設(shè)計經(jīng)驗,并有成功的項目實(shí)踐;
3、4年以上Hadoop實(shí)戰(zhàn)經(jīng)驗,熟悉Hadoop底層文件系統(tǒng)及分布式計算框架,具備傳統(tǒng)數(shù)據(jù)倉庫、MPP、Hadoop等混搭平臺架構(gòu)的設(shè)計能力和數(shù)據(jù)建模能力,對大規(guī)模數(shù)據(jù)并行計算、傳輸、處理等有豐富的經(jīng)驗;
4、有實(shí)際應(yīng)用storm、spark、flume、kafka等項目經(jīng)驗優(yōu)先;
5、卓越的技術(shù)領(lǐng)導(dǎo)力,善于溝通、發(fā)現(xiàn)和解決產(chǎn)品需求階段、開發(fā)階段和測試階段的問題,并能提供合理解決方案,有大中型互聯(lián)網(wǎng)企業(yè)工作背景優(yōu)先。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇5
職責(zé):
1、負(fù)責(zé)相關(guān)開源系統(tǒng)/組件的性能、穩(wěn)定性、可靠性等方面的深度優(yōu)化;
2、負(fù)責(zé)解決項目上線后生產(chǎn)環(huán)境的各種實(shí)際問題,保障大數(shù)據(jù)平臺在生產(chǎn)上的安全、平穩(wěn)運(yùn)行;
3、推動優(yōu)化跨部門的業(yè)務(wù)流程, 參與業(yè)務(wù)部門的技術(shù)方案設(shè)計、評審、指導(dǎo);
4、負(fù)責(zé)技術(shù)團(tuán)隊人員培訓(xùn)、人員成長指導(dǎo)。
5、應(yīng)項目要求本月辦公地址在錦江區(qū)金石路316號新希望中鼎國際辦公,月底項目結(jié)束后在總部公司辦公
任職要求:
1、熟悉linux、JVM底層原理,能作為技術(shù)擔(dān)當(dāng),解決核心技術(shù)問題;
2、3年以上大數(shù)據(jù)平臺項目架構(gòu)或開發(fā)經(jīng)驗,對大數(shù)據(jù)生態(tài)技術(shù)體系有全面了解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;
3、掌握git、maven、gradle、junit等工具和實(shí)踐, 注重文檔管理、注重工程規(guī)范優(yōu)先;
4、熟悉Java后臺開發(fā)體系,具備微服務(wù)架構(gòu)的項目實(shí)施經(jīng)驗,有Dubbo/Spring cloud微服務(wù)架構(gòu)設(shè)計經(jīng)驗優(yōu)先;
5、性格開朗、善于溝通,有極強(qiáng)的技術(shù)敏感性和自我驅(qū)動學(xué)習(xí)能力,注重團(tuán)隊意識。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇6
職責(zé):
負(fù)責(zé)公司大數(shù)據(jù)產(chǎn)品架構(gòu)的設(shè)計與實(shí)現(xiàn);
配合大數(shù)據(jù)產(chǎn)品經(jīng)理完成產(chǎn)品的快速研發(fā)與交付;
負(fù)責(zé)大數(shù)據(jù)產(chǎn)品架構(gòu)的持續(xù)優(yōu)化設(shè)計;
負(fù)責(zé)大數(shù)據(jù)產(chǎn)品核心組件設(shè)計;
負(fù)責(zé)大數(shù)據(jù)相關(guān)數(shù)據(jù)架構(gòu)規(guī)劃、數(shù)據(jù)建模、數(shù)據(jù)庫設(shè)計以及大數(shù)據(jù)產(chǎn)品研發(fā)工作;
為應(yīng)用開發(fā)團(tuán)隊提供技術(shù)支撐。
任職要求:
本科及以上學(xué)歷,3年以上的大數(shù)據(jù)開發(fā)經(jīng)驗、
2年以上大數(shù)據(jù)架構(gòu)設(shè)計經(jīng)驗;
豐富的JAVA研發(fā)經(jīng)驗,精通JAVA,熟悉Python Scala等編程語言;具備深厚的分布式系統(tǒng)或數(shù)據(jù)庫系統(tǒng)的理論基礎(chǔ),熟悉分布式計算系統(tǒng)的工作機(jī)制,具有分布式文件系統(tǒng)、分布式數(shù)據(jù)庫系統(tǒng)、集群存儲系統(tǒng)等架構(gòu)設(shè)計經(jīng)驗;
熟悉整個大數(shù)據(jù)的完整處理流程(數(shù)據(jù)的采集、清洗、預(yù)處理、存儲、分析挖掘、機(jī)器學(xué)習(xí)和數(shù)據(jù)可視化);
精通各種大數(shù)據(jù)相關(guān)技術(shù)體系:Hadoop、Spark、Storm、ElasticSearch、Kafka;
有數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)相關(guān)應(yīng)用或研究背景;
溝通能力較好,積極主動意識較強(qiáng),責(zé)任心較強(qiáng)。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇7
1. 負(fù)責(zé)數(shù)瀾大數(shù)據(jù)平臺的架構(gòu)設(shè)計和研發(fā),建立數(shù)據(jù)生態(tài)服務(wù),解決海量數(shù)據(jù)面臨的挑戰(zhàn);
2. 管理和優(yōu)化Hadoop、Spark等集群,計算作業(yè)的調(diào)優(yōu),保證集群和平臺的高效和穩(wěn)定;
3. 負(fù)責(zé)Hadoop、Spark、Flink的功能、性能和擴(kuò)展,解決并實(shí)現(xiàn)業(yè)務(wù)需求;
4. 負(fù)責(zé)大數(shù)據(jù)產(chǎn)品的自動化、離線與實(shí)時計算、即席計算、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、機(jī)器學(xué)習(xí)等平臺的設(shè)計和開發(fā);
5. 調(diào)研和把握當(dāng)前的最新技術(shù),將其中的先進(jìn)技術(shù)引入到自己的平臺中,改善產(chǎn)品,提升競爭力;
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇8
職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)平臺的技術(shù)選型,基于Spark、Hadoop大數(shù)據(jù)平臺建設(shè)和開發(fā);
2、完成包括數(shù)據(jù)模型設(shè)計、數(shù)據(jù)采集、數(shù)據(jù)存儲等方面的大數(shù)據(jù)系統(tǒng)架構(gòu)的設(shè)計和數(shù)據(jù)層架構(gòu)設(shè)計;
3、構(gòu)建數(shù)據(jù)中臺,為多種行業(yè)應(yīng)用提供主數(shù)據(jù)(畫像標(biāo)簽/關(guān)系圖譜)、數(shù)據(jù)模型、人工智能業(yè)務(wù)算法及數(shù)據(jù)服務(wù)。
4、對海量數(shù)據(jù)處理的業(yè)務(wù)需求進(jìn)行評估和方案設(shè)計、拆分任務(wù)并指導(dǎo)工程師完成開發(fā);
5、帶領(lǐng)大數(shù)據(jù)技術(shù)團(tuán)隊提供并實(shí)現(xiàn)大數(shù)據(jù)平臺上各項數(shù)據(jù)分析和數(shù)據(jù)可視化的架構(gòu)設(shè)計,支撐解決方案實(shí)施。
任職要求:
1、本科及以上學(xué)歷,具有5年及以上大數(shù)據(jù)架構(gòu)設(shè)計和開發(fā)經(jīng)驗;2年及以上帶領(lǐng)團(tuán)隊經(jīng)驗;溝通能力強(qiáng)。在大型互聯(lián)網(wǎng)企業(yè)從事大數(shù)據(jù)架構(gòu)設(shè)計者優(yōu)先考慮;有分布式大型商業(yè)軟件系統(tǒng)設(shè)計經(jīng)驗、主導(dǎo)過大型商業(yè)軟件的架構(gòu)設(shè)計并取得過市場商業(yè)成功者優(yōu)先考慮;
2、熟悉整個大數(shù)據(jù)的完整處理流程,包括數(shù)據(jù)的采集、清洗、預(yù)處理、存儲、分析挖據(jù)、機(jī)器學(xué)習(xí)和數(shù)據(jù)可視化;
3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一種主流數(shù)據(jù)庫的使用,并能進(jìn)行性能調(diào)優(yōu);
4、具備優(yōu)秀的團(tuán)隊意識和溝通能力,學(xué)習(xí)能力和主動性強(qiáng),具有鉆研精神,充滿激情,樂于接受挑戰(zhàn)。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇9
職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)基礎(chǔ)平臺、海量數(shù)據(jù)存儲處理分布式平臺、數(shù)據(jù)分析系統(tǒng)架構(gòu)設(shè)計和研發(fā);
2、負(fù)責(zé)實(shí)時計算平臺基礎(chǔ)架構(gòu)設(shè)計、部署、監(jiān)控、優(yōu)化升級;
3、制定項目數(shù)據(jù)倉庫設(shè)計及實(shí)現(xiàn)規(guī)范,指導(dǎo)設(shè)計研發(fā)和部署;
4、協(xié)助策略和算法團(tuán)隊工作,保障數(shù)據(jù)挖掘建模和工程化;
5、深入研究大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品,跟進(jìn)業(yè)界先進(jìn)技術(shù)。
任職要求:
1、3年以上大數(shù)據(jù)系統(tǒng)架構(gòu)經(jīng)驗;
2、精通Hadoop HBase Hive Spark Flink Kafka Redis技術(shù)及其生態(tài)圈;
3、具備Java Scala Python等開發(fā)經(jīng)驗,熟悉數(shù)據(jù)挖掘和分析的策略與算法;
4、精通數(shù)據(jù)抽取,海量數(shù)據(jù)傳輸,數(shù)據(jù)清洗的常用方法和工具。
5、具備良好的系統(tǒng)分析能力、故障診斷能力;
6、有大數(shù)據(jù)策略、算法、可視化經(jīng)驗優(yōu)先;
7、有在華為云存儲產(chǎn)品和大數(shù)據(jù)產(chǎn)品的開發(fā)使用經(jīng)驗優(yōu)先。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇10
職責(zé):
1、對業(yè)務(wù)需求深入分析,從而進(jìn)行大數(shù)據(jù)平臺核心應(yīng)用的架構(gòu)設(shè)計、開發(fā)和技術(shù)支持;
2、規(guī)劃業(yè)務(wù)應(yīng)用系統(tǒng)和基礎(chǔ)平臺的技術(shù)架構(gòu),參與需求分析、建模、架構(gòu)設(shè)計、技術(shù)決策以及詳細(xì)設(shè)計;
3、把握復(fù)雜系統(tǒng)的設(shè)計,確保系統(tǒng)的架構(gòu)質(zhì)量,編寫核心部分代碼;
4、帶領(lǐng)團(tuán)隊攻克例如大數(shù)據(jù)量、高并發(fā)、高穩(wěn)定性等帶來的各種挑戰(zhàn)及技術(shù)難關(guān);
5、在大數(shù)據(jù)平臺建設(shè)路線圖指導(dǎo)下,進(jìn)行架構(gòu)實(shí)施和交付物投遞,同時確保研發(fā)質(zhì)量和方向的準(zhǔn)確性;
6、進(jìn)行團(tuán)隊技術(shù)的培訓(xùn)和梯隊建設(shè)崗位要求;
任職條件:
1、本科或以上學(xué)歷,計算機(jī)相關(guān)專業(yè),8年以上研發(fā)經(jīng)驗,3年以上大數(shù)據(jù)平臺相關(guān)工作經(jīng)驗;
2、精通Java開發(fā)技術(shù),熟悉Shell、Scala語言和PYTHON優(yōu)先;
3、編程基礎(chǔ)扎實(shí),熟悉I/O、多線程、集群等基礎(chǔ)框架和原理,熟悉分布式、緩存、消息等機(jī)制;
4、熟悉常用設(shè)計模式,代碼評審規(guī)則,單元測試,持續(xù)集成;
5、熟悉AWS云服務(wù)或阿里云服務(wù);
6、熟悉容器技術(shù)原理、生態(tài)系統(tǒng),熟悉Docker、Mesos、Kubernetes等容器系統(tǒng)、大規(guī)模容器資源調(diào)度系統(tǒng)、分布式應(yīng)用生命周期。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇11
職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)平臺架構(gòu)的規(guī)劃與設(shè)計;
2、負(fù)責(zé)大數(shù)據(jù)平臺技術(shù)框架的選型與技術(shù)難點(diǎn)攻關(guān);
3、參與企業(yè)級大數(shù)據(jù)產(chǎn)品和應(yīng)用規(guī)劃;
4、研究跟進(jìn)大數(shù)據(jù)架構(gòu)領(lǐng)域新技術(shù)并分享;
5、大數(shù)據(jù)處理和分析應(yīng)用平臺的設(shè)計指導(dǎo)。
任職資格:
1、 具備深厚的分布式系統(tǒng)或數(shù)據(jù)庫系統(tǒng)的理論基礎(chǔ),熟悉分布式計算系統(tǒng)的工作機(jī)制,具有分布式文件系統(tǒng)、分布式數(shù)據(jù)庫系統(tǒng)、集群存儲系統(tǒng)等架構(gòu)設(shè)計經(jīng)驗;
2、熟悉BI平臺架構(gòu)及相關(guān)項目標(biāo)準(zhǔn),大數(shù)據(jù)解決方案包括Hadoop、Spark、Storm、機(jī)器學(xué)習(xí)等大數(shù)據(jù)平臺解決方案;
3、熟悉MySql/Postgresql/Oracle/MongoDB/Redis等主流數(shù)據(jù)數(shù)據(jù)庫;
4、 精通Linux/Unix環(huán)境,精通J java、scala、python、R中的一種或多種語言;
5、 具備優(yōu)秀的團(tuán)隊意識和溝通能力,學(xué)習(xí)能力和主動性強(qiáng),具有鉆研精神,充滿激情,樂于接受挑戰(zhàn);
6、大專及以上學(xué)歷,3年及以上工作經(jīng)驗。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇12
職責(zé):
1.負(fù)責(zé)過多個大數(shù)據(jù)項目的架構(gòu);
2.精通Hadoop、Spark, HBase等主流的大數(shù)據(jù)平臺、精通各組件優(yōu)化設(shè)計原理;
3.精通大數(shù)據(jù)實(shí)時流式處理的設(shè)計和應(yīng)用;
3.熟悉大數(shù)據(jù)平臺調(diào)優(yōu),具備大數(shù)據(jù)生產(chǎn)平臺調(diào)優(yōu)經(jīng)驗;
4.金融行業(yè),運(yùn)營商行業(yè)大數(shù)據(jù)架構(gòu)經(jīng)驗更優(yōu);
5.研究大數(shù)據(jù)技術(shù)的最新發(fā)展,并引入到公司技術(shù)架構(gòu);
6.指導(dǎo)大數(shù)據(jù)工程師的日常工作,并培養(yǎng)技術(shù)骨干。
任職資格:
1.計算機(jī)相關(guān)專業(yè)本科或以上學(xué)歷;
2.具有5年以上大數(shù)據(jù)相關(guān)開發(fā)經(jīng)驗;
3.具有2年以上帶團(tuán)隊經(jīng)驗
4.對Hadoop/Hive/Spark/HBase/ES等等大數(shù)據(jù)常用技術(shù)有深刻理解,能夠帶領(lǐng)團(tuán)隊進(jìn)行技術(shù)攻堅,完成中間件的實(shí)施、改造、調(diào)優(yōu);
5.精通海量數(shù)據(jù)和實(shí)時數(shù)據(jù)的分析處理,能對線上的數(shù)據(jù)處理性能問題做調(diào)優(yōu);
6.精通數(shù)據(jù)倉庫以及維度建模原理,有大型數(shù)據(jù)倉庫建設(shè)經(jīng)驗;
7.精通關(guān)系型數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫的使用,熟悉相關(guān)理論;
8.溝通順暢,重點(diǎn)突出,高效。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇13
職責(zé):
根據(jù)大數(shù)據(jù)業(yè)務(wù)需求,設(shè)計大數(shù)據(jù)方案及架構(gòu),實(shí)現(xiàn)相關(guān)功能;
搭建和維護(hù)大數(shù)據(jù)集群,保證集群規(guī)模持續(xù)、穩(wěn)定、高效平穩(wěn)運(yùn)行;
負(fù)責(zé)大數(shù)據(jù)業(yè)務(wù)的設(shè)計和指導(dǎo)具體開發(fā)工作;
負(fù)責(zé)公司產(chǎn)品研發(fā)過程中的數(shù)據(jù)及存儲設(shè)計;
針對數(shù)據(jù)分析工作,能夠完成和指導(dǎo)負(fù)責(zé)業(yè)務(wù)數(shù)據(jù)建模。
職位要求:
計算機(jī)、自動化或相關(guān)專業(yè)(如統(tǒng)計學(xué)、數(shù)學(xué))本科以上學(xué)歷,3年以上大數(shù)據(jù)處理相關(guān)工作經(jīng)驗;
精通大數(shù)據(jù)主流框架(如 Hadoop、hive、Spark等);
熟悉 MySQL、NoSQL(MongoDB、Redis)等主流數(shù)據(jù)庫,以及rabbit MQ等隊列技術(shù);
熟悉hadoop/spark生態(tài)的原理、特性且有實(shí)戰(zhàn)開發(fā)經(jīng)驗;
熟悉常用的數(shù)據(jù)挖掘算法優(yōu)先.
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇14
職責(zé):
負(fù)責(zé)大數(shù)據(jù)平臺架構(gòu)的規(guī)劃和設(shè)計,主導(dǎo)系統(tǒng)的架構(gòu)設(shè)計和核心模塊開發(fā),確保項目質(zhì)量和關(guān)鍵性能指標(biāo)達(dá)成;
負(fù)責(zé)大數(shù)據(jù)平臺技術(shù)框架的選型與技術(shù)難點(diǎn)攻關(guān),指導(dǎo)開發(fā)大數(shù)據(jù)平臺的開發(fā),保證大數(shù)據(jù)產(chǎn)品的上線運(yùn)行;
負(fù)責(zé)深入理解業(yè)務(wù)需求,對業(yè)務(wù)建模,設(shè)計系統(tǒng)架構(gòu),滿足業(yè)務(wù)需求;
負(fù)責(zé)協(xié)助策略和算法工作,保障數(shù)據(jù)挖掘建模和工程化;
負(fù)責(zé)根據(jù)業(yè)務(wù)需求整合優(yōu)化數(shù)據(jù)架構(gòu),保證產(chǎn)品的可靠性、穩(wěn)定性;
負(fù)責(zé)指導(dǎo)開發(fā)人員完成數(shù)據(jù)模型規(guī)劃建設(shè)、分析模型構(gòu)建及分析呈現(xiàn);
負(fù)責(zé)研發(fā)技術(shù)發(fā)展方向,新技術(shù)領(lǐng)域的探索,將新技術(shù)應(yīng)用到公司大數(shù)據(jù)平臺,提升公司效能
任職要求:
本科及以上學(xué)歷,擁有5年以上大數(shù)據(jù)平臺產(chǎn)品或分布式系統(tǒng)設(shè)計經(jīng)驗,6年以上的開發(fā)經(jīng)驗;
精通Hadoop,熟悉大數(shù)據(jù)生態(tài)技術(shù),如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Yarn、Sqoop、CDH、Solr 、Kylin、Impala、Hive、Hbase、Kerberos、Sentry等,有大規(guī)模集群架構(gòu)、開發(fā)及運(yùn)維經(jīng)驗;
熟練掌握java/Scala語言,實(shí)現(xiàn)面向?qū)ο箝_發(fā)思想OOA,OOD,OOP;
熟悉linux操作系統(tǒng),熟練掌握腳本言語Shell/Perl/Python等編碼語言;
熟練掌握數(shù)據(jù)倉庫設(shè)計,開發(fā)工作。能夠根據(jù)業(yè)務(wù)設(shè)計并開發(fā)數(shù)據(jù)倉。
具備源碼級問題解決和集群優(yōu)化改造能力者優(yōu)先;
能快速的學(xué)習(xí)新的開源框架和知識體系,并應(yīng)用到現(xiàn)有架構(gòu)體系中;
邏輯清晰,快速的學(xué)習(xí)能力,良好的溝通能力、團(tuán)隊協(xié)調(diào)能力。
具備良好的團(tuán)隊合作精神,較強(qiáng)的溝通交流能力,具備良好的技術(shù)領(lǐng)導(dǎo)能力;
具備良好的文檔撰寫能力和技術(shù)團(tuán)隊管理能力
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇15
職責(zé):
1、大數(shù)據(jù)平臺的規(guī)劃、設(shè)計、實(shí)施,并優(yōu)化數(shù)據(jù)庫;
2、對數(shù)據(jù)庫進(jìn)行管理,負(fù)責(zé)數(shù)據(jù)庫應(yīng)用系統(tǒng)的運(yùn)營及監(jiān)控;
3、對數(shù)據(jù)庫性能分析與調(diào)優(yōu),排錯,保證數(shù)據(jù)正確率;
4、配合其他部門進(jìn)行的數(shù)據(jù)處理、查詢,統(tǒng)計和分析工作;
5、完成公司下達(dá)的項目開發(fā)任務(wù)。
任職要求:
1、計算機(jī)及相關(guān)專業(yè)本科以上學(xué)歷,5年以上軟件開發(fā)從業(yè)經(jīng)驗,其中包括至少2年以上的大數(shù)據(jù)開發(fā)工作經(jīng)驗;
2、熟悉hive,hadoop/spark,hbase等大數(shù)據(jù)相關(guān)技術(shù)架構(gòu),有管理或優(yōu)化大型分布式集群經(jīng)驗;
3、熟悉linux基本命令,精通SQL腳本的編寫,有豐富的數(shù)據(jù)庫管理、運(yùn)維調(diào)優(yōu)經(jīng)驗;
4、熟悉C++、Java、C#等開發(fā)語言;
5、有互聯(lián)網(wǎng)電商行業(yè)大數(shù)據(jù)分析處理和大型數(shù)據(jù)倉庫的設(shè)計和實(shí)施經(jīng)驗;
6、有分布式系統(tǒng)分析及架構(gòu)設(shè)計經(jīng)驗和大型計算集群的基礎(chǔ)設(shè)施開發(fā)維護(hù)經(jīng)驗;
7、快速處理系統(tǒng)突發(fā)事件的能力,較強(qiáng)的學(xué)習(xí)和創(chuàng)新能力;
8、良好的溝通能力和團(tuán)隊合作精神。