數據采集工程師崗位職責（精選30篇）

數據采集工程師崗位職責 篇1

　　1.負責工業設備組網及數據采集方案設計；

　　2.負責設計方案所需傳感器、儀表選型，布線圖、數據存儲方式、數據表等詳細設計；

　　3.負責與設備廠商、數控系統廠商進行業務協議、通信協議及接口協調；

　　4.負責現場數據采集相關軟硬件安裝調試；

　　5.負責和用戶現場對口協調、技術指導及現場培訓。

數據采集工程師崗位職責 篇2

　　1.數據采集系統和分布式爬蟲系統的架構設計和開發

　　2.對接外部數據服務商提供的數據及資訊服務，實現數據的'有效沉淀，建立數據服務評估機制

　　3.負責大規模文本、圖像、視頻數據的抓取、抽取，去重、分類，垃圾過濾，質量識別等工作

　　4.研究各種目標網站的形態，互聯網特征挖掘，發現它們的特點和規律

數據采集工程師崗位職責 篇3

　　1.負責linux平臺下應用軟件開發，根據產品與項目要求，開展模塊設計.編碼等工作；

　　2.負責linux軟件的交叉編譯與移植；

　　3.參與需求分析.軟件設計.開發.調試以及測試維護全過程；

　　4.負責協同硬件工程師或第三方方案商完成系統功能模塊的聯調及功能對接.接口文文件輸出；

　　5.負責嵌入式系統軟件平臺搭建工作；

數據采集工程師崗位職責 篇4

　　1.嵌入式bootloader，kernel開發；

　　2.工業通訊協議解析等；

　　3.windows/linux平臺網關應用層程序開發；

　　4.網關產品的軟件功能測試驗證；

　　5.工業網關產品軟件sdk及library開發。

數據采集工程師崗位職責 篇5

　　崗位職責：

　　1.按產品功能需求說明，設計相應數據庫業務邏輯及規則，并完成腳本封裝。

　　2.根據產品適配計劃，進行新適配數據庫的預研。

　　3.根據業務需求，提供數據庫元數據創建語句。

　　4.協助產品內容、數據庫知識體系、業務算法模型等研發。

　　技能要求：

　　1.熟悉Oracle、SQL Server、MySQL數據庫架構及原理，并有實際運維經驗。

　　2.熟悉MySQL、PostgreSQL和MongoDB等開源數據庫架構及原理，并有實際運維經驗。

　　3.熟悉RDS for MySQL、PostgreSQL等云數據庫架構及原理，并有實際運維經驗。

　　4.熟悉達夢、人大金倉、南大通用、神州通用、高斯、熱璞、巨杉等國產數據庫架構及原理，并有實際運維經驗。

　　5.熟悉PolarDB、OceanBase、Tidb等數據庫架構及原理，并有實際運維經驗。

　　6.深刻理解數據庫原理及架構，有二線dba經驗者優先。

　　7.熟悉Unix、Linux、Windows等操作系統架構及原理，并能熟練使用。

　　8.熟悉主流自動化運維、監控產品，有實際開發及使用經驗的優先。

　　9.熟練使用shells、Python等腳本語言。

　　10.熟悉腳本開發規范，具有數據庫開發背景的`優先。

　　11.深入理解數據庫的數據字典，并熟悉對象定義，有自定義對象開發經驗的優先。

　　12.善于溝通，皮實，良好的學習能力。

　　13.本科(含)以上學歷，計算機或相關專業的優先。

數據采集工程師崗位職責 篇6

　　數據處理工程師（大數據項目）全成通信上海全成通信技術有限公司，全成通信，全成崗位職責：

　　1、負責大數據平臺的日常維護和監控

　　2、負責大數據項目日報發布工作

　　3、負責日報數據的統計

　　4、負責大數據項目日常數據的計算、分析和維護

　　任職要求：

　　1、一年以上相關工作經驗，有電信行業經驗者優先

　　2、熟悉linux和excel，熟練使用perl或者其他的'腳本語言

　　3、具有oracledll/dml技術的使用經驗

　　4、具有良好的團隊合作精神，有較強的學習能力、適應能力、溝通能力

數據采集工程師崗位職責 篇7

　　任職要求：

　　1、軟件、計算機、通訊等理工科相關專業本科及以上學歷；

　　2、具有3年配置管理或產品數據管理經驗；

　　3、熟悉計算機與網絡管理；

　　4、熟悉配置管理與產品數據管理知識，熟練掌握svn、plm等數據管理平臺的`操作與管理；

　　5、熟悉系統與信息安全知識；

　　6、具有較強的邏輯思維能力及良好的溝通能力，良好的主動學習能力及執行力。

數據采集工程師崗位職責 篇8

　　1.針對用戶行為預測業務，負責用戶畫像、訂單特征體系建設，包括離線數據產出以及服務化;

　　2.針對用戶端上行為產出的實時數據流，挖掘實時特征并服務化;

　　3.針對客服場景，挖掘實時用戶行為異常以及進線異常;

　　4.針對智能客服場景用戶標簽挖掘，人群挖掘等工作，支持智能運營方向的業務;

　　5.負責開發并維護智能客服業務的特征服務系統。

數據采集工程師崗位職責 篇9

　　1.負責數據分析,數據挖掘相關的算法、應用的設計與開發;

　　2.負責公司產品各階段數據的整理、分析、挖掘及提交數據報告，重點對車輛行為數據進行分析和挖掘，利用數據分析結論推動業務產品的優化;

　　3.對海量業務數據進行整合、分析挖掘，挖掘產品以及用戶潛在信息，為營銷、運營及決策提供業務分析及數據支持。

數據采集工程師崗位職責 篇10

　　1、負責每日的數據倉庫運維工作，保障數據的穩定性、一致性等;

　　2、參與數據倉庫的優化設計，如元數據、數據權限、調度優化;

　　3、負責數據質量和數據標準化的設計與開發;

　　4、負責滿足業務部門的日常業務提數與報表需求的開發。

數據采集工程師崗位職責 篇11

　　1、熟悉掌握業務系統功能，靈活制定不同業務的推廣策略，通過活動運營、內容運營等方式策劃并落地項目推廣方案，拓展系統用戶量及影響力。

　　2、熟悉公文寫作，配合完成工作匯報材料的撰寫及分析報告。

　　3、與企業及海關關系的協調和維護，強化合作關系，維護好項目參與方的'關系。

　　4、面向進出口企業開展調研，主動挖掘系統需求，進行需求分析，形成調研報告或業務需求報告。

　　5、項目管理相關工作，包括組織業務需求論證、項目立項、進度管理等根據項目管理規范開展相關工作。

　　6、完成領導交辦的其他工作事項。

數據采集工程師崗位職責 篇12

　　1、負責大數據平臺搭建及數據倉庫建模；

　　2、負責數據庫管理及數據優化；

　　3、利用大數據相關技術實現對數據的分析、挖掘、處理、及數據可視化等相關工作；

　　4、維護大數據平臺并能解決相關問題，保障平臺正常運行；

　　5、學習和研究新技術以滿足系統需求。

數據采集工程師崗位職責 篇13

　　•在行業擔任數據工程師或后端工程師超過4年

　　•您將了解數據倉庫的概念(建模，調整，維護)

　　•您非常精通SQL，并渴望指導和教其他SQL

　　•您精通Python或任何其他腳本語言和軟件開發

　　•您在分布式數據處理/傳統RDBMS / MPP / NoSQL系統和數據建模方面有很強的低估/經驗

　　•您在Spark / Kafka / HBase / Redis / Kettle方面擁有豐富的經驗

　　•您受到探索數據的好奇心和動力的驅動

　　•您具有處理數據管道的DevOps問題的經驗

　　•對數據驅動業務，關鍵思想家，問題解決者和自我啟動者的熱情

　　•獲得認可大學的相關學科的學士學位

數據采集工程師崗位職責 篇14

　　崗位職責：

　　深入研究業內領先的技術思路，輸出具有創新價值的預研項目可行性分析報告以及相關實驗數據;

　　負責產品、銷售、供應鏈、電商等公司數據的海量挖掘，并建立和優化用戶標簽、特征模型、產品精準匹配、異常預警等;

　　負責大數據下傳統機器學習算法的并行化實現及應用，并提出改進方法和思路;

　　參與公司大數據架構，負責BI實施中的數據挖掘模塊算法研究、模型建立和優化，幫助實現數據挖掘和分析平臺的建設;

　　負責相關數據挖掘項目的需求收集、項目建立、項目設計開發和結果輸出質量把控，通過數據挖掘結果驅動業務執行;

　　配合技術進行數據挖掘模型開發和模型封裝，例如決策規則模型、預警模型、流失模型、效果標桿模型、客戶生命周期管理模型等;

　　任職要求：

　　大學本科及以上學歷，統計學、計算機、信息技術、數學相關專業;

　　兩年以上數據建模經驗;

　　數據主流數據庫，mysql、oracle、DB2等傳統結構化數據倉庫，熟悉HBase、MongoDB等非結構化數據庫;

　　熟悉常用的聚類、分類、回歸、關聯、時間序列等監督式和非監督式學習算法;

　　熟悉R、Python、MLlib等數據挖掘工具中至少一種。

　　熟悉spark、storm等大數據計算框架者優先。

數據采集工程師崗位職責 篇15

　　1.負責公司產品的現場安裝，部署，優化;

　　2.負責數據庫集群的部署和配置升級;

　　3.定期進行性能檢測、分析、調優，數據備份、遷移，保障數據庫系統高效安全及穩定運行;

　　4.負責排查數據庫故障，分析和解決疑難問題，提出預防方案。數據庫故障處理與災難恢復;

　　5.對開發工程師的SQL語句進行審核，SQL優化，及時發現并處理高負載SQL;

　　6.負責客戶單位軟件系統的管理和日常維護，;

數據采集工程師崗位職責 篇16

　　崗位職責:

　　1.負責銜接大數據平臺與前端的數據傳輸；

　　2.根據客戶需求設計大數據業務平臺架構、配置組件；

　　3.負責后臺服務的調試與測試，梳理接口文檔、開發文檔與測試文檔。

　　任職資格:

　　1.碩士以上，或較為優秀的本科生；后端開發經驗2年以上；

　　2.有基于b/s架構進行實際業務平臺開發的經驗，有to b軟件開發經驗更佳；

　　3.通用軟件開發基礎、軟件架構基礎、scrum敏捷開發方法，有大數據基礎更佳；

　　4.精通java或python語言，有rcp框架經驗更佳；熟練掌握mybatis、springcloud / springboot、node.js等框架，精通sql技術；了解以太網通信協議，熟悉websocket技術。熟練使用git，svn等工具；

　　5.學習能力強，勇于挑戰，代碼質量意識強，篤信“工程即魔法”。

數據采集工程師崗位職責 篇17

　　1、MySQL數據庫規劃、設計、監控維護、升級、備份、鏡像、容災;

　　2、數據庫服務器的安裝部署、性能優化、可靠性、容災方案制定等;

　　3、對數據庫性能分析與調優，排錯，保證數據安全;

　　4、負責對開發工程師的SQL語句進行優化;

　　5、配合研發制定數據庫技術方案，分庫分表策略，現有表結構優化，數據遷移方案;

　　6、負責Mysql自動化相關事宜;

數據采集工程師崗位職責 篇18

　　1、負責應用平臺維護，保證其有效運行;

　　2、負責業務數據的挖掘、整合以及分析模型的建立、優化和評估;為業務人員日常工作提供可靠而明確的數據支撐;

　　3、負責報表相關功能的設計、開發工作，并負責報表優化、維護、數據采集;

　　4、負責系統相關文檔的制定和編寫。

　　5、有實際的MY SQL或Oracle等數據庫開發相關工作經歷，具有高級工程師技術能力;

　　6、有良好的溝通協調能力，能與客戶及項目組同事有效的溝通;

　　7、能夠獨立分析客戶需求，并能針對客戶需求編寫需求分析、設計等技術方案;

　　8、熱愛軟件事業，具有較強的責任感,有快速掌握新技術和獨立解決技術問題的能力;

數據采集工程師崗位職責 篇19

　　1.負責企業級數據倉庫設計、規劃、建設、實施、管理,數據倉庫架構設計與數據開發，創建數據倉庫、數據集市

　　2.熟悉數據倉庫領域知識，從架構和技術層面參與建設數據倉庫，包括元數據管理、數據質量、主數據管理、性能優化和調優。

　　3.負責數據倉庫平臺相關數據管理工作，如研發規范、質量規范、保障規范的制定與推動實施落地

　　4.配合和協助數據分析/數據挖掘形成底層/中間層的業務邏輯切片

數據采集工程師崗位職責 篇20

　　1、負責產品數據庫研發，參與系統整體架構設計；

　　2、根據產品目標負責相關業務的數據分析、建模、設計評審，跟進產品過程中數據庫設計；

　　3、負責產品模塊的數據層分析、設計、編碼、測試；

　　4、能夠獨立完成產品數據層開發任務，負責各類數據接口開發；

　　5、負責各類型數據操作處理和兼容問題；數據庫復雜SQL開發和調優。

數據采集工程師崗位職責 篇21

　　職責描述：

　　1、負責poi數據的屬性分析、處理和關系挖掘，構建地圖領域的知識圖譜。

　　2、負責nlp、數據挖掘、深度學習等方向的前沿算法研發，并結合地圖場景優化。

　　任職要求：

　　1、計算機、數學或相關專業，三年以上工作經驗。

　　2、熟悉數據結構和算法設計，熟練使用c++、python。

　　3、熟悉nlp、機器學習、數據挖掘領域的常用算法與工具，對前沿技術保持熱情。

　　4、良好的.分析和解決問題能力，能獨立承擔研發工作。

　　5、有地圖數據優化工作背景優先。

　　團隊介紹

　　主要支持北京崗位

　　對地圖（無人駕駛）、廣告（廣點通）、快報感興趣的歡迎勾搭

數據采集工程師崗位職責 篇22

　　崗位職責:

　　1.從事數學建模及數據挖掘應用方法研究;

　　2.與開發部門配合實現相應的數據分析模塊的開發;

　　3.制定公司數據可管理體系,建產研究用數據平臺。

　　任職要求:

　　1.應用數學、統計學、計算機等專業碩士以上學歷;

　　2.具備常用機器學習、數據挖掘相關知識,會spark;

　　3.具備一種或多種開發語言(如scalapython java等)的.程序和算法開發能力,掌握常用數據結構和算法;

　　4.有視頻、地圖、文本、社交等大數據分析能力;

　　5.有工業數據分析工作經驗者優先。

數據采集工程師崗位職責 篇23

　　1、學習并理解勵步云學業務及系統，根據業務部門需求對公司各項業務數據進行統計分析，出具相關報表；

　　2、進行數據倉庫設計、模型開發、數據質量校驗，報表開發；

　　3、進行數據差異分析，找出統計口徑、數據錯誤、操作錯誤等造成的差異原因；

　　4、進行數據查詢優化，解決跑數性能問題。

數據采集工程師崗位職責 篇24

　　1、對海量業務數據進行分析，并利用算法挖掘用戶行為特征，發現潛在規律，建立機器學習算法并優化;

　　2、利用數據挖掘技術分析、預測用戶的消費行為;

　　3、建立各種業務邏輯模型和數學模型，幫助公司改善運營管理，節省成本。

　　任職要求：

　　1、大學本科及以上學歷;

　　2、統計學、會計學、數學、物理等相關專業;

　　3、本科5年以上同崗位工作經驗，研究生3年以上同崗位工作經驗;

　　4、對統計學和數據挖掘算法原理有較為深刻的理解，了解數據倉庫思想，熟悉SPSS、SAS、R、MAHOUT等數據挖掘軟件之一;

　　5、熟悉決策樹、聚類、邏輯回歸，關聯分析、SVM，貝葉斯等數據挖掘算法，有海量數據挖掘的項目經驗;

　　6、有用戶行為分析、用戶建模、業務建模、數學建模經驗優先;

　　7、良好的邏輯分析能力、分析問題和解決問題的`能力，對數據敏感，良好的溝通能力。

數據采集工程師崗位職責 篇25

　　1、進行GIS數據建庫和數據處理方案的設計和實現;

　　2、運用相關GIS軟件進行數據空間化處理建庫;

　　3、進行影像識別及處理;

　　4、進行數據采集處理建庫項目管理。

數據采集工程師崗位職責 篇26

　　1. 參加團隊會議與討論，并給予有意義的建議;

　　2. 協助后端團隊和架構師完成數據庫相關的設計與開發;

　　3. 協助業務部門抓取、分析數據。

數據采集工程師崗位職責 篇27

　　工作職責：

　　1、運用數據挖掘和機器學習方法和技術，深入挖掘和分析海量商業數據

　　2、包括但不限于風控模型、用戶畫像、商家畫像建模、文本分析和商業預測等

　　3、運用數據挖掘/統計學習的理論和方法，深入挖掘和分析用戶行為，建設用戶畫像

　　4、從系統應用的角度，利用數據挖掘/統計學習的理論和方法解決實際問題

　　任職要求

　　—計算機、數學，統計學或人工智能等相關專業碩士以上學歷，5—10年以上或相關工作經歷

　　—精通1—2種編程語言（Python或Java），熟練掌握常用數據結構和算法，具備比較強的'實戰開發能力，能帶領團隊共同進步。

　　—具有統計或數據挖掘背景，并對機器學習算法和理論有較深入的研究

　　—熟悉數據挖掘相關算法（決策樹、SVM、聚類、邏輯回歸、貝葉斯）

　　—具有良好的學習能力、時間和流程意識、溝通能力

　　—熟悉Spark或hadoop生態分布式計算框架

　　—優秀的溝通能力，有創新精神，樂于接受挑戰，能承受工作壓力

　　—有互聯網，央企，政務，金融等領域大規模數據挖掘經驗者優先

數據采集工程師崗位職責 篇28

　　1、負責數據接入、數據提取、數據清洗、底層重構、業務主題建模等工作;

　　2、參與數據集市開發，用戶畫像標簽開發;

　　3、負責接口平臺、自助分析平臺等系統的建設和維護;

　　4、針對具體大數據應用場景，提供有效解決方案，并針對具體模型落地實施;

數據采集工程師崗位職責 篇29

　　1.從事GIS數據制作、分析、數據管理等工作;

　　2.編寫工作總結和作業流程等文件;

　　3.通過已經完成的矢量化成果和表格數據庫入庫和檢查工作;

　　4.利用軟件對圖形和屬性進行檢查，并進行錯誤修改;

　　5.其他數據制作處理工作。

數據采集工程師崗位職責 篇30

　　1、3年以上etl開發經驗，熟悉etl開發規范和流程；

　　2、熟練使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一個或多個，有開發、維護經驗；

　　3、熟練編寫存儲過程，擅長sql優化；

　　4、熟悉oracle、sqlserver等常用數據庫中的`一個或多個；

　　5、熟悉perl、shell腳本，linux操作系統；

　　6、有大型數據倉庫、bi相關項目的開發經驗，精通架構、建模者優先；

　　7、熟練使用erwin或powerdesigner等進行數據建模；

　　8、以下經驗優先考慮：流式處理、日志處理、數據倉庫全日制本科以上學歷（985/211），計算機科學與技術/軟件工程/數據相關專業

　　1、3年以上etl開發經驗，熟悉etl開發規范和流程；

　　2、熟練使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一個或多個，有開發、維護經驗；

　　3、熟練編寫存儲過程，擅長sql優化；

　　4、熟悉oracle、sqlserver等常用數據庫中的一個或多個；

　　5、熟悉perl、shell腳本，linux操作系統；

　　6、有大型數據倉庫、bi相關項目的開發經驗，精通架構、建模者優先；

　　7、熟練使用erwin或powerdesigner等進行數據建模；

　　8、以下經驗優先考慮：流式處理、日志處理、數據倉庫