大數據架構師工作內容 大數據架構師發展前景

大數據架構師工作內容 大數據架構師發展前景

日期:2023-02-24 11:45:07    编辑:网络投稿    来源:互联网

大數據架構師崗位的主要職責概述(精選10篇)  在學習、工作、生活中,大家逐漸認識到崗位職責的重要性,崗位職責具有提高內部競爭活力,更好地發現和使用人才的作用。想學習制定崗

大數據架構師崗位的主要職責概述(精選10篇)

  在學習、工作、生活中,大家逐漸認識到崗位職責的重要性,崗位職責具有提高內部競爭活力,更好地發現和使用人才的作用。想學習制定崗位職責卻不知道該請教誰?下面是小編為大家整理的大數據架構師崗位的主要職責概述,希望能夠幫助到大家。

大數據架構師崗位的主要職責概述(精選10篇)

  大數據架構師崗位的主要職責概述 篇1

  職責:

  1、負責大數據平臺及BI系統框架設計、規劃、技術選型,架構設計并完成系統基礎服務的開發;

  2、負責海量埋點規則、SDK標準化、埋點數據采集、處理及存儲,業務數據分布存儲、流式/實時計算等應用層架構搭建及核心代碼實現;

  3、開發大數據平臺的核心代碼,項目敏捷開發流程管理,完成系統調試、集成與實施,對每個項目周期技術難題的解決,保證大數據產品的上線運行;

  4、負責大數據平臺的架構優化,代碼評審,并根據業務需求持續優化數據架構,保證產品的可靠性、穩定性;

  5、指導開發人員完成數據模型規劃建設,分析模型構建及分析呈現,分享技術經驗;

  6、有效制定各種突發性研發技術故障的應對預案,有清晰的隱患意識;

  7、深入研究大數據相關技術和產品,跟進業界先進技術;

  任職要求

  1、統計學、應用數學或計算機相關專業大學本科以上學歷;

  2、熟悉互聯網移動端埋點方法(點擊和瀏覽等行為埋點),無埋點方案等,有埋點SDK獨立開發經驗者優選;

  3、熟悉Hadoop,MR/MapReduce,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等,具備實際項目設計及開發經驗;

  4、熟悉數據采集、數據清洗、分析和建模工作相關技術細節及流程

  5、熟悉Liunx/Unix操作系統,能熟練使用shell/perl等腳本語言,熟練掌握java/python/go/C++中一種或多種編程語言

  6、具備一定的算法能力,了解機器學習/深度學習算法工具使用,有主流大數據計算組件開發和使用經驗者優先

  7、熟悉大數據可視化工具Tableau/echarts

  8、具有較強的執行力,高度的責任感、很強的學習、溝通能力,能夠在高壓下高效工作;

  大數據架構師崗位的主要職責概述 篇2

  職責:

  根據大數據業務需求,設計大數據方案及架構,實現相關功能;

  搭建和維護大數據集群,保證集群規模持續、穩定、高效平穩運行;

  負責大數據業務的設計和指導具體開發工作;

  負責公司產品研發過程中的數據及存儲設計;

  針對數據分析工作,能夠完成和指導負責業務數據建模。

  職位要求:

  計算機、自動化或相關專業(如統計學、數學)本科以上學歷,3年以上大數據處理相關工作經驗;

  精通大數據主流框架(如Hadoop、hive、Spark等);

  熟悉MySQL、NoSQL(MongoDB、Redis)等主流數據庫,以及rabbit MQ等隊列技術;

  熟悉hadoop/spark生態的原理、特性且有實戰開發經驗;

  熟悉常用的數據挖掘算法優先。

  大數據架構師崗位的主要職責概述 篇3

  職責:

  1、大數據平臺架構規劃與設計;

  2、負責大數據平臺技術框架的選型與技術難點攻關;

  3、能夠獨立進行行業大數據應用的整體技術框架、業務框架和系統架構設計和調優等工作,根據系統的業務需求,能夠指導開發團隊完成實施工作;

  4、負責數據基礎架構和數據處理體系的升級和優化,不斷提升系統的穩定性和效率,為相關的業務提供大數據底層平臺的支持和保證;

  5、培養和建立大數據團隊,對團隊進行技術指導。

  任職要求:

  1、計算機相關專業的背景專業一類院校畢業本科、碩士學位,8年(碩士5年)以上工作經驗(至少擁有3年以上大數據項目或產品架構經驗);

  2、精通Java,J2EE相關技術,精通常見開源框架的架構,精通關系數據庫系統(Oracle MySQL等)和noSQL數據存儲系統的原理和架構;

  3、精通SQL和Mapreduce、Spark處理方法;

  4、精通大數據系統架構,熟悉業界數據倉庫建模方法及新的建模方法的發展,有DW,BI架構體系的專項建設經驗;

  5、對大數據體系有深入認識,熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大數據技術,并能設計相關數據模型;

  6、很強的學習、分析和解決問題能力,可以迅速掌握業務邏輯并轉化為技術方案,能獨立撰寫項目解決方案、項目技術文檔;

  7、具有較強的內外溝通能力,良好的團隊意識和協作精神;

  8、機器學習技術、數據挖掘、人工智能經驗豐富者優先考慮;

  9、具有能源電力行業工作經驗者優先。

  大數據架構師崗位的主要職責概述 篇4

  職責:

  1.參與公司數據平臺系統規劃和架構工作,主導系統的架構設計和項目實施,確保項目質量和關鍵性能指標達成;

  2.統籌和推進制造工廠內部數據系統的構建,搭建不同來源數據之間的邏輯關系,能夠為公司運營診斷、運營效率提升提供數據支持;

  3.負責數據系統需求對接、各信息化系統數據對接、軟件供應商管理工作

  5.根據現狀制定總體的數據治理方案及數據體系建立,包括數據采集、接入、分類、開發標準和規范,制定全鏈路數據治理方案;深入挖掘公司數據業務,超強的數據業務感知力,挖掘數據價值,推動數據變現場景的落地,為決策及業務賦能;

  6.定義不同的數據應用場景,推動公司的數據可視化工作,提升公司數據分析效率和數據價值轉化。

  任職要求:

  1.本科以上學歷,8年以上軟件行業從業經驗,5年以上大數據架構設計經驗,熟悉BI平臺、大數據系統相關技術架構及技術標準;

  2.熟悉數據倉庫、熟悉數據集市,了解數據挖掘、數據抽取、數據清洗、數據建模相關技術;

  3.熟悉大數據相關技術:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;

  4.熟悉制造企業信息化系統及相關數據庫技術;

  5.具備大數據平臺、計算存儲平臺、可視化開發平臺經驗,具有制造企業大數據系統項目開發或實施經驗優先;

  6.對數據敏感,具備優秀的業務需求分析和報告展示能力,具備制造企業數據分析和數據洞察、大數據系統的架構設計能力,了解主流的報表工具或新興的前端報表工具;

  7.有較強的溝通和組織協調能力,具備結果導向思維,有相關項目管理經驗優先。

  大數據架構師崗位的主要職責概述 篇5

  職責:

  1.負責產品級業務系統架構(如業務數據對象識別,數據實體、數據屬性分析,數據標準、端到端數據流等)的設計與優化。協助推動跨領域重大數據問題的分析、定位、解決方案設計,從架構設計上保障系統高性能、高可用性、高安全性、高時效性、分布式擴展性,并對系統質量負責。

  2.負責云數據平臺的架構設計和數據處理體系的優化,推動云數據平臺建設和持續升級,并制定云數據平臺調用約束和規范。

  3.結合行業應用的需求負責數據流各環節上的方案選型,主導云數據平臺建設,參與核心代碼編寫、審查;數據的統計邏輯回歸算法、實時交互分析;數據可視化方案等等的選型、部署、集成融合等等。

  4.對云數據平臺的關注業內技術動態,持續推動平臺技術架構升級,以滿足公司不同階段的數據需求。

  任職要求:

  1.熟悉云計算基礎平臺,包括Linux(Ubuntu/CentOS)和KVM、OpenStack/K8S等基礎環境,熟悉控制、計算、存儲和網絡;

  2.掌握大型分布式系統的技術棧,如:CDN、負載均衡、服務化/異步化、分布式緩存、NoSQL、數據庫垂直及水平擴容;熟悉大數據應用端到端的相關高性能產品。

  3.精通Java,Python,Shell編程語言,精通SQL、NoSQL等數據庫增刪改查的操作優化;

  4.PB級別實戰數據平臺和生產環境的實施、開發和管理經驗;

  5.熟悉Docker等容器的編排封裝,熟悉微服務的開發和日常調度;

  6.計算機、軟件、電子信息及通信等相關專業本科以上學歷,5年以上軟件工程開發經驗,2年以上大數據架構師工作經驗。

  大數據架構師崗位的.主要職責概述 篇6

  職責描述:

  1、負責集團大數據資產庫的技術架構、核心設計方案,并推動落地;

  2、帶領大數據技術團隊實現各項數據接入、數據挖掘分析及數據可視化;

  3、新技術預研,解決團隊技術難題。

  任職要求:

  1、在技術領域有5年以上相關經驗,3年以上的架構設計或產品經理經驗;

  2、具有2年以上大數據產品和數據分析相關項目經驗;

  3、精通大數據分布式系統(hadoop、spark、hive等)的架構原理、技術設計;精通linux系統;精通一門主流編程語言,java優先。

  大數據架構師崗位的主要職責概述 篇7

  崗位職責:

  1、基于公司大數據基礎和數據資產積累,負責大數據應用整體技術架構的設計、優化,建設大數據能力開放平臺;負責大數據應用產品的架構設計、技術把控工作。

  2、負責制定大數據應用系統的數據安全管控體系和數據使用規范。

  3、作為大數據技術方案到產品實現的技術負責人,負責關鍵技術點攻堅工作,負責內部技術推廣、培訓及知識轉移工作。

  4、負責大數據系統研發項目任務規劃、整體進度、風險把控,有效協同團隊成員并組織跨團隊技術協作,保證項目質量與進度。

  5、負責提升產品技術團隊的技術影響力,針對新人、普通開發人員進行有效輔導,幫助其快速成長。

  任職資格:

  1、計算機、數學或相關專業本科以上學歷,5—20xx年工作經驗,具有大型系統的技術架構應用架構數據架構相關的實踐工作經驗。

  2、有分布式系統分析及架構設計經驗,熟悉基于計算集群的軟件系統架構和實施經驗。

  3、掌握Hadoop/Spark/Storm生態圈的主流技術及產品,深入了解Hadoop/Spark/Storm生態圈產品的工作原理及應用場景。

  4、掌握Mysql/Oracle等常用關系型數據庫,能夠對SQL進行優化。

  5、熟悉分布式系統基礎設施中常用的技術,如緩存(Varnish、Memcache、Redis)、消息中間件(Rabbit MQ、Active MQ、Kafka、NSQ)等;有實踐經驗者優先。

  6、熟悉Linux,Java基礎扎實,至少3—5年以上Java應用開發經驗,熟悉常用的設計模式和開源框架。

  大數據架構師崗位的主要職責概述 篇8

  崗位職責:

  1、負責公司大數據平臺架構的技術選型和技術難點攻關工作;

  2、依據行業數據現狀和客戶需求,完成行業大數據的特定技術方案設計與撰寫;

  3、負責研究跟進大數據架構領域新興技術并在公司內部進行分享;

  4、參與公司大數據項目的技術交流、解決方案定制以及項目的招投標工作;

  5、參與公司大數據項目前期的架構設計工作;

  任職要求:

  1、計算機及相關專業本科以上,5年以上數據類項目(數據倉庫、商務智能)實施經驗,至少2年以上大數據架構設計和開發經驗,至少主導過一個大數據平臺項目架構設計;

  2、精通大數據生態圈的技術,包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具備數據統計查詢性能優化能力。熟悉星環大數據產品線及有過產品項目實施經驗者優先;

  3、優秀的方案撰寫能力,思路清晰,邏輯思維強,能夠根據業務需求設計合理的解決方案;

  4、精通ORACLE、DB2、mySql等主流關系型數據庫,熟悉數據倉庫建設思路和數據分層架構思想;

  5。熟練掌握java、R、python等1—2門數據挖掘開發語言;

  6。熟悉云服務平臺及微服務相關架構思想和技術路線,熟悉阿里云或騰訊云產品者優先;

  7、有煙草或制造行業大數據解決方案售前經驗者優先;

  8、能適應售前支持和項目實施需要的短期出差;

  大數據架構師崗位的主要職責概述 篇9

  崗位職責:

  1、負責相關開源系統/組件的性能、穩定性、可靠性等方面的深度優化;

  2、負責解決項目上線后生產環境的各種實際問題,保障大數據平臺在生產上的安全、平穩運行;

  3、推動優化跨部門的業務流程,參與業務部門的技術方案設計、評審、指導;

  4、負責技術團隊人員培訓、人員成長指導。

  5、應項目要求本月辦公地址在錦江區金石路316號新希望中鼎國際辦公,月底項目結束后在總部公司辦公

  任職要求:

  1、熟悉linux、JVM底層原理,能作為技術擔當,解決核心技術問題;

  2、3年以上大數據平臺項目架構或開發經驗,對大數據生態技術體系有全面了解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;

  3、掌握git、maven、gradle、junit等工具和實踐,注重文檔管理、注重工程規范優先;

  4、熟悉Java后臺開發體系,具備微服務架構的項目實施經驗,有Dubbo/Spring cloud微服務架構設計經驗優先;

  5、性格開朗、善于溝通,有極強的技術敏感性和自我驅動學習能力,注重團隊意識。

  大數據架構師崗位的主要職責概述 篇10

  職責描述:

  1、負責大數據平臺框架的規劃設計、搭建、優化和運維;

  2、負責架構持續優化及系統關鍵模塊的設計開發,協助團隊解決開發過程中的技術難題;

  3、負責大數據相關新技術的調研,關注大數據技術發展趨勢、研究開源技術、將新技術應用到大數據平臺,推動數據平臺發展;

  4、負責數據平臺開發規范制定,數據建模及核心框架開發。

  任職要求:

  1、計算機、數學等專業本科及以上學歷;

  2、具有5年及以上大數據相關工作經驗;

  3、具有扎實的大數據和數據倉庫的理論功底,負責過大數據平臺或數據倉庫設計;

  4、基于hadoop的大數據體系有深入認識,具備相關產品(hadoop、hive、hbase、spark、storm、 flume、kafka、es等)項目應用研發經驗,有hadoop集群搭建和管理經驗;

  5、熟悉傳統數據倉庫數據建模,etl架構和開發流程,使用過kettle、talend、informatic等至少一種工具;

  6、自驅力強、優秀的團隊意識和溝通能力,對新技術有好奇心,學習能力和主動性強,有鉆研精神,充滿激情,樂于接受挑戰;

【大數據架構師崗位的主要職責概述】相關文章:

數據庫工程師崗位的主要職責概述-崗位職責01-11

項目管理經理崗位的主要職責概述07-02

招商運營主管崗位的主要職責概述05-12

大數據架構師崗位的具體職責表述-崗位職責01-11

市場助理的主要職責概述05-31

融資經理的主要職責概述07-07

軟件架構師工作主要職責08-22

項目總工的主要職責概述模板05-10

渠道拓展專員的主要職責概述05-11