范文為教學(xué)中作為模范的文章，也常常用來指寫作的模板。常常用于文秘寫作的參考，也可以作為演講材料編寫前的參考。范文怎么寫才能發(fā)揮它最大的作用呢？下面我給大家整理了一些優(yōu)秀范文，希望能夠幫助到大家，我們一起來看一看吧。

hadoop工作流程篇一

1.根據(jù)業(yè)務(wù)需求和落地環(huán)境確定大數(shù)據(jù)平臺的方案和具體搭建

2.負責(zé)大數(shù)據(jù)平臺及相關(guān)業(yè)務(wù)系統(tǒng)的(hadoop/spark/elasticsearch/zeppelin/jupyter等)的運維工作

3.對大數(shù)據(jù)基礎(chǔ)平臺系統(tǒng)穩(wěn)定性負責(zé)，負責(zé)故障應(yīng)急響應(yīng)及指揮，做好故障發(fā)現(xiàn)和預(yù)防，為其持續(xù)優(yōu)化提供建設(shè)性意見

4.與數(shù)據(jù)組合作，幫助處理優(yōu)化項目中數(shù)據(jù)處理工作(數(shù)據(jù)采集、清洗、匯總、集成等)，保證數(shù)據(jù)的準確性和穩(wěn)定性

1.精通scala或python至少一門編程語言，兩種都熟悉優(yōu)先

2.精通shell腳本編程

3.熟悉hadoop/hive/hbase/spark等分布式計算環(huán)境進行海量數(shù)據(jù)分析與計算;

4.做過數(shù)據(jù)倉庫，對數(shù)據(jù)治理、數(shù)據(jù)標準及元數(shù)據(jù)有很好理念及實施經(jīng)驗的優(yōu)先;

5.熟悉devops等自動化運維工具;

6.有過10臺以上集群運維的經(jīng)驗

7.良好的溝通能力和團隊精神，具備創(chuàng)新意識;

8.以結(jié)果為導(dǎo)向，具有強烈的`責(zé)任心、鉆研精神和良好的團隊溝通能力。

關(guān)鍵詞:hadoop spark

hadoop工作流程篇二

1、參與打造業(yè)界領(lǐng)先的存儲、計算、消息隊列等分布式系統(tǒng)

2、為海量數(shù)據(jù)及其上的大規(guī)模數(shù)據(jù)挖掘、數(shù)據(jù)分析、機器學(xué)習(xí)業(yè)務(wù)系統(tǒng)提供可靠、高效的支持

3、深入了解業(yè)務(wù)需求，利用存儲技術(shù)支持關(guān)鍵業(yè)務(wù)場景

1、掌握分布式系統(tǒng)原理，對存儲、計算、消息隊列的一項或多項有深入的.理解和認識

2、樂于挑戰(zhàn)沒有明顯答案的問題，能快速理解業(yè)務(wù)場景，從具體問題中抽象出通用的解決方案

3、有較好的溝通能力；有良好的團隊合作精神

hadoop工作流程篇三

崗位為公司自研大數(shù)據(jù)平臺產(chǎn)品線，非定制外包。

1.負責(zé)公司大數(shù)據(jù)平臺的hadoop技術(shù)棧研究，形成技術(shù)解決方案和整體的大數(shù)據(jù)架構(gòu)。

2.負責(zé)hadoop平臺（分布式存儲、分布式資源管理和調(diào)度、分布式計算等）的架構(gòu)研究、測試、優(yōu)化搭建工作；

3.負責(zé)探索，研究新的hadoop生態(tài)中技術(shù)引擎，不斷擴充平臺能力。

4.制定hadoop整體集群使用規(guī)范，規(guī)范的hadoop日常維護、異常處理等工作，保障集群穩(wěn)定、運行規(guī)范解決方案

5.負責(zé)公司定制項目的大數(shù)據(jù)架構(gòu)的整體解決方案

6.負責(zé)各種行業(yè)大數(shù)據(jù)在不同應(yīng)用場景的最佳開發(fā)實踐，提供流計算、批處理分析、數(shù)據(jù)挖掘、bi分析等技術(shù)解決方案

1.三年以上hadoop集群架構(gòu)開發(fā)或架構(gòu)經(jīng)驗。

2.精通hadoop架構(gòu)的'設(shè)計以及生態(tài)，hadoop的集群的搭建、部署、開發(fā)和運維

3.精通hadoop各個模塊的能力定位和配置，對hdfs、hbase、mr、spark等基本組件熟知

4.熟悉linux系統(tǒng)及調(diào)錯經(jīng)驗，熟悉jvm運行機制，有shell、python開發(fā)經(jīng)驗。

5.有鉆研新技術(shù)的熱情和能力，善于交流和表達，富有團隊精神

6.有企業(yè)級大數(shù)據(jù)系統(tǒng)設(shè)計經(jīng)驗者優(yōu)先。

7.有一定的代碼經(jīng)驗，python/java/c++/ruby均可。

hadoop工作流程篇四

1.參與人工智能開源開放平臺核心系統(tǒng)的構(gòu)建；

2.人工智能開源開放平臺相關(guān)前沿技術(shù)、運用調(diào)研及落地；

3.負責(zé)人工智能開源開放平臺性能的優(yōu)化。

1.國內(nèi)學(xué)歷：統(tǒng)招全日制985/211碩士及以上學(xué)歷，取得學(xué)位證和畢業(yè)證；

2.國外學(xué)歷：海外全日制碩士及以上學(xué)歷；qs世界大學(xué)排名前300高等院校；海外留學(xué)時長不少于1.5年；

3.有大型互聯(lián)網(wǎng)公司大數(shù)據(jù)平臺及數(shù)據(jù)開發(fā)經(jīng)驗者優(yōu)先；

4.扎實的java、python基礎(chǔ)，掌握常用數(shù)據(jù)結(jié)構(gòu)（鏈表、哈希、樹）等；

5.精通linux/unix環(huán)境，熟悉linux性能調(diào)優(yōu)，熟練掌握shell，有良好的'計算機網(wǎng)絡(luò)基礎(chǔ)；

6.有較強的產(chǎn)品理解，能從技術(shù)角度推動產(chǎn)品優(yōu)化；

7.有如下技能者優(yōu)先，spark/spark streaming/hadoop/hdfs/kafka/elastic search；

8.英語6級，能讀懂相關(guān)外文技術(shù)文獻。

hadoop工作流程篇五

1.計算機及計算機相關(guān)專業(yè)本科或本科以上學(xué)歷；

2.十年以上開發(fā)工作經(jīng)驗；

3.精通java編程，熟練掌握spring cloud、spring boot、spring framework、spring security、spring mvc、spring data、mybatis、hibernate、zookeeper等主流的開發(fā)框架，有良好的編程習(xí)慣。

4.精通大數(shù)據(jù)hadoop、spark、hbase、hive、kafka等產(chǎn)品技術(shù)及應(yīng)用開發(fā)。

5.精通多線程編程、分布式事務(wù)、存儲系統(tǒng)（如oracle、mongodb、redis等）的.性能調(diào)優(yōu)和應(yīng)用開發(fā)；

6.具備優(yōu)秀的邏輯思維能力，對解決挑戰(zhàn)性問題充滿熱情，善于解決問題和分析問題；

7.有強烈的上進心和求知欲，善于學(xué)習(xí)新事物，良好的團隊合作精神，較強的溝通能力和學(xué)習(xí)能力。

hadoop工作流程篇六

incorporated in 20xx，kpmg technology r&d centre combines four functions: r&d，in-house services，outsourced services and operational is kpmg’s first r&d centre and second delivery centre in china.

as kpmg’s first r&d centre in china，our business activities currently include:

pment，design，production of computer software and computer system integration;

，r&d and delivery of technologies

data-related services and technical support，including data development，data processing，data mining etc.

driven by increasing market demand，we will expand the r&d centre’s scope of business on an ongoing basis to enable technologies to provide quality services for our clients.

responsibilities

work as part of a team supporting the following business platforms:

- enterprise data warehouse

- provide guidance on designing big data platform architecture

- conduct research on latest big data platform products

- take responsibility for designing the core components of big data platform such as: hdfs、mapreduce、hiva、hbase

skills and experience

- familiar with linux java development environment and java ee specifications

- familiar with basic data structures and common algorithm

- familiar with shell and/or java and / or scala

- familiar with basic linux operations

- ability to multi-task，

集群、spark、hive、hbase、hadoop平臺運維；

2.獨立完成運維過程中問題定位、問題解決、并進行總結(jié)文檔編寫；

3.參與大數(shù)據(jù)平臺etl處理，合理規(guī)劃大數(shù)據(jù)資源，提高大數(shù)據(jù)平臺資源利用率，負責(zé)基于大數(shù)據(jù)平臺的開發(fā)和基礎(chǔ)建設(shè)；

4.負責(zé)大數(shù)據(jù)平臺相關(guān)系統(tǒng)的運維工作；

5.跟蹤大數(shù)據(jù)論壇社區(qū)新技術(shù)發(fā)展，持續(xù)更新技術(shù)資源，挖掘更多應(yīng)用場景。

1.統(tǒng)招本科以上學(xué)歷，3年以上大數(shù)據(jù)開發(fā)經(jīng)驗；

2.熟悉hadoop、spark、kafka等技術(shù)，對底層架構(gòu)有深入了解，有基于底層架構(gòu)進行開發(fā)者優(yōu)先考慮，精通linux腳本，熟悉linux腳本開發(fā)；

3.掌握flink/kylin/presto/elasticsearch/redis等一種或多種技術(shù)優(yōu)先；精通hive、hbase數(shù)據(jù)庫開發(fā)，對其底層架構(gòu)有深入研究者優(yōu)先考慮；

4.熟悉數(shù)據(jù)架構(gòu)，對數(shù)據(jù)處理有深入理解。熟悉掌握java/python/scala開發(fā)語言；

5.性格樂觀，積極主動，能夠主動承擔責(zé)任和解決實際問題。

hadoop工作流程篇八

1，基于hadoop進行mapreduce、hive和hbase的應(yīng)用開發(fā)；

2，維護和管理大規(guī)模hadoop集群，解決不斷增長的海量數(shù)據(jù)帶來的`存儲和計算挑戰(zhàn)；

3，大數(shù)據(jù)平臺數(shù)據(jù)清洗、轉(zhuǎn)換和建模的開發(fā)。

1，熟悉hadoop/hbase/spark/hive生態(tài)環(huán)境體系的搭建和管理，掌握hadoop、hbase、mapreduce、hdfs、hive、kylin、zookeeper等開源項目的原理和使用方法，具有實際集群搭建和調(diào)優(yōu)經(jīng)驗；

2，熟悉并有java開發(fā)經(jīng)驗，有大平臺架構(gòu)開發(fā)經(jīng)驗；

3，掌握至少一種nosql數(shù)據(jù)庫，具有真正項目使用經(jīng)驗；

4，掌握數(shù)據(jù)分析的基本流程，擅長數(shù)據(jù)采集、清洗、分析等環(huán)節(jié)；

5，熟悉后端服務(wù)（restful api服務(wù)實現(xiàn)）優(yōu)先；

6，熟悉使用sqlserver、oracle、mysql一種；

7，良好團隊協(xié)作和溝通能力；

8，大專及以上學(xué)歷，3-5年及以上工作經(jīng)驗。

hadoop工作流程篇九

1、負責(zé)hadoop平臺上的數(shù)據(jù)存儲，數(shù)據(jù)維護和優(yōu)化；

2、編寫一些pig，hive等分析腳本；

3、負責(zé)把一些分析結(jié)果導(dǎo)入到數(shù)據(jù)庫中，為bi提供基礎(chǔ)數(shù)據(jù)分析；

4、hadoop集群問題排查，并提出解決方案；

5、job報錯問題排查；

6、根據(jù)集群的問題，開發(fā)一些監(jiān)控程序，解決隱患；

7、平臺工具開發(fā)或者提供第三方開源工具。

1、深入了解hadoop運行機制，包括hdfs/mapreduce/zookeeper/yarn等工作原理。

2、了解分布式系統(tǒng)的原理。

3、負責(zé)hadoop平臺上的'數(shù)據(jù)存儲，數(shù)據(jù)維護和優(yōu)化；

4、hadoop集群問題排查，并提出解決方案；

5、開發(fā)監(jiān)控程序，解決存在的隱患；

6、有hadoop平臺運維經(jīng)驗優(yōu)先。

7、有大數(shù)據(jù)平臺工具開發(fā)經(jīng)驗。

hadoop工作流程篇十

1.負責(zé)公司大數(shù)據(jù)平臺的hadoop技術(shù)棧研究，形成技術(shù)解決方案和整體的大數(shù)據(jù)架構(gòu)。

2.負責(zé)hadoop平臺（分布式存儲、分布式資源管理和調(diào)度、分布式計算等）的架構(gòu)研究、測試、優(yōu)化搭建工作；

3.負責(zé)探索，?研究新的?hadoop?生態(tài)中技術(shù)引擎，不斷擴充平臺能力。

4.制定hadoop整體集群使用規(guī)范，規(guī)范的hadoop日常維護、異常處理等工作，保障集群穩(wěn)定、運行規(guī)范解決方案

5.負責(zé)公司定制項目的大數(shù)據(jù)架構(gòu)的整體解決方案

6.負責(zé)各種行業(yè)大數(shù)據(jù)在不同應(yīng)用場景的最佳開發(fā)實踐，提供流計算、批處理分析、數(shù)據(jù)挖掘、bi分析等技術(shù)解決方案

1.三年以上hadoop集群架構(gòu)開發(fā)或架構(gòu)經(jīng)驗。

2.精通hadoop架構(gòu)的.設(shè)計以及生態(tài)，hadoop的集群的搭建、部署、開發(fā)和運維

3.精通hadoop各個模塊的能力定位和配置，對hdfs、hbase、mr、spark等基本組件熟知

4.熟悉linux系統(tǒng)及調(diào)錯經(jīng)驗，熟悉?jvm?運行機制，有?shell、python開發(fā)經(jīng)驗。

5.有鉆研新技術(shù)的熱情和能力，善于交流和表達，富有團隊精神

6.有企業(yè)級大數(shù)據(jù)系統(tǒng)設(shè)計經(jīng)驗者優(yōu)先。

7.有一定的代碼經(jīng)驗，python/java/c++/ruby均可。

hadoop工作流程篇十一

1、負責(zé)數(shù)據(jù)倉庫架構(gòu)設(shè)計與研發(fā)；

2、負責(zé)大數(shù)據(jù)產(chǎn)品的數(shù)據(jù)研發(fā)；

3、助力數(shù)據(jù)化運營業(yè)務(wù)，與算法同學(xué)配合構(gòu)建豐富多樣的bi應(yīng)用。

1、有從事分布式數(shù)據(jù)存儲與計算平臺應(yīng)用開發(fā)經(jīng)驗，熟悉hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)開發(fā)經(jīng)驗，有spark/flink的開發(fā)經(jīng)驗尤佳；

2、較為豐富的數(shù)據(jù)倉庫及數(shù)據(jù)平臺的架構(gòu)經(jīng)驗，精通數(shù)據(jù)倉庫建模及etl設(shè)計開發(fā)；有較為系統(tǒng)的海量數(shù)據(jù)性能處理經(jīng)驗；在大數(shù)據(jù)資產(chǎn)管理與治理有一定成功產(chǎn)品化經(jīng)驗；

3、具備一定的`java、python語言的開發(fā)能力，具備機器學(xué)習(xí)算法能力尤佳；

4、良好的思維邏輯性、語言表達能力；有較好英語口語能力，將安排海外崗位。

hadoop工作流程篇十二

1.負責(zé)設(shè)計和搭建軟件系統(tǒng)架構(gòu)（平臺、數(shù)據(jù)庫、接口和應(yīng)用架構(gòu)等），解決開發(fā)中各種系統(tǒng)架構(gòu)問題。

2.優(yōu)化現(xiàn)有系統(tǒng)的性能，解決軟件系統(tǒng)平臺關(guān)鍵技術(shù)問題攻關(guān)、核心功能模塊設(shè)計。

3.在項目需求不斷細化的工程中校正整體的架構(gòu)設(shè)計，以及詳細模塊拆分設(shè)計。

4.營造技術(shù)學(xué)習(xí)氛圍，帶領(lǐng)團隊不斷完善開發(fā)方法及流程，提升開發(fā)效率與質(zhì)量，加強技術(shù)標準及規(guī)范。

5.帶領(lǐng)團隊攻克例如大數(shù)據(jù)量、高并發(fā)、高穩(wěn)定性等帶來的`各種挑戰(zhàn)及技術(shù)難關(guān)。

6.參與討論公司產(chǎn)品發(fā)展方向，完整的規(guī)劃和把握產(chǎn)品研發(fā)架構(gòu)。

五年以上java開發(fā)經(jīng)驗，有獨立完成項目經(jīng)驗和能力；

1.精通springmvc+mybatis或ssh等框架的搭建和開發(fā)；

2.精通tomcat，apache，nginx等web服務(wù)器的管理和調(diào)優(yōu)；

3.精通mysql/mariadb或postgres數(shù)據(jù)庫的開發(fā)，管理和調(diào)優(yōu)；

4.熟練使用redis，rabbitmq，mongodb等相關(guān)或類似技術(shù)；

，jquery，h5，websocket，長鏈接，nio等技術(shù)；

6.熟練使用linux（centos/ubuntu)操作和管理；

7.擅長系統(tǒng)性能調(diào)優(yōu)和疑難問題調(diào)試；

8.熟悉oracle、hbase、hive等數(shù)據(jù)庫的開發(fā)優(yōu)化；

9.熟悉hadoop、spark等大數(shù)據(jù)平臺；

10.懂得構(gòu)建高性能高并發(fā)分布式服務(wù)架構(gòu)體系優(yōu)先；

11.懂的數(shù)據(jù)安全、應(yīng)用安全和系統(tǒng)安全可以加分；

12.具有團隊合作精神、能帶隊和懂項目管理可以加分。

hadoop工作流程篇十三

1.負責(zé)搭建數(shù)據(jù)平臺、數(shù)據(jù)倉庫平臺、物聯(lián)網(wǎng)數(shù)據(jù)平臺、ai數(shù)據(jù)平臺，負責(zé)數(shù)據(jù)平臺架構(gòu)的整合、優(yōu)化、開發(fā)、部署實施、運維相關(guān)工作，確保數(shù)據(jù)平臺穩(wěn)定運行

2.主導(dǎo)搭建數(shù)據(jù)平臺(dw / ai / hadoop平臺等)，提供數(shù)據(jù)接口對接、存儲、提取、處理、清洗、邏輯解析、規(guī)范化、iot設(shè)備互聯(lián)互通能力

3.具備java，sql開發(fā)經(jīng)驗，性能調(diào)測，開源代碼商業(yè)化，底層基礎(chǔ)架構(gòu)搭建

4.參與公司數(shù)據(jù)處理方向的技術(shù)拓展，保障公司業(yè)務(wù)的數(shù)據(jù)需求

5.負責(zé)數(shù)據(jù)平臺實時計算/分布式并行計算的架構(gòu)設(shè)計代碼編寫，及開源技術(shù)組件的二次開發(fā)

6.運用hadoop/sparksql與spark streaming或者其它數(shù)據(jù)分析技術(shù)，進行包括需求分析，平臺選擇，技術(shù)構(gòu)架涉及等技術(shù)支持工作，確保能夠保障公司業(yè)務(wù)的數(shù)據(jù)需求

1.熟悉傳統(tǒng)數(shù)據(jù)倉庫，至少三年以上數(shù)據(jù)倉庫開發(fā)、構(gòu)建、運維經(jīng)驗

2.熟悉hadoop技術(shù)體系，有hadoop/spark架構(gòu)經(jīng)驗，有hadoop計算集群在實際項目上的開發(fā)和維護經(jīng)驗

3.兩年以上基于hadoop/spark/hbase/hive等分布式數(shù)據(jù)計算應(yīng)用開發(fā)經(jīng)驗

4.熟悉數(shù)據(jù)平臺數(shù)據(jù)同步技術(shù)，如:ogg，cdc，sqoop等，并有實際經(jīng)驗

5.熟悉大數(shù)據(jù)大數(shù)據(jù)性能優(yōu)化，并有實際項目經(jīng)驗

6.熟悉apache mahout/spark mlib的'各種算法

7.精通java，熟練掌握mapreduce原理以及數(shù)據(jù)分析相關(guān)的二次開發(fā)

8.熟悉linux/unix，熟悉perl/python/shell等腳本開發(fā)語言

9.了解敏捷開發(fā)流程，有敏捷開發(fā)經(jīng)驗者優(yōu)先

10.良好的數(shù)據(jù)結(jié)構(gòu)和算法基礎(chǔ)，有較強的算法設(shè)計和實現(xiàn)能力

11.本科以上學(xué)歷，計算機及相關(guān)專業(yè)

hadoop工作流程篇十四

1、打造業(yè)界領(lǐng)先的大數(shù)據(jù)基礎(chǔ)設(shè)施，包括數(shù)據(jù)接入，同步，存儲、計算，查詢等環(huán)節(jié)的分布式系統(tǒng)，為海量數(shù)據(jù)和大規(guī)模業(yè)務(wù)系統(tǒng)提供可靠的基礎(chǔ)設(shè)施；

2、與開源社區(qū)保持交流，發(fā)現(xiàn)對業(yè)務(wù)場景有幫助的特性并引入生產(chǎn)環(huán)境，或?qū)⒔?jīng)內(nèi)部驗證的特性貢獻到社區(qū)；

3、承擔千臺規(guī)模集群的管理工作，與業(yè)務(wù)一起解決性能優(yōu)化、容量規(guī)劃、預(yù)算審計等問題，保障集群高效穩(wěn)定經(jīng)濟運行；

1、計算機基礎(chǔ)扎實，熟悉常用數(shù)據(jù)結(jié)構(gòu)和算法，具備較強的'邏輯思維能力和編碼能力；

2、掌握分布式系統(tǒng)原理，對存儲、計算、消息隊列、資源管理，數(shù)據(jù)同步等中的一項或多項有深入的理解和認識；

3、樂于挑戰(zhàn)沒有明顯答案的問題，能快速理解業(yè)務(wù)場景，從具體問題中抽象出通用的解決方案；

4，熟悉hadoop，hbase，zookeeper，flume，k8s等基礎(chǔ)服務(wù)中的一項或多項；

5、有kafka或者同類型技術(shù)設(shè)計開發(fā)及集群管理經(jīng)驗者優(yōu)先。

hadoop工作流程篇十五

1、hadoop產(chǎn)品功能設(shè)計、開發(fā)與測試、性能優(yōu)化，根據(jù)項目具體要求，承擔開發(fā)任務(wù)，按計劃完成任務(wù)目標

2、負責(zé)編制與項目相關(guān)的技術(shù)文檔。

1、計算機相關(guān)專業(yè)，本科及以上學(xué)歷，2年以上hadoop開發(fā)工作經(jīng)驗；

2、熟練使用linux系統(tǒng)，熟悉內(nèi)核和shell腳本編寫，能夠在linux環(huán)境下進行開發(fā)工作；

3、熟練使用java語言進行開發(fā)；

4、熟悉分布式文件系的設(shè)計和使用，調(diào)試優(yōu)化過hdfs文件系統(tǒng)者優(yōu)先；

5、良好的'代碼開發(fā)風(fēng)格及開發(fā)習(xí)慣，學(xué)習(xí)能力、溝通能力，英文資料閱讀和理解能力；

6、參與過hadoop社區(qū)貢獻者優(yōu)先；

以下要求至少滿足其中1項：

7、熟悉hadoop的架構(gòu)和原理，以及參數(shù)調(diào)優(yōu)和性能優(yōu)化，了解partition，shuffle，sort等機制。

8、有設(shè)計，調(diào)試或者優(yōu)化類似hdfs文件系統(tǒng)經(jīng)驗；

工作地點：南京

hadoop工作流程篇十六

1、設(shè)計、維護及管理網(wǎng)絡(luò)系統(tǒng)，確保網(wǎng)絡(luò)系統(tǒng)的安全和高效

2、服務(wù)器管理和日常維護，確保所有物理機及vm虛擬機正常工作

3、執(zhí)行路由器、交換機、服務(wù)器等設(shè)備的硬件升級和軟件升級

4、郵件相關(guān)系統(tǒng)賬號管理和維護

5、執(zhí)行數(shù)據(jù)備份以確保需要的時候可以及時恢復(fù)數(shù)據(jù)

6、防火墻及防病毒系統(tǒng)管理和維護

7、用戶權(quán)限管理和密碼保護

8、給用戶提供結(jié)束主持和幫助，及時對公司硬件進行維護

9、鑒定和評估軟、硬件產(chǎn)品以滿足公司業(yè)務(wù)的'需要，確保公司內(nèi)電腦的軟件license合規(guī)

hadoop工作流程篇十七

搭建和維護hadoop數(shù)據(jù)分析平臺

協(xié)助研究r與hadoop結(jié)合實施大數(shù)據(jù)挖掘

依據(jù)分析挖掘方案，建立模型、生成分析結(jié)果、統(tǒng)計表、圖和列表等的程序代碼。

協(xié)助項目團隊負責(zé)人履行項目職責(zé)。

能力和技能

熟悉linux操作系統(tǒng)、java、hadoop的運營及算法。

具備基本的統(tǒng)計編程知識，例如r、base sas、sas/stat、sas宏語言、sql。

具備一定的溝通能力。

具備有效處理多任務(wù)的能力。

具備一定的.計算能力及發(fā)現(xiàn)細節(jié)的能力。

具備團隊合作能力。

學(xué)歷和經(jīng)驗要求:

計算機、數(shù)學(xué)專業(yè)學(xué)士學(xué)歷及以上，或同等教育背景并具有統(tǒng)計編程經(jīng)驗;有hadoop運營經(jīng)驗、hadoop算法經(jīng)驗者優(yōu)先。

hadoop工作流程篇十八

1、負責(zé)全行大數(shù)據(jù)在各類業(yè)務(wù)場景中的應(yīng)用規(guī)劃及設(shè)計方案的制定;

2、負責(zé)對全行大數(shù)據(jù)的標準化進行梳理并制定相應(yīng)方案;

3、負責(zé)制定全行的元數(shù)據(jù)集，并對元數(shù)據(jù)管理的流程、技術(shù)方案進行設(shè)計;

4、面向數(shù)據(jù)價值服務(wù)為數(shù)據(jù)應(yīng)用場景進行方案設(shè)計并指導(dǎo)落實實施;

5、負責(zé)對大數(shù)據(jù)相關(guān)領(lǐng)域的創(chuàng)新性研究和知識產(chǎn)權(quán)保護工作;

6、領(lǐng)導(dǎo)交辦的其他工作內(nèi)容。

1、全日制本科及以上學(xué)歷，計算機、通信工程、數(shù)學(xué)等相關(guān)專業(yè);

2、具備3年以上大數(shù)據(jù)相關(guān)開發(fā)經(jīng)驗，2年以上大數(shù)據(jù)系統(tǒng)相關(guān)設(shè)計經(jīng)驗;

3、熟悉hadoop、hive、hbase、flume、sqoop、spark以及流式計算等大數(shù)據(jù)相關(guān)技術(shù)，并具備相關(guān)開發(fā)經(jīng)驗;

4、在金融行業(yè)或互聯(lián)網(wǎng)金融領(lǐng)域有過相關(guān)工作經(jīng)驗者優(yōu)先考慮;

5、具備良好的溝通能力、團隊合作精神，能接受高強度工作。大數(shù)據(jù)架構(gòu)師:

工作職責(zé):

1、負責(zé)全行大數(shù)據(jù)在各類業(yè)務(wù)場景中的應(yīng)用規(guī)劃及設(shè)計方案的'制定;

2、負責(zé)對全行大數(shù)據(jù)的標準化進行梳理并制定相應(yīng)方案;

3、負責(zé)制定全行的元數(shù)據(jù)集，并對元數(shù)據(jù)管理的流程、技術(shù)方案進行設(shè)計;

4、面向數(shù)據(jù)價值服務(wù)為數(shù)據(jù)應(yīng)用場景進行方案設(shè)計并指導(dǎo)落實實施;

5、負責(zé)對大數(shù)據(jù)相關(guān)領(lǐng)域的創(chuàng)新性研究和知識產(chǎn)權(quán)保護工作;

6、領(lǐng)導(dǎo)交辦的其他工作內(nèi)容。

1、全日制本科及以上學(xué)歷，計算機、通信工程、數(shù)學(xué)等相關(guān)專業(yè);

2、具備3年以上大數(shù)據(jù)相關(guān)開發(fā)經(jīng)驗，2年以上大數(shù)據(jù)系統(tǒng)相關(guān)設(shè)計經(jīng)驗;

3、熟悉hadoop、hive、hbase、flume、sqoop、spark以及流式計算等大數(shù)據(jù)相關(guān)技術(shù)，并具備相關(guān)開發(fā)經(jīng)驗;

4、在金融行業(yè)或互聯(lián)網(wǎng)金融領(lǐng)域有過相關(guān)工作經(jīng)驗者優(yōu)先考慮;

5、具備良好的溝通能力、團隊合作精神，能接受高強度工作。

hadoop工作流程篇十九

1、hadoop平臺及各服務(wù)組件的運維、變更、故障和異常問題迅速定位;

2、hadoop平臺以及相關(guān)組件的規(guī)劃、部署、擴容及搭建安裝;

3、定期系統(tǒng)分析、性能調(diào)優(yōu)，優(yōu)化集群性能和資源利用率，提升集群性能，保證hadoop平臺各核心服務(wù)運行的穩(wěn)定、高效;

4、編寫運維相關(guān)的shell腳本或者python腳本，hadoop平臺運維相關(guān)文檔撰寫;

5、負責(zé)指導(dǎo)中低級工程師，為集群用戶和開發(fā)人員提供支持;

6、維持服務(wù)高效穩(wěn)定，支撐業(yè)務(wù)和數(shù)據(jù)量的快速擴張;

1、1年半及以上hadoop生態(tài)系統(tǒng)運維經(jīng)驗。

2、熟練掌握linux操作系統(tǒng)，熟悉linux文件系統(tǒng)，內(nèi)核、網(wǎng)絡(luò)等性能優(yōu)化;

3、熟練掌握hdfs、yarn、hive、hbase、spark、storm等hadoop生態(tài)組件的功能和原理;

4、熟練掌握hadoop的`安裝部署及性能調(diào)優(yōu);

5、熟悉一門以上腳本語言(shell、python、perl)，熟悉java;

6、具有良好責(zé)任心，團隊合作意識，具有良好的溝通能力和客戶服務(wù)意識;

7、對于優(yōu)秀人才，學(xué)歷要求可適當放寬

hadoop工作流程篇二十

1.負責(zé)公司大數(shù)據(jù)平臺的hadoop技術(shù)棧研究，形成技術(shù)解決方案和整體的大數(shù)據(jù)架構(gòu)。

2.負責(zé)hadoop平臺（分布式存儲、分布式資源管理和調(diào)度、分布式計算等）的架構(gòu)研究、測試、優(yōu)化搭建工作；

3.負責(zé)探索，?研究新的?hadoop?生態(tài)中技術(shù)引擎，不斷擴充平臺能力。

4.制定hadoop整體集群使用規(guī)范，規(guī)范的hadoop日常維護、異常處理等工作，保障集群穩(wěn)定、運行規(guī)范解決方案

5.負責(zé)公司定制項目的大數(shù)據(jù)架構(gòu)的整體解決方案

6.負責(zé)各種行業(yè)大數(shù)據(jù)在不同應(yīng)用場景的最佳開發(fā)實踐，提供流計算、批處理分析、數(shù)據(jù)挖掘、bi分析等技術(shù)解決方案

1.三年以上hadoop集群架構(gòu)開發(fā)或架構(gòu)經(jīng)驗。

2.精通hadoop架構(gòu)的'設(shè)計以及生態(tài)，hadoop的集群的搭建、部署、開發(fā)和運維

3.精通hadoop各個模塊的能力定位和配置，對hdfs、hbase、mr、spark等基本組件熟知

4.熟悉linux系統(tǒng)及調(diào)錯經(jīng)驗，熟悉?jvm?運行機制，有?shell、python開發(fā)經(jīng)驗。

5.有鉆研新技術(shù)的熱情和能力，善于交流和表達，富有團隊精神

6.有企業(yè)級大數(shù)據(jù)系統(tǒng)設(shè)計經(jīng)驗者優(yōu)先。

7.有一定的代碼經(jīng)驗，python/java/c++/ruby均可。