当前位置:1566范文网 > 公司范文 > 岗位职责 > 工程岗位职责

大数据工程师岗位职责职位要求(十一篇)

发布时间:2024-03-12 13:06:12 查看人数:34

大数据工程师岗位职责职位要求

第1篇 大数据工程师岗位职责职位要求

职责描述:

华为企业bg-大数据工程师

1、基于hadoop/spark/mppdb的大数据、数仓平台架构设计及开发工作

2、数据处理流程设计及开发

3、海量数据的采集、存储、管理、分析、建模

4、负责大数据、数仓平台的监控及优化,针对持续增长的数据提供相应的解决方案

5、负责大数据、数仓项目的疑难问题解决,性能优化

专业知识要求:

1、有3年以上相关岗位工作经历,或者非金融业的数据服务或信息数据管理工作经验

2、数学、计算机技术等相关专业

3、精通大数据(mppdb、hadoop)等相关技术,并精通hbase/hive/mr/spark/solr/storm/flink其中的任意3个组件技术。

4、至少精通主流数据库技术oracle/postresql/mysql/sql server中的一种,精通数据仓库理论架构,包括但不限于数据调度、etl、元数据管理、数据监控;

5、精通1-2门开发语言(java/python/scala/shell)

6、具有比较突出的组织、策划、协调及沟通能力,有强烈的结果导向和客户导向。

岗位要求:

学历要求:本科

语言要求:不限

年龄要求:不限

工作年限:3-5年

第2篇 微信安全大数据工程师职位描述与岗位职责任职要求

工作职责:

通过海量数据挖掘建立微信安全画像和数据仓库,协助在线策略进行安全控制

构建机器学习无监督或有监督算法模型,协助精准识别微信体系内各种恶意行为

建立大规模文本内容识别能力,包括但不限于文本分类,聚类等常见nlp任务模式

任职要求:

数学、统计、计算机、自然语言处理等相关专业硕士及以上学历;或者三年以上互联网数据分析和大数据开发相关工作经验;

熟悉经典的聚类、分类等机器学习和深度学习算法,有大规模机器学习系统开发经验优先;

熟练掌握c++/java/scala/python等至少一门编程语言。

有主流大数据平台spark/hadoop/flink/storm等平台开发经验,熟悉分布式计算原理优先

第3篇 大数据隐私安全计算工程师职位描述与岗位职责任职要求

职位描述:

工作职责:

- 面向公司内部及企业级市场,提供可信大数据分析计算、联邦机器学习等领域的产品化解决方案

- 提供数据安全流通领域的全套解决方案,包含但不限于数据分类分级、数据使用规范、数据脱敏方法、数据安全生命周期、隐私数据加密、隐私数据管理等;

职责要求:

- 计算机相关专业,扎实的数据安全计算领域知识,熟悉相关基础知识,包括应用密码学、安全协议和加密算法;精通隔离域、可信计算(包括差分隐私、同态加密等)前沿大数据安全技术,主导过大型项目,具有安全生产实践经验。

- 至少5年以上大数据编程经验;熟悉大数据编程技术hadoop/hive/spark/yarn等,掌握机器学习算法的应用和调优(lr/svm/gbdt等等),熟悉其优缺点;

- 具有良好的学习能力和自我驱动力,具备良好的英文阅读与交流能力,保持跟进机器学习领域最新研究方向和成果以及对于大数据应用在安全领域的探索。

- 熟悉国内外安全行业发展现状,了解企业级数据安全的最佳实践。

第4篇 大数据应用工程师-外销领域岗位职责要求

职责描述:

1、根据业务需求,负责外销领域整个分析体系搭建,包括分析指标梳理,设计pc、移动、大屏的展示原型,按照项目方法编写需求及方案文档。

2、通过和技术人员沟通、协同,完成数据分析平台建设,负责系统测试、用户培训等,推动业务充分利用数据,驱动管理。

3、对各级外销部门进行数据需求支持,挖掘分析主题,开展数据分析工作;基于数据分析成果,为各级外销部门(集团/事业部)提供商业策略分析和业务优化建议,持续改进运营效果。

职位要求:

1. 全日制本科或以上学历;具有3年以上制造企业营销管理经验,熟悉集团化企业经营分析报表编制内容、流程和方法。

2. 具有企业外销管理实务经验,了解企业外销管理内容,能够通过数据发现业务问题和改善点。

3. 具有很好的沟通、表达能力,熟练运用excel、ppt 等基本工具。

4. 勤奋、好学,具有很好的团队合作意识,对数据分析职业有强烈兴趣。

5、懂oracle/sap等大型erp系统软件,有咨询公司工作经验者优先。

第5篇 java大数据工程师岗位职责职位要求

岗位职责:

1、 负责大数据挖掘与数据算法实现;

2、 负责网络业务智能诊断课题任务。

岗位要求:

1、2年以上数据分析、数据挖掘及模型开发经验;

2、熟练掌握至少一门语言(java、python、r、scala)进行挖掘和分析;熟练掌握数据分析工具(sas、spss、r、python),对数据进行快速验证和分析;

3、熟悉常用的数据挖掘和机器学习算法(决策树、逻辑回归、svm、贝叶斯、神经网络等);有大数据并行处理分布式计算经验,熟悉hadoop/hive/storm/spark等;

4、熟悉数据可视化相关理论,有数学建模经验优先。

工作地点:福州

岗位要求:

学历要求:本科及以上

语言要求:不限

年龄要求:不限

工作年限:经验1-3年

第6篇 华为大数据治理工程师岗位职责职位要求

职责描述:

1.参与客户大数据治理及管理工作,包括设计数据模型、定义数据标准、构建数据管理体系(元数据、主数据、数据质量等)等。

2.参与大型数据治理项目实施,对技术解决方案进行评估及审核,并给出符合数据架构规范的建议,与生态合作伙伴共同保证项目顺利落地。

任职资格:

1.具有数据模型分析设计、数据仓库建设和数据集成经验。

2.拥有大型客户数据治理或咨询经验。

3.熟悉主数据、元数据、数据质量等企业数据治理相关的体系和方法。

4.有金融、政府或公安行业项目经验优先。

岗位要求:

学历要求:本科

语言要求:不限

年龄要求:不限

工作年限:3-4年经验

第7篇 大数据开发工程师岗位职责职位要求

岗位职责:

1、运用大数据分析工具和技术解决风险管理业务中遇到的实际问题与需求,如风险评估、成长评价等,包括对模型进行设计、开发、验证、测试、部署及监控、优化。。

2、基于海量用户数据和特征,进行数据质量检查、特征加工、数据清洗等,建立数据挖掘模型。

3、评估数据源的质量和价值,能结合业务需求和场景,从各种数据维度中挖掘数据价值,并设计不同的模型,应用于不同的业务场景中。

职位要求:

1. 计算机、统计学相关背景,熟悉常用各类机器学习算法的原理(如逻辑回归、决策树、svm、神经网络、随机森林、深度学习等);

2.熟练使用sas、r、python等至少一种分析工具;

3.熟悉大数据分析平台和工具,如hive,hadoop, spark等优先;

4.有较强的逻辑思维能力、优秀的沟通表达能力及团队合作能力。

岗位要求:

学历要求:本科

语言要求:不限

年龄要求:不限

工作年限:5-7年经验

第8篇 java大数据开发高级工程师岗位职责职位要求

职责描述:

岗位要求:

1、计算机或相关专业本科以上学历,3年以上专业java开发经验,有过大型项目经验优先;

2、精通 jdbc、jsp / ibatis /spring/ struts2等java主流技术;

3、熟悉web容器及主流开源框架,熟悉http的基本工作原理;

4、熟悉io、多线程、集合类等基础框架,熟悉缓存、消息、搜索等机制;

5、熟悉linux操作系统,熟悉mysql数据库;,精通sql语言;

6、有大型项目架构设计开发和数据库优化经验优先;

7、具有良好的团队协作精神,较强的沟通能力,具备良好的问题定位分析能力和新兴技术学习能力。

岗位职责:

1.负责研发公司自主呼叫中心产品;

2.协助实施部门定位跟踪产品问题;

3.客户化项目定制开发

岗位要求:

学历要求:大专

语言要求:不限

年龄要求:不限

工作年限:3-5年

第9篇 大数据开发工程师数据分析、信息安全、前端开发、数据对接职位描述与岗位职责任职要求

职位描述:

数据分析工程师:

岗位职责:

1、负责结构化数据和文本的数据处理、建模、分析等工作,如:数据清洗、中文分词、情感分析、文本分类等;

2、负责数据需求的收集、整理和分析,配合其他同事完成结构化数据和文本的需求分析;

3、负责分析结果的可视化展现;

4、负责核心算法的设计与优化。

任职要求:

1、全日制本科毕业;

2、计算机或数学或软件类或统计相关专业;

3、熟悉数据挖掘和文本挖掘的理论基础,掌握统计模型、机器学习相关原理;

4、熟悉r/python/java等编程语言,熟悉常用数据结构和算法,熟悉正则表达式的使用。

web前端开发工程师:

岗位职责:

1、负责前端框架设计及组件库开发、前端开发工作统筹;

2、与后端工程师紧密配合,高效率、高质量地完成页面展现研发工作;

3、负责对产品页面性能的优化和维护;

4、负责数据可视化图表显示。

任职要求:

1、本科及以上学历,专业不限。3年以上前端开发经验;

2、精通html5/css3、xhtml/xml,熟悉页面架构和布局,对表现与数据分离、web语义化等有深刻理解;

3、在多浏览器兼容性问题及css/javascript性能优化方面有一定的经验;

4、熟练掌握至少一种前端框架及工具、库。如jquery、angular、webpack;

5、有echars、highcahrts、d3js等数据可视化框架开发经验优先。

信息安全架构工程师:

岗位职责:

1、 规划车联网安全架构,不断完善车联网产品的安全规范和要求,跟进、解决存在的安全隐患;

2、 对上线前的软件或者车上产品进行安全方面验证及测试;

3、 跟进最新漏洞的研究工作,理解漏洞的原理,编制漏洞研究报告和防范措施;

4、 负责行业/国家车联网汽车网络安全部分的技术及标准规范的研究工作。

任职要求:

1、本科以上学历,信息安全,计算机,通信等相关专业;

2、 拥有网络安全专业技能,熟悉车载网络架构,模块及协议;

3、 熟悉常见网络/车辆安全漏洞,掌握漏洞原理以及解决方案具备独立开展渗透工作的能力;

4、 熟悉常见黑客攻击手法,具备对黑客行为的入侵检测能力;

5、 精通安全测试框架,理解网络,应用,数据等不同层面的安全。

数据对接工程师:

岗位职责:

1、负责内部系统的对接工作;

2、第三方平台的数据对接及程序维护;

3、负责各车型的数据采集要求整理及规划;

4、熟悉数据结构和常用算法,有良好的代码规范,能对接入数据/系统提出优化方案。

任职要求:

1、 本科以上学历,信息化项目,计算机,无线传输等相关专业;

2、拥有信息化相关技能,熟悉系统间的交互对接流程;

3、熟悉数据库的管理及查询、同步工作;

4、熟悉信息对接的方式,能用api、视图等进行对接工作。

第10篇 大数据安全研发工程师职位描述与岗位职责任职要求

岗位职责:

1、负责信息安全中心态势感知系统的技术方案设计、需求把控、核心功能开发,将业务需求拆解细化并实施;

2、协助审计人员、运营人员完成安全数据分析相关工作;

3、驱动团队与产品团队密切合作;

4、构建团队并培养团队成员,组织技术,促进团队成员进步。

岗位要求:

1、全日制统招本科及以上学历;5年以上互联网研发工作经验;

2、具有扎实的计算机科学功底,扎实的编程基础和数据结构算法基础,极强的编程能力和问题解决能力;

3、深入理解面向服务的架构、熟悉javaweb应用框架和工具链、熟悉linux/mysql/nosql等;

4、熟悉java及面向对象设计开发、设计模式,面对复杂系统、复杂问题有化繁为简的能力;

5、熟悉数据分析建模技术,熟悉常用数据算法和建模;

6、对互联网安全技术具备一定的认知,了解常见攻击与防护技术;

7、善于交流,有良好的团队合作精神和协调沟通能力,有与产品、前端、移动端等多方密切配合的经验和意识;

8、有过安全态势感知平台、安全大数据处理平台相关研发经验者优先;

9、具备hadoop、storm、hive、elasticsearch等大数据研发经验者优先;

10、参与过同类型业务核心系统建设或高并发系统经验者优先;

11、有“代码洁癖”、有极客精神者优先。

第11篇 大数据和机器学习安全工程师-ai lab职位描述与岗位职责任职要求

工作职责:

1) 基于大数据和机器学习算法,构建高质量的风控模型,在海量流量当中找到作弊行为。

2) 深入理解各业务线需求,负责安全用户画像的开发建设,维护用户社区的良性生态。

3) 深入理解攻击者的动机,设计并实现恶意行为检测系统以保护公司的重要生态资产,在海量dau中高效地对抗黑产。

4) 研究数据挖掘和异常检测的前沿技术,将其应用于保护各业务场景,解决实际问题。

5) 防御对ai模型的攻击,提高ai模型的可靠性。

任职要求:

1)本科及以上学历,计算机、数学、统计或相关专业。

2)扎实的编程能力,良好的算法基础。精通至少一门语言,如 scala, python, c/c++, rust, go。

3)熟悉机器学习模型的各种优缺点,能灵活使用不同的模型。

4)优先考虑对分布式计算存储框架有一定了解者,如spark, flink, kafka, hadoop等。

5)具备强烈的好奇心和自我驱动力,喜欢接受挑战,追求极致。拥有强烈的责任心和团队合作精神,出色的学习能力,独立分析问题和解决问题的能力。

大数据工程师岗位职责职位要求(十一篇)

职责描述:华为企业bg-大数据工程师1、基于hadoop/spark/mppdb的大数据、数仓平台架构设计及开发工作2、数据处理流程设计及开发3、海量数据的采集、存储、管理、分析、建模4
推荐度:
点击下载文档文档为doc格式

推荐专题

相关大数据信息