您当前的位置:首页 > 电脑百科 > 程序开发 > 算法

算法工程师应该具备哪些工程能力?

时间:2019-09-02 15:20:42  来源:  作者:
算法工程师应该具备哪些工程能力?

 

作者 | 木东居士

来源 | Data_Engineering

最近看了 Milter 的《算法工程师究竟需要哪些工程能力》这篇文章,有所感想,因此也写一篇关于算法工程师的技术能力的问题,和大家分享一下居士关于算法工程师的技术能力的观点。

对于一名优秀的算法工程师,他(她)要具备的不仅仅是出色的技术能力,也要有很深的业务理解能力和对外沟通能力,总之,要求可以很高!

但是,从职责能力的划分上来讲,算法工程师首先是一名工程师,因此本文主要从工程能力要求上进行一些探讨。

开始之前先放一份思维导图,这将是这篇文章要分享的核心内容:

算法工程师应该具备哪些工程能力?

 

工程能力概览

算法工程师,从名字上我们就能看出,一名算法工程师首先应该具备算法能力工程能力,我们可以认为这是基础的技术能力。由于现在开源技术的普及,Sklearn、Tensorflow 和 Spark ML 基本已经成为大部分算法工程师标配的工具库了,因此,熟练的调包能力也是决定了一名算法工程师能否快速实现需求。

其次,在真实的生产环境中,算法的落地会遇到各种各样的业务场景和数据环境,这也要求算法工程师需要具备Pipeline 构建能力,将整个生产环境中的数据流和模型打通。同时,在生产环境中,会出现各种“疑难杂症”等待你去解释,比如说为什么实验效果特别差?为什么模型效果不稳定?这就要要求算法工程师需要具备一定的数据分析能力

很多时候,你会发现,你用在数据分析和Pipeline构建上的精力可能占据了你8成以上的工作内容。

当你具备了上面的能力时,你已经可以称自己是一名算法工程师了。此时,你可以去对着数据分析小得瑟一下:“你看,我能构建整个模型的Pipeline,你却只能拿到别人提供的数据后调调包吧。“或者,你也可以去找开发得瑟:”你看,我懂了很多算法哦,你就只会写代码吧。“

得瑟完之后,我们还是回归正题,算法工程师只具备这样能力是否已经够了?答案当然是不够的。由于不同公司的团队成熟度不同,工具化和流程的成熟度都不同,这就会对算法工程师有不同的要求,比如说模型发布能力报表开发能力,当然也会有一些其它能力,虽然可能不是特别重要,但是当这些工作没人帮你做的时候,算法工程师可能依然要承担起这些工作内容,比如说灰度测试的能力、负载均衡的能力等等。

将上面的内容整理后,就是这样一份思维导图了(一张图多看几篇更能加深印象,因此我再贴出来一遍)

算法工程师应该具备哪些工程能力?

 

工程能力详解

一、基础能力

算法能力

算法能力就不多说了,算法工程师的基本能力要求,不懂算法对于一名算法工程师来讲是不太合理的。这里居士把统计学的内容也放进来了。

编程能力

编程能力主要分为两部分:

  • Python、C++、JAVA这类编程语言,这三种也是算法工程师需要了解的主流编程语言,一般掌握其一就够,看不同公司。
  • Sql就是很通用的能力了,Sql也是一门编程语言,而是是数据处理最常用的语言!
  • 很好用。
  • 大数据场景下,要了解Hive Sql。

调包能力

大家虽然会调侃调包侠,但是说实话,能调包调的很溜的人,也是不多的,比如说现在让你自己用tensorflow构建一个复杂网络,不能google,你能写出来吗?能记清楚用法吗?

  • Sklearn
  • Tensorflow
  • Spark ML

二、核心能力

Pipeline 构建能力

Pipeline构建能力,这里想表达的更多的是整个数据流的构建能力,数据从日志->特征->模型训练->反馈,这一个链条能否完成的能力,这里面会有很多难题需要克服。比如说:

  1. 实时和离线模型一致性问题?
  2. 离线和实时特征一致性问题?
  3. 实时特征构建的问题?
  4. 数据延迟的问题?

很多时候,模型发布之类的工作是可以由其他同学支持完成,但是数据流这种问题更多的是需要算法工程师来解决的。

数据分析能力

这里的数据分析能力不是指商业分析或者业务分析,更多的是指特征分析、算法效果分析和各种异常问题定位分析的能力。

很多时候,两个算法工程师能力水平的强弱从数据分析能力上也能窥得一二。

三、辅助技术能力

辅助的技术能力是指,你会不会的影响不会特别大,但是也都是有用的能力,特别是不同公司的发展情况不同,很可能会出现一个算法工程师既要做数据接入、又要做数据清洗、还要做算法平台

也要搞前端、还要负责模型上线、系统运维。

这里就不再细讲了。

思考一

聊一下对技术能力、工程能力和数据分析的思考。

居士个人的理解,技术能力更多的是偏向于一个一个的技术点,而工程能力更多就是在一个团队中将项目做好的能力。很多算法出身的工程能力不行,那么他做的单纯的一个模型是无法应用到实际生产中的,而工程就是指把理论落地实际生产的过程。那么工程包含了什么?它包括了系统架构设计和模块设计、数据流搭建和平台搭建、调包或算法开发、分布式、上线以及各种落地的代码开发。报表和监控,其实本质也是做数据流,边缘性的可能要做些后台和前端的开发。

然后数据分析能力是什么?数据分析(不是纯粹的数据分析)除了分析方法论和套路外,是一个很综合性、相对偏软一点的能力,比如说你通过分析发现了我们的系统有哪些可以优化的点,通过分析发现了问题的原因是什么,这些都是分析能力。

思考二

针对前面的内容,和 Cathy 讨论后,对整个思路做了新的梳理,大家直接看图就好,居士也认为这样描述可能更为合理。

算法工程师应该具备哪些工程能力?

 

思考三

这里再补充一个模型复现的能力,比如你看了一篇论文,发现这个模型可能很适合自己的业务场景,那么你是否能力将论文里面的模型快速用公司现有的平台和工具来复现?

居士认为,这一个是一个非常重要的能力,但是没有想好具体该怎样划分。



Tags:算法工程师   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
在人工智能行业中,AI算法工程师是比较重要的职业,想要成为一名合格的算法工程师,是需要具备多种能力的,但因为每个公司对于算法工程师的定义不同,所以细节方面无法具体化。从个...【详细内容】
2021-04-21  Tags: 算法工程师  点击:(241)  评论:(0)  加入收藏
一般来说想要转行成为AI算法工程师的人,无非就是:薪资待遇太低、前途渺茫、对工作缺乏热情以及对算法工程师感兴趣等原因。 想要成功转行AI算法工程师,需要掌握良好的学习方...【详细内容】
2021-04-21  Tags: 算法工程师  点击:(248)  评论:(0)  加入收藏
昨天有网友问我,他原先没有学过奥数,问能不能当系统架构师?其他也有人有疑问,是不是应该先学数学,然后在考研的时候转入计算机? 我先说一下结论,没有学过奥数,完全可以当系统架构师...【详细内容】
2021-03-09  Tags: 算法工程师  点击:(233)  评论:(0)  加入收藏
大家好,前几天群里有小伙伴说希望看到更多的算法工程师的日常。其实对于算法工程师而言,最大的日常就是做数据了,所以给大家分享一下做数据的那些事。为什么很少做模型在大家想...【详细内容】
2020-11-19  Tags: 算法工程师  点击:(104)  评论:(0)  加入收藏
现在人们常常把2016年称为“人工智能元年”,因为在这一年里,人工智能的发展迎来一波又一波的高潮。重要的标志性事件包括:2016年3月,谷歌主导开发的人工智能程序AlphaGo以4:1大胜...【详细内容】
2020-05-07  Tags: 算法工程师  点击:(82)  评论:(0)  加入收藏
作者 | 木东居士来源 | Data_Engineering最近看了 Milter 的《算法工程师究竟需要哪些工程能力》这篇文章,有所感想,因此也写一篇关于算法工程师的技术能力的问题,和大家分享...【详细内容】
2019-09-02  Tags: 算法工程师  点击:(153)  评论:(0)  加入收藏
大数据文摘出品来源:towardsdatascience编译:啤酒泡泡、fuma、张弛、宁静“作自己的怀疑论者,不断试错,有时,沟通比技术本身能带来更大的价值。”——佚名亲爱的读者:你...【详细内容】
2019-07-22  Tags: 算法工程师  点击:(288)  评论:(0)  加入收藏
来源:Datawhale 这是一篇关于如何成为一名 AI 算法工程师的长文~经常有朋友私信问,如何学 python 呀,如何敲代码呀,如何进入 AI 行业呀?正好回头看看自己这一年走过的路,进行一次...【详细内容】
2019-06-27  Tags: 算法工程师  点击:(372)  评论:(0)  加入收藏
▌简易百科推荐
前言Kafka 中有很多延时操作,比如对于耗时的网络请求(比如 Produce 是等待 ISR 副本复制成功)会被封装成 DelayOperation 进行延迟处理操作,防止阻塞 Kafka请求处理线程。Kafka...【详细内容】
2021-12-27  Java技术那些事    Tags:时间轮   点击:(1)  评论:(0)  加入收藏
博雯 发自 凹非寺量子位 报道 | 公众号 QbitAI在炼丹过程中,为了减少训练所需资源,MLer有时会将大型复杂的大模型“蒸馏”为较小的模型,同时还要保证与压缩前相当的结果。这就...【详细内容】
2021-12-24  量子位    Tags:蒸馏法   点击:(11)  评论:(0)  加入收藏
分稀疏重建和稠密重建两类:稀疏重建:使用RGB相机SLAMOrb-slam,Orb-slam2,orb-slam3:工程地址在: http://webdiis.unizar.es/~raulmur/orbslam/ DSO(Direct Sparse Odometry)因为...【详细内容】
2021-12-23  老师明明可以靠颜值    Tags:算法   点击:(7)  评论:(0)  加入收藏
1. 基本概念希尔排序又叫递减增量排序算法,它是在直接插入排序算法的基础上进行改进而来的,综合来说它的效率肯定是要高于直接插入排序算法的;希尔排序是一种不稳定的排序算法...【详细内容】
2021-12-22  青石野草    Tags:希尔排序   点击:(6)  评论:(0)  加入收藏
ROP是一种技巧,我们对execve函数进行拼凑来进行system /bin/sh。栈迁移的特征是溢出0x10个字符,在本次getshell中,还碰到了如何利用printf函数来进行canary的泄露。ROP+栈迁移...【详细内容】
2021-12-15  星云博创    Tags:栈迁移   点击:(22)  评论:(0)  加入收藏
一、什么是冒泡排序1.1、文字描述冒泡排序是一种简单的排序算法。它重复地走访要排序的数列,一次比较两个元素,如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地...【详细内容】
2021-12-15    晓掌柜丶韶华  Tags:排序算法   点击:(16)  评论:(0)  加入收藏
在了解golang的map之前,我们需要了解哈希这个概念。哈希表,又称散列表(Hash table),是根据键(key)而直接访问在内存储存位置的数据结构。也就是说,它通过计算出一个键值的函数,将...【详细内容】
2021-12-07  一棵梧桐木    Tags:哈希表   点击:(14)  评论:(0)  加入收藏
前面文章在谈论分布式唯一ID生成的时候,有提到雪花算法,这一次,我们详细点讲解,只讲它。SnowFlake算法据国家大气研究中心的查尔斯·奈特称,一般的雪花大约由10^19个水分子...【详细内容】
2021-11-17  小心程序猿QAQ    Tags:雪花算法   点击:(24)  评论:(0)  加入收藏
导读:在大数据时代,对复杂数据结构中的各数据项进行有效的排序和查找的能力非常重要,因为很多现代算法都需要用到它。在为数据恰当选择排序和查找策略时,需要根据数据的规模和类型进行判断。尽管不同策略最终得到的结果完...【详细内容】
2021-11-04  华章科技    Tags:排序算法   点击:(40)  评论:(0)  加入收藏
这是我在网上找的资源的一个总结,会先给出一个我看了觉得还行的关于算法的讲解,再配上实现的代码: Original author: Bill_Hoo Original Address: http://blog.sina.com.cn/s/bl...【详细内容】
2021-11-04  有AI野心的电工和码农    Tags: KMP算法   点击:(36)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条