您当前的位置:首页 > 电脑百科 > 人工智能

一款强大的机器学习可视化IDE

时间:2020-10-15 10:52:15  来源:  作者:

专注Python、AI、大数据,请关注公众号七步编程!

人工智能方向的项目,和数据可视化是紧密相连的。

模型训练过程中梯度下降过程是什么样的?损失函数的走向如何?训练模型的准确度怎么变化的?

清楚这些数据,对我们模型的优化至关重要。

由于人工智能项目往往伴随着巨大数据量,用肉眼去逐个数据查看、分析是不显示的。这时候就需要用到数据可视化和日志分析报告。

TensorFlow自带的Tensorboard在模型和训练过程可视化方面做得越来越好。但是,也越来越臃肿,对于初入人工智能的同学来说有一定的门槛。

人工智能方面的项目变得越来越规范化,以模型训练、数据集准备为例,目前很多大公司已经发布了各自的自动机器学习平台,让工程师把更多精力放在优化策略上,而不是在准备数据、数据可视化方面。

本文,就来给大家介绍一款新型的机器学习可视化IDE,能够让人工智能研发过程变得更加简单明了。

wandb

太酷了!一款强大的机器学习可视化IDE

 

wandb是Weights & Biases的缩写,这款工具能够帮助跟踪你的机器学习项目。它能够自动记录模型训练过程中的超参数和输出指标,然后可视化和比较结果,并快速与同事共享结果。

通过wandb,能够给你的机器学习项目带来强大的交互式可视化调试体验,能够自动化记录Python脚本中的图标,并且实时在网页仪表盘展示它的结果,例如,损失函数、准确率、召回率,它能够让你在最短的时间内完成机器学习项目可视化图片的制作。

总结而言,wandb有4项核心功能:

  • 看板:跟踪训练过程,给出可视化结果
  • 报告:保存和共享训练过程中一些细节、有价值的信息
  • 调优:使用超参数调优来优化你训练的模型
  • 工具:数据集和模型版本化

也就是说,wandb并不单纯的是一款数据可视化工具。它具有更为强大的模型和数据版本管理。此外,还可以对你训练的模型进行调优。

wandb另外一大亮点的就是强大的兼容性,它能够和Jupyter、TensorFlow、Pytorch、Keras、Scikit、fast.ai、LightGBM、XGBoost一起结合使用。

因此,它不仅可以给你带来时间和精力上的节省,还能够给你的结果带来质的改变。

举几个例子:

验证数据可视化

wandb会自动选取一部分验证数据,然后把它展示到面板上。例如,手写体预测的结果、目标识别的包围盒。

太酷了!一款强大的机器学习可视化IDE

 

自然语言

使用自定义图表可视化基于NLP注意力的模型

太酷了!一款强大的机器学习可视化IDE

 

这里只给出2个示例,除了这些,它目前还有更多实用有价值的功能。而且,它还不断在增加新功能。

使用教程

官方称wandb为IDE,但是它更像TensorFlow、Pytorch一样,是一款高级Python第三方工具包。它的安装、使用都和Python其他工具包大同小异。

安装

wandb的使用需要Python3,安装非常简单,直接通过pip命令即可安装:

$ pip install wandb

登录网站

使用wandb需要登录wandb网站,你可以创建一个新账号,也可以用GitHub或者google账号进行登录。

登录之后,你会发现它像很多其他的web版IDE一样,可以创建项目,而且每个项目下都会有各种看板、报告。

API Keys

登录之后,点击右上角头像,进入User Settings,可以看到有API Keys。这个API Keys主要用于登录,用于连接桌面项目和wandb后台系统。

回到自己电脑桌面,打开终端,使用API Keys进行登录:

$ wandb login <YOUR API KEYS>

记得,<YOUR API KEYS>要替换成你自己的API Keys。

训练脚本

到此为止,工具层面的配置已经完成了,你需要的就是准备好你的训练脚本。

训练脚本的准备和正常情况完全一样,像导入其他工具包一样导入wandb,在wandb可以定义配置参数、dropout、日志监控等。

这里,给一个简单的示例,写一个名为train.py的脚本:

# Init wandb

import wandb
wandb.init(project="demo")

# Model instantiation code ...
# Log metrics with wandb
 
for _ in range(num_epochs):
  train_model()
  loss = calulate_loss()
  wandb.log({"Loss": loss})

# Save model to wandb

np.save("weights", weights)
wandb.save("weights.npy")

可以发现,它和Tensorboard的使用有一些相通之处,直接可以在代码中定义初始化、上传日志、保持模型。

开始训练

工具配置完了,训练脚本也准备完了,下面开始训练模型即可。

$ python train.py

这些步骤都是在本地终端下完成的,一定不要忘记前面第3步,用API Keys登录。

这样的话,执行训练之后,它会在网页端wandb项目管理界面自动添加一个对应的项目,点击进入这个项目,就可以看到看板、报告等内容。



Tags:机器学习可视化   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
专注Python、AI、大数据,请关注公众号七步编程!人工智能方向的项目,和数据可视化是紧密相连的。模型训练过程中梯度下降过程是什么样的?损失函数的走向如何?训练模型的准确度怎么...【详细内容】
2020-10-15  Tags: 机器学习可视化  点击:(355)  评论:(0)  加入收藏
▌简易百科推荐
作为数据科学家或机器学习从业者,将可解释性集成到机器学习模型中可以帮助决策者和其他利益相关者有更多的可见性并可以让他们理解模型输出决策的解释。在本文中,我将介绍两个...【详细内容】
2021-12-17  deephub    Tags:AI   点击:(15)  评论:(0)  加入收藏
基于算法的业务或者说AI的应用在这几年发展得很快。但是,在实际应用的场景中,我们经常会遇到一些非常奇怪的偏差现象。例如,Facebook将黑人标记为灵长类动物、城市图像识别系统...【详细内容】
2021-11-08  数据学习DataLearner    Tags:机器学习   点击:(32)  评论:(0)  加入收藏
11月2日召开的世界顶尖科学家数字未来论坛上,2013年诺贝尔化学奖得主迈克尔·莱维特、2014年诺贝尔生理学或医学奖得主爱德华·莫索尔、2007年图灵奖得主约瑟夫·斯发斯基、1986年图灵奖得主约翰·霍普克罗夫特、2002...【详细内容】
2021-11-03  张淑贤  证券时报  Tags:人工智能   点击:(39)  评论:(0)  加入收藏
鉴于物联网设备广泛部署、5G快速无线技术闪亮登场,把计算、存储和分析放在靠近数据生成的地方来处理,让边缘计算有了用武之地。 边缘计算正在改变全球数百万个设备处理和传输...【详细内容】
2021-10-26    计算机世界  Tags:边缘计算   点击:(45)  评论:(0)  加入收藏
这是几位机器学习权威专家汇总的725个机器学习术语表,非常全面了,值得收藏! 英文术语 中文翻译 0-1 Loss Function 0-1损失函数 Accept-Reject Samplin...【详细内容】
2021-10-21  Python部落    Tags:机器学习   点击:(43)  评论:(0)  加入收藏
要开始为开源项目做贡献,有一些先决条件:1. 学习一门编程语言:由于在开源贡献中你需要编写代码才能参与开发,你需要学习任意一门编程语言。根据项目的需要,在后期学习另一种语言...【详细内容】
2021-10-20  TSINGSEE青犀视频    Tags:机器学习   点击:(37)  评论:(0)  加入收藏
SimpleAI.人工智能、机器学习、深度学习还是遥不可及?来这里看看吧~ 从基本的概念、原理、公式,到用生动形象的例子去理解,到动手做实验去感知,到著名案例的学习,到用所学来实现...【详细内容】
2021-10-19  憨昊昊    Tags:神经网络   点击:(47)  评论:(0)  加入收藏
语言是人类思维的基础,当计算机具备了处理自然语言的能力,才具有真正智能的想象。自然语言处理(Natural Language Processing, NLP)作为人工智能(Artificial Intelligence, AI)的核心技术之一,是用计算机来处理、理解以及运...【详细内容】
2021-10-11    36氪  Tags:NLP   点击:(48)  评论:(0)  加入收藏
边缘计算是什么?近年来,物联网设备数量呈线性增长趋势。根据艾瑞测算, 2020年,中国物联网设备的数量达74亿,预计2025年突破150亿个。同时,设备本身也变得越来越智能化,AI与互联网在...【详细内容】
2021-09-22  汉智兴科技    Tags:   点击:(54)  评论:(0)  加入收藏
说起人工智能,大家总把它和科幻电影中的机器人联系起来,而实际上这些科幻场景与现如今的人工智能没什么太大关系。人工智能确实跟人类大脑很相似,但它们的显著差异在于人工智能...【详细内容】
2021-09-17  异步社区    Tags:人工智能   点击:(57)  评论:(0)  加入收藏
相关文章
    无相关信息
最新更新
栏目热门
栏目头条