您当前的位置:首页 > 电脑百科 > 人工智能

深度聚类的可视化解释

时间:2020-07-07 10:43:19  来源:  作者:

作者:Amit Chaudhary

编译:ronghuaiyang

导读

视觉上的自监督学习方法,结合聚类,将无监督转变为有监督。

许多自监督方法使用[pretext tasks](https://amitness.com/2020/02/illustrated-selfsupervision -learning/)来生成代理标签,并将无监督学习问题转化为有监督学习的问题。一些例子包括旋转预测,图像着色,拼图等。然而,这样的pretext任务是依赖于领域的,需要专业知识来设计它们。

DeepCluster是Facebook AI研究的Caron等人提出的一种自监督方法,带来了一种不同的方法。这种方法不需要特定于领域的知识,可以用于学习缺乏注释数据的场景的深层表示。

DeepCluster

DeepCluster结合了两部分:无监督聚类和深度神经网络。提出了一种端到端联合学习深度神经网络参数及其表示的聚类分配的方法。这些特征被迭代地生成和聚合,最后得到一个训练过的模型和标签作为输出结果。

Deep Cluster Pipeline

现在让我们了解一下深度聚类的pipleline是如何工作的。

深度聚类的可视化解释

End to End Pipeline of DeepCluster Paper

简介

如上图所示,将拍摄未标记的图像并对其应用图像增强。然后,使用AlexNetvgg16ConvNet架构作为特征提取器。首先,对ConvNet进行随机权值初始化,并在最终的分类头之前从层中取特征向量。然后使用PCA特征向量进行降维,同时进行白化和L2归一化。最后,将处理后的特征传递到K-means,对每幅图像进行聚类分配。

这些聚类分配被用作伪标签,并训练ConvNet来预测这些聚类。用交叉熵损失来衡量模型的性能。模型训练了100个epoch,每个epoch进行一次聚类的操作。最后,我们可以将学到的表示用于下游任务。

手把手的例子

让我们通过一个从输入数据到输出标签的整个pipeline的一步步例子来看看DeepCluster是如何实际应用的:

1. 训练数据

我们从ImageNet数据集中提取未标记的图像,该数据集包括130万张图像,均匀分布在1000个类中。这些图像的minibatch为256。

深度聚类的可视化解释

Example of ImageNet datasets for DeepCluster

N幅图像的训练集在数学上可以表示为:

深度聚类的可视化解释

 

2. 图像增强

将各种变换应用于图像,以便学习到的不受增强的影响的特征。分别在训练模型学习表示和将图像表示发送到聚类算法时进行了两种不同的增强:

Case 1: 聚类时使用的变换

当要把模型表示送去进行聚类时,不使用随机增强。图像简单地调整为256×256,并使用中心剪裁得到224×224的图像。然后应用归一化。

深度聚类的可视化解释

Augmentations done during clustering in DeepCluster

在PyTorch中,可以这样实现:

from PIL import Image
import torchvision.transforms as transforms
im = Image.open('dog.png')
t = transforms.Compose([transforms.Resize(256),
                        transforms.CenterCrop(224),
                        transforms.ToTensor(),                        transforms.Normalize(mean=[0.485, 0.456, 0.406],
                                             std=[0.229, 0.224, 0.225])])
aug_im = t(im)

Case 2: 训练模型时候的变换

当模型在图像和标签上进行训练时,我们使用随机增强。图像裁剪为随机大小和高宽比,然后调整为224*224。然后,图像水平翻转的概率为50%。最后,利用ImageNet均值和方差对图像进行归一化。

深度聚类的可视化解释

Sequence of Image Augmentations Used before passing to model

在PyTorch中,可以这样实现:

from PIL import Image
import torchvision.transforms as transforms
im = Image.open('dog.png')
t = transforms.Compose([transforms.RandomResizedCrop(224),
                        transforms.RandomHorizontalFlip(),                        transforms.ToTensor(),                        transforms.Normalize(mean=[0.485, 0.456, 0.406],
                                             std=[0.229, 0.224, 0.225])])
aug_im = t(im)

Sobel变换

一旦我们得到了归一化的图像,我们就把它转换成灰度。然后,我们使用Sobel滤波器增加图像的局部对比度。

深度聚类的可视化解释

Sobel Transformation in DeepCluster

下面是改编自作者实现的简化代码片段,我们可以将它应用到上面得到的增强图像aug_im上。

import torch
import torch.nn as nn
# Fill kernel of Conv2d layer with grayscale kernel
grayscale = nn.Conv2d(3, 1, kernel_size=1, stride=1, padding=0)
grayscale.weight.data.fill_(1.0 / 3.0)
grayscale.bias.data.zero_()
# Fill kernel of Conv2d layer with sobel kernels
sobel = nn.Conv2d(1, 2, kernel_size=3, stride=1, padding=1)
sobel.weight.data[0, 0].copy_(
    torch.FloatTensor([[1, 0, -1],
                       [2, 0, -2],
                       [1, 0, -1]])
)
sobel.weight.data[1, 0].copy_(
    torch.FloatTensor([[1, 2, 1],
                       [0, 0, 0],
                       [-1, -2, -1]])
)
sobel.bias.data.zero_()
# Combine the two
combined = nn.Sequential(grayscale, sobel)
# Apply
batch_image = aug_im.unsqueeze(dim=0)
sobel_im = combined(batch_image)

3. 确定聚类的数量(类别数)

要进行聚类,我们需要决定聚类的数量。这将是模型将要训练的类的数量。

深度聚类的可视化解释

Impact of number of clusters on DeepCluster model

默认情况下,ImageNet有1000个类,但是本文使用了10,000个聚类,因为这样可以对未标记的图像进行更细粒度的分组。例如,如果你以前有一组猫和狗,你增加聚类,然后可以创建猫和狗品种的分组。

4. 模型结构

本文主要采用AlexNet架构,由5个卷积层和3个全连接层组成。删除LRN层,使用Batch Normalization。也添加了Dropout。使用的卷积尺寸为2012年比赛所用的:96, 256, 384, 384, 256。

深度聚类的可视化解释

AlexNet Architecture Used in DeepCluster

另外,本文还尝试用带batch normalization的vgg16替换AlexNet,以查看对性能的影响。

5. 生成初始的标签

为了生成用于训练的模型的初始标签,我们使用随机权重初始化AlexNet,并去除最后一个完全连接的层FC3。我们在图像上对模型进行前向传递,并在图像上取来自模型的第二个全连接层FC2的特征向量。该特征向量的维数为4096。

深度聚类的可视化解释

How Feature Vectors are taken from AlexNet for Clustering

对整个数据集的batch中的所有图像重复此过程。因此,如果我们有N幅图像,我们将得到一个图像特征矩阵[N, 4096]。

深度聚类的可视化解释

The Image-Feature Matrix Generated in DeepCluster

6. 聚类

在聚类之前,对图像特征矩阵进行降维处理。

深度聚类的可视化解释

Preprocessing for clustering in DeepCluster

在降维方面,采用主成分分析(PCA)方法,将特征从4096维降至256维,然后进行白化。本文使用faiss库来进行大规模操作。Faiss提供了一种有效的PCA实现方法,可以应用于图像特征矩阵x:

import faiss
# Apply PCA with whitening
mat = faiss.PCAMatrix(d_in=4096, d_out=256, eigen_power=-0.5)
mat.train(x)
x_pca = mat.apply_py(x)

然后,对PCA后得到的值进行L2归一化处理。

import numpy as np
  norm = np.linalg.norm(x_pca, axis=1)
x_l2 = x_pca / norm[:, np.newaxis]

这样,我们最终得到了N幅图像的矩阵(N, 256)。现在对预处理后的特征进行K-means聚类,得到图像及其对应的聚类。这些聚类将充当伪标签,模型将在其上进行训练。

深度聚类的可视化解释

Complete Pipeline from Image to Clustering in DeepCluster

本文使用Johnson的K-means实现,faiss库里有。因为聚类必须在所有图像上运行,所以它需要花费总训练时间的三分之一。

聚类完成后,将创建新的图像batch,这样来自每个聚类的图像都有相同的被包含的机会。对这些图像进行随机增强。

7. 表示学习

一旦我们有了图像和聚类,我们就像训练常规的监督学习一样训练我们的ConvNet模型。我们使用256的batch size,并使用交叉熵损失来比较模型预测和ground truth聚类标签。模型可以学习到有用的表示。

深度聚类的可视化解释

Representation Learning Part of the DeepCluster Pipeline

8. 在模型训练和聚类之间切换

这个模型训练了500个epochs。聚类步骤在每个epoch开始时运行一次,为整个数据集生成伪标签。然后,对所有batch继续使用交叉熵损失对卷积神经网络进行常规训练。本文采用动量为0.9、学习率为0.05、权值衰减为10^-5^的SGD优化器。使用用Pascal P100 GPU进行训练。

DeepCluster的代码实现

官方实现:https://github.com/facebookresearch/deepcluster,还有AlexNet和Resnet-50的预训练权重:https://github.com/facebookresearch/deepcluster#pre-trained-models。

英文原文:https://amitness.com/2020/04/deepcluster/



Tags:深度聚类   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
许多自监督方法使用[pretext tasks](https://amitness.com/2020/02/illustrated-selfsupervision -learning/)来生成代理标签,并将无监督学习问题转化为有监督学习的问题。一些例子包括旋转预测,图像着色,拼图等。然而,这...【详细内容】
2020-07-07  Tags: 深度聚类  点击:(50)  评论:(0)  加入收藏
▌简易百科推荐
作为数据科学家或机器学习从业者,将可解释性集成到机器学习模型中可以帮助决策者和其他利益相关者有更多的可见性并可以让他们理解模型输出决策的解释。在本文中,我将介绍两个...【详细内容】
2021-12-17  deephub    Tags:AI   点击:(15)  评论:(0)  加入收藏
基于算法的业务或者说AI的应用在这几年发展得很快。但是,在实际应用的场景中,我们经常会遇到一些非常奇怪的偏差现象。例如,Facebook将黑人标记为灵长类动物、城市图像识别系统...【详细内容】
2021-11-08  数据学习DataLearner    Tags:机器学习   点击:(32)  评论:(0)  加入收藏
11月2日召开的世界顶尖科学家数字未来论坛上,2013年诺贝尔化学奖得主迈克尔·莱维特、2014年诺贝尔生理学或医学奖得主爱德华·莫索尔、2007年图灵奖得主约瑟夫·斯发斯基、1986年图灵奖得主约翰·霍普克罗夫特、2002...【详细内容】
2021-11-03  张淑贤  证券时报  Tags:人工智能   点击:(39)  评论:(0)  加入收藏
鉴于物联网设备广泛部署、5G快速无线技术闪亮登场,把计算、存储和分析放在靠近数据生成的地方来处理,让边缘计算有了用武之地。 边缘计算正在改变全球数百万个设备处理和传输...【详细内容】
2021-10-26    计算机世界  Tags:边缘计算   点击:(45)  评论:(0)  加入收藏
这是几位机器学习权威专家汇总的725个机器学习术语表,非常全面了,值得收藏! 英文术语 中文翻译 0-1 Loss Function 0-1损失函数 Accept-Reject Samplin...【详细内容】
2021-10-21  Python部落    Tags:机器学习   点击:(43)  评论:(0)  加入收藏
要开始为开源项目做贡献,有一些先决条件:1. 学习一门编程语言:由于在开源贡献中你需要编写代码才能参与开发,你需要学习任意一门编程语言。根据项目的需要,在后期学习另一种语言...【详细内容】
2021-10-20  TSINGSEE青犀视频    Tags:机器学习   点击:(37)  评论:(0)  加入收藏
SimpleAI.人工智能、机器学习、深度学习还是遥不可及?来这里看看吧~ 从基本的概念、原理、公式,到用生动形象的例子去理解,到动手做实验去感知,到著名案例的学习,到用所学来实现...【详细内容】
2021-10-19  憨昊昊    Tags:神经网络   点击:(47)  评论:(0)  加入收藏
语言是人类思维的基础,当计算机具备了处理自然语言的能力,才具有真正智能的想象。自然语言处理(Natural Language Processing, NLP)作为人工智能(Artificial Intelligence, AI)的核心技术之一,是用计算机来处理、理解以及运...【详细内容】
2021-10-11    36氪  Tags:NLP   点击:(48)  评论:(0)  加入收藏
边缘计算是什么?近年来,物联网设备数量呈线性增长趋势。根据艾瑞测算, 2020年,中国物联网设备的数量达74亿,预计2025年突破150亿个。同时,设备本身也变得越来越智能化,AI与互联网在...【详细内容】
2021-09-22  汉智兴科技    Tags:   点击:(54)  评论:(0)  加入收藏
说起人工智能,大家总把它和科幻电影中的机器人联系起来,而实际上这些科幻场景与现如今的人工智能没什么太大关系。人工智能确实跟人类大脑很相似,但它们的显著差异在于人工智能...【详细内容】
2021-09-17  异步社区    Tags:人工智能   点击:(57)  评论:(0)  加入收藏
相关文章
    无相关信息
最新更新
栏目热门
栏目头条