您当前的位置:首页 > 电脑百科 > 人工智能

想学习人工智能,这个的数据集必须掌握,MNIST入门与实战

时间:2020-08-20 10:52:50  来源:  作者:

前文我们介绍了如何在Windows环境下安装TensorFlow(人工智能学习入门之TensorFlow2.2版本安装(Windows10) )。学习知识最好的方法就是实践了,因此接下来我们通过实操的方式来学习人工智能相关的知识。

学习人工智能少不了需要一些数据集,比如进行鉴黄的人工智能少不了一些类似的图片。进行语音识别的人工智能,语料库是少不了的。对于初学人工智能的同学常常为数据集而发愁。今天我们就介绍一个非常简单,但很有用的数据集,这就是MNIST。这个数据集非常适合我们进行人工智能相关算法的学习和练习。

MNIST 数据集是美国国家标准与技术研究所(National Institute of Standards and Technology,简称NIST)制作的一个非常简单的数据集。那么该数据集是什么内容呢?其实就是一些手写的阿拉伯数字(0到9十个数字)。

想学习人工智能,这个的数据集必须掌握,MNIST入门与实战

 

NIST在制作数据集的时候还是很认真的。数据集中的训练集 (training set) 由来自 250 个不同人手写的数字构成,其中 50%是高中学生,50% 来自人口普查局 (the Census Bureau) 的工作人员。测试集(test set) 也是同样比例的手写数字数据。

如何下载MNIST数据集

MNIST数据集可从其官网(http://yann.lecun.com/exdb/mnist/ )下载,由于是国外网站,下载可能比较慢。它包含了四个部分:

  • 训练集图片:train-images-idx3-ubyte.gz (9.9 MB, 解压后 47 MB, 包含 60,000 个样本)
  • 训练集标签:train-labels-idx1-ubyte.gz (29 KB, 解压后 60 KB, 包含 60,000 个标签)
  • 测试集图片:t10k-images-idx3-ubyte.gz (1.6 MB, 解压后 7.8 MB, 包含 10,000 个样本)
  • 测试集标签:t10k-labels-idx1-ubyte.gz (5KB, 解压后 10 KB, 包含 10,000 个标签)

上述包含两种类型的内容,一种是图片,另外一种是标签,图片与标签一一对应。但是这里的图片并非是我们平时看到的图片文件,而是一个二进制的文件。该数据集以一个二进制的形式对6万个图片进行了存储。标签则是图片对应的真是数字。

如下图所示,本文将数据集下载到本地,并且解压后的结果。为了便于对比,这里面包含原始的压缩包和解压后的文件。

想学习人工智能,这个的数据集必须掌握,MNIST入门与实战

 

数据集的格式简析

大家已经发现,压缩包解压后并非一个个的图片,而是每个压缩包对应着一个独立的问题。而在这个文件中存储着上万个图片或者标签的信息。那么这些信息是如何存储在这个文件当中的呢?

其实MNIST的官网给出了详细的描述。以训练集的图片文件为例,官网给出的文件格式描述如下:

想学习人工智能,这个的数据集必须掌握,MNIST入门与实战

 

从上图可以看出,前4个32位数是该训练集的描述信息。其中第一个是魔数,为固定值0x0803;第二个是图片的数量,0xea60,也就是60000;第三个和第四个是图片的大小,也就是图片是28*28像素。下面则是以一个字节来描述每个像素。由于该文件中以一个字节来描述一个像素,可以知道像素的值可以是从0到255。其中0表示白色,而255表示黑色。

想学习人工智能,这个的数据集必须掌握,MNIST入门与实战

 

标签文件的格式与图片文件的类似。前面有两个32位数,其中第一个是魔数,固定值0x0801;第二个用于描述标签的数量。接下来的数据是每个标签的值,用一个字节表示。这里表示值的范围是

想学习人工智能,这个的数据集必须掌握,MNIST入门与实战

 

对应实际训练集的标签文件的数据如下所示。可以看出与上述格式的描述是一致的。另外,我们可以看出,对应该标签集,前面几张图片表示的数字分别应该是5,0,4,1等等。这里大家记一下,后面会用到。

想学习人工智能,这个的数据集必须掌握,MNIST入门与实战

 

关于数据集的文件格式我们了解了,下面我们实际操作一下。

数据集的可视化处理

知道上述数据的存储格式后,我们就可以对数据进行解析了。比如下面本文实现了一个小程序,用于解析该图片集合中的某个图片,并得到可视化结果。当然,其实我们可以根据标签集合的值知道图片是什么,这里只是一个实验。最终结果是以一个文本文件存储的,用字符“Y”表示笔迹,字符“0”表示背景色。具体程序代码很简单,本文不再赘述。

# -*- coding: UTF-8 -*-
def trans_to_txt(train_file, txt_file, index):
     
    with open(train_file, 'rb') as sf:
        with open(txt_file, "w") as wf:
            offset = 16 + (28*28*index)
            cur_pos = offset
            count = 28*28
            strlen = 1 
            out_count = 1
            while cur_pos < offset+count:
                sf.seek(cur_pos)
                data = sf.read(strlen)
                res = int(data[0])
        
                #虽然在数据集中像素是1-255表示颜色,这里简化为Y
                if res > 0 :
                    wf.write(" Y ")
                else:
                    wf.write(" 0 ")

                #由于图片是28列,因此在此进行换行
                if out_count % 28 == 0 :
                    wf.write("n")

                cur_pos += strlen
                out_count += 1

trans_to_txt("../data/train-images.idx3-ubyte", "image.txt", 0)

我们运行上述代码,可以得到一个名为image.txt的文件。可以看到该文件的内容如下。其中红色笔记是后面添加了,主要是为看的清楚一些。从图中内容可以看出,这个其实就是手写的“5”。

想学习人工智能,这个的数据集必须掌握,MNIST入门与实战

 

前面我们通过原生的Python接口对数据集进行了可视化的解析。Python有很多已经实现好的库函数,因此我们可以通过一个库函数简化上述功能。

基于第三方库解析数据

采用原生的Python接口实现起来略显复杂。我们知道Python有很多第三方库,因此我们可以借助第三方库来实现对数据集的解析和展示,具体代码如下。

# -*- coding: utf-8 -*-
import os
import struct
import numpy as np

# 读取数据集,以二维数组的方式返回图片信息和标签信息
def load_mnist(path, kind='train'):
   # 从指定目录加载数据集
    labels_path = os.path.join(path,
                               '%s-labels.idx1-ubyte'
                               % kind)
    images_path = os.path.join(path,
                               '%s-images.idx3-ubyte'
                               % kind)
    with open(labels_path, 'rb') as lbpath:
        magic, n = struct.unpack('>II',
                                 lbpath.read(8))
        labels = np.fromfile(lbpath,
                             dtype=np.uint8)

    with open(images_path, 'rb') as imgpath:
        #解析图片信息,存储在images中
        magic, num, rows, cols = struct.unpack('>IIII',
                                               imgpath.read(16))
        images = np.fromfile(imgpath,
                             dtype=np.uint8).reshape(len(labels), 784)

    return images, labels

# 在终端打印某个图片的数据信息
def print_image(data, index):
    idx = 0;
    count = 0;
    for item in data[index]:
        if count % 28 == 0:
            print("")

        if item > 0:
            print("33[7;31mY 33[0m", end="")
        else:
            print("0 ", end="")
        
        count += 1

def main():
    cur_path = os.getcwd()
    cur_path = os.path.join(cur_path, "..data")
    imgs, labels = load_mnist(cur_path)
    print_image(imgs, 0)


if __name__ == "__main__":
    main()

上述代码中分为两步,第一步是将数据集解析到数组中,第二步是对数组中的某个图片进行显示。这里显示也是通过文本的方式程序,只不过不是存储在文件中,而是打印在终端。比如我们依然打印第一个图片,其效果如下:

想学习人工智能,这个的数据集必须掌握,MNIST入门与实战

 

上述结果的呈现只是通过字符来模拟图片。其实我们可以借助第三方库实现更加完美的图片呈现。接下来我们介绍一下如何通过matplotlib库来呈现图片。这个库非常有用,后续还会接触到这个库。

我们实现一个

def show_image(data, index):
    fig, ax = plt.subplots(nrows=1, ncols=1, sharex=True, sharey=True, )
        
    img = data[0].reshape(28, 28)
    ax.imshow(img, cmap='Greys', interpolation='nearest')

    ax.set_xticks([])
    ax.set_yticks([])
    plt.tight_layout()
    plt.show()

此时可以看到

想学习人工智能,这个的数据集必须掌握,MNIST入门与实战

 

实现上述功能的时候可能会缺少一些第三方库,比如matplotlib等。此时需要我们手动进行安装,具体方法如下:

pip install matplotlib -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

基于TensorFlow的数据解析

MNIST是如此出名,以至于TensorFlow已经对其进行了支持。因此,我们可以通过TensorFlow对其进行加载和解析。下面我们给出用TensorFlow实现的代码。

# -*- coding: utf-8 -*-
from tensorflow.examples.tutorials.mnist import input_data
import pylab

def show_mnist():
    # 通过TensorFlow库解析数据
    mnist = input_data.read_data_sets("../data", one_hot=True)
    im = mnist.train.images[0]
    im = im.reshape(28 ,28)
    # 进行绘图
    pylab.imshow(im, cmap='Greys', interpolation='nearest')
    pylab.show()

if __name__ == "__main__":
    show_mnist()

该代码实现的最终效果与上一个实例一致,这里不再赘述。

经过上一篇文章(《人工智能学习入门之TensorFlow2.2版本安装》)和本篇文章,我们准备好了学习人工智能必备的材料,一个是开发环境,另外一个是素材。接下来我们就开始人工智能的真正学习了!

本文大部分实例在windows 10运行得到。其中红色背景的图片是在Ubuntu18.04环境运行得到。如果代码运行存在问题,请确认软件版本的一致性。



Tags:人工智能   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
11月2日召开的世界顶尖科学家数字未来论坛上,2013年诺贝尔化学奖得主迈克尔·莱维特、2014年诺贝尔生理学或医学奖得主爱德华·莫索尔、2007年图灵奖得主约瑟夫·斯发斯基、1986年图灵奖得主约翰·霍普克罗夫特、2002...【详细内容】
2021-11-03  Tags: 人工智能  点击:(39)  评论:(0)  加入收藏
说起人工智能,大家总把它和科幻电影中的机器人联系起来,而实际上这些科幻场景与现如今的人工智能没什么太大关系。人工智能确实跟人类大脑很相似,但它们的显著差异在于人工智能...【详细内容】
2021-09-17  Tags: 人工智能  点击:(57)  评论:(0)  加入收藏
作者:阿米特&middot;V. 乔希(Ameet V Joshi)来源:华章科技 01 人工智能艾伦&middot;图灵(Alan Turing)对人工智能的定义如下:如果窗帘后面有一台机器,并且有人正在与之互动(无论以何...【详细内容】
2021-09-07  Tags: 人工智能  点击:(74)  评论:(0)  加入收藏
人工智能看似是这几年才流行起来的一个新技术行业,但是人工智能不是一门新学科,它的学科发展已经有了60多年的历史了。如果想要入门人工智能行业,那么你需要学习的知识将会非...【详细内容】
2021-06-16  Tags: 人工智能  点击:(125)  评论:(0)  加入收藏
起源阶段(1943-1969)1943年,神经科学家麦卡洛克(W.S.McCilloch) 和数学家皮兹(W.Pitts)建立了神经网络和数学模型,称为M-P模型,即两个人的名字的合称McCulloch-Pitts。这个模型是对...【详细内容】
2021-06-15  Tags: 人工智能  点击:(132)  评论:(0)  加入收藏
理解什么是人工智能,以及机器学习和深度学习如何影响它,是一种不同凡响的体验。在 Mate Labs 我们有一群自学有成的工程师,希望本文能够分享一些学习的经验和捷径,帮助机器学习...【详细内容】
2021-06-09  Tags: 人工智能  点击:(128)  评论:(0)  加入收藏
韩国著名研究机构IITP(2019年)曾经对外发布了一组调研数据,通过科研专家进行的问卷调查,将全世界范围内的AI强国来了一次评分排座次,最终结果显示中国位列全球第三,第一、二名分别...【详细内容】
2021-05-18  Tags: 人工智能  点击:(402)  评论:(0)  加入收藏
人工智能在各个行业中广泛应用,并且对很多行业都起到了一定的改善作用,同时在各个行业中的应用场景也是大不相同的。那么人工智能在网络安全领域中的应用场景有哪些?人工智能在...【详细内容】
2021-05-12  Tags: 人工智能  点击:(183)  评论:(0)  加入收藏
未来20年,这种工作不可代替,无需担心会失业随着人工智能的发展,已经有很多职业被代替了,尤其是电销行业,在过去需要人工来拨打推销电话,每天差不多最多能够拨打200通电话,这种工作...【详细内容】
2021-05-10  Tags: 人工智能  点击:(139)  评论:(0)  加入收藏
「中国人工智能研究论文总数已经超过了美国,成为全球第一」「人工智能初创企业获得的资本青睐越来越少」「主流NLP系统也存在种族歧视」这些话题都出自斯坦福大学Human-Cent...【详细内容】
2021-04-20  Tags: 人工智能  点击:(203)  评论:(0)  加入收藏
▌简易百科推荐
作为数据科学家或机器学习从业者,将可解释性集成到机器学习模型中可以帮助决策者和其他利益相关者有更多的可见性并可以让他们理解模型输出决策的解释。在本文中,我将介绍两个...【详细内容】
2021-12-17  deephub    Tags:AI   点击:(15)  评论:(0)  加入收藏
基于算法的业务或者说AI的应用在这几年发展得很快。但是,在实际应用的场景中,我们经常会遇到一些非常奇怪的偏差现象。例如,Facebook将黑人标记为灵长类动物、城市图像识别系统...【详细内容】
2021-11-08  数据学习DataLearner    Tags:机器学习   点击:(32)  评论:(0)  加入收藏
11月2日召开的世界顶尖科学家数字未来论坛上,2013年诺贝尔化学奖得主迈克尔·莱维特、2014年诺贝尔生理学或医学奖得主爱德华·莫索尔、2007年图灵奖得主约瑟夫·斯发斯基、1986年图灵奖得主约翰·霍普克罗夫特、2002...【详细内容】
2021-11-03  张淑贤  证券时报  Tags:人工智能   点击:(39)  评论:(0)  加入收藏
鉴于物联网设备广泛部署、5G快速无线技术闪亮登场,把计算、存储和分析放在靠近数据生成的地方来处理,让边缘计算有了用武之地。 边缘计算正在改变全球数百万个设备处理和传输...【详细内容】
2021-10-26    计算机世界  Tags:边缘计算   点击:(45)  评论:(0)  加入收藏
这是几位机器学习权威专家汇总的725个机器学习术语表,非常全面了,值得收藏! 英文术语 中文翻译 0-1 Loss Function 0-1损失函数 Accept-Reject Samplin...【详细内容】
2021-10-21  Python部落    Tags:机器学习   点击:(43)  评论:(0)  加入收藏
要开始为开源项目做贡献,有一些先决条件:1. 学习一门编程语言:由于在开源贡献中你需要编写代码才能参与开发,你需要学习任意一门编程语言。根据项目的需要,在后期学习另一种语言...【详细内容】
2021-10-20  TSINGSEE青犀视频    Tags:机器学习   点击:(37)  评论:(0)  加入收藏
SimpleAI.人工智能、机器学习、深度学习还是遥不可及?来这里看看吧~ 从基本的概念、原理、公式,到用生动形象的例子去理解,到动手做实验去感知,到著名案例的学习,到用所学来实现...【详细内容】
2021-10-19  憨昊昊    Tags:神经网络   点击:(47)  评论:(0)  加入收藏
语言是人类思维的基础,当计算机具备了处理自然语言的能力,才具有真正智能的想象。自然语言处理(Natural Language Processing, NLP)作为人工智能(Artificial Intelligence, AI)的核心技术之一,是用计算机来处理、理解以及运...【详细内容】
2021-10-11    36氪  Tags:NLP   点击:(48)  评论:(0)  加入收藏
边缘计算是什么?近年来,物联网设备数量呈线性增长趋势。根据艾瑞测算, 2020年,中国物联网设备的数量达74亿,预计2025年突破150亿个。同时,设备本身也变得越来越智能化,AI与互联网在...【详细内容】
2021-09-22  汉智兴科技    Tags:   点击:(54)  评论:(0)  加入收藏
说起人工智能,大家总把它和科幻电影中的机器人联系起来,而实际上这些科幻场景与现如今的人工智能没什么太大关系。人工智能确实跟人类大脑很相似,但它们的显著差异在于人工智能...【详细内容】
2021-09-17  异步社区    Tags:人工智能   点击:(57)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条