您当前的位置:首页 > 电脑百科 > 程序开发 > 算法

10个算法从业人员必须知道的TensorFlow技巧

时间:2020-09-23 10:30:50  来源:  作者:

作者:Rohan Jagtap

编译:ronghuaiyang

导读

掌握这些可以更高效的模型的提高开发效率。

10个算法从业人员必须知道的TensorFlow技巧

 

TensorFlow 2.x在构建模型和TensorFlow的整体使用方面提供了很多简单性。那么TF2有什么新变化呢?

  • 使用Keras轻松构建模型,立即执行。
  • 可在任何平台上进行强大的模型部署。
  • 强大的研究实验。
  • 通过清理过时的API和减少重复来简化API。

在本文中,我们将探索TF 2.0的10个特性,这些特性使得使用TensorFlow更加顺畅,减少了代码行数并提高了效率。

1(a). tf.data 构建输入管道

tf.data提供了数据管道和相关操作的功能。我们可以建立管道,映射预处理函数,洗牌或批处理数据集等等。

从tensors构建管道

>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1])
>>> iter(dataset).next().numpy()
8

构建Batch并打乱

# Shuffle
>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6)
>>> iter(dataset).next().numpy()0
# Batch>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).batch(2)
>>> iter(dataset).next().numpy()array([8, 3], dtype=int32)
# Shuffle and Batch>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6).batch(2)
>>> iter(dataset).next().numpy()array([3, 0], dtype=int32)

把两个Datsets压缩成一个

>>> dataset0 = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1])
>>> dataset1 = tf.data.Dataset.from_tensor_slices([1, 2, 3, 4, 5, 6])
>>> dataset = tf.data.Dataset.zip((dataset0, dataset1))
>>> iter(dataset).next()
(<tf.Tensor: shape=(), dtype=int32, numpy=8>, <tf.Tensor: shape=(), dtype=int32, numpy=1>)

映射外部函数

def into_2(num):
     return num * 2
    >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).map(into_2)
>>> iter(dataset).next().numpy()
16

1(b). ImageDataGenerator

这是tensorflow.keras API的最佳特性之一。ImageDataGenerator能够在批处理和预处理以及数据增强的同时实时生成数据集切片。

生成器允许直接从目录或数据目录中生成数据流。

ImageDataGenerator中关于数据增强的一个误解是,它向现有数据集添加了更多的数据。虽然这是数据增强的实际定义,但是在ImageDataGenerator中,数据集中的图像在训练的不同步骤被动态地变换,使模型可以在未见过的有噪数据上进行训练。

train_datagen = ImageDataGenerator(
        rescale=1./255,
        shear_range=0.2,
        zoom_range=0.2,
        horizontal_flip=True
)

在这里,对所有样本进行重新缩放(用于归一化),而其他参数用于增强。

train_generator = train_datagen.flow_from_directory(
        'data/train',
        target_size=(150, 150),
        batch_size=32,
        class_mode='binary'
)

我们为实时数据流指定目录。这也可以使用dataframes来完成。

train_generator = flow_from_dataframe(
    dataframe,    x_col='filename',
    y_col='class',
    class_mode='categorical',
    batch_size=32
)

x_col参数定义图像的完整路径,而y_col参数定义用于分类的标签列。

模型可直接用生成器来喂数据。需要指定steps_per_epoch参数,即number_of_samples // batch_size.

model.fit(
    train_generator,    validation_data=val_generator,    epochs=EPOCHS,    steps_per_epoch=(num_samples // batch_size),
    validation_steps=(num_val_samples // batch_size)
)

2. 使用tf.image做数据增强

数据增强是必要的。在数据不足的情况下,对数据进行更改并将其作为单独的数据点来处理,是在较少数据下进行训练的一种非常有效的方式。

tf.image API中有用于转换图像的工具,然后可以使用tf.data进行数据增强。

flipped = tf.image.flip_left_right(image)
visualise(image, flipped)
10个算法从业人员必须知道的TensorFlow技巧

 

上面的代码的输出

saturated = tf.image.adjust_saturation(image, 5)
visualise(image, saturated)
10个算法从业人员必须知道的TensorFlow技巧

 

上面的代码的输出

rotated = tf.image.rot90(image)
visualise(image, rotated)
10个算法从业人员必须知道的TensorFlow技巧

 

上面的代码的输出

cropped = tf.image.central_crop(image, central_fraction=0.5)
visualise(image, cropped)
10个算法从业人员必须知道的TensorFlow技巧

 

上面的代码的输出

3. TensorFlow Datasets

pip install tensorflow-datasets

这是一个非常有用的库,因为它包含了TensorFlow从各个领域收集的非常著名的数据集。

import tensorflow_datasets as tfds
mnist_data = tfds.load("mnist")
mnist_train, mnist_test = mnist_data["train"], mnist_data["test"]
assertisinstance(mnist_train, tf.data.Dataset)

tensorflow-datasets中可用的数据集的详细列表可以在:https://www.tensorflow.org/datasets/catalog/overview中找到。

tfds提供的数据集类型包括:音频,图像,图像分类,目标检测,结构化数据,摘要,文本,翻译,视频。

4. 使用预训练模型进行迁移学习

迁移学习是机器学习中的一项新技术,非常重要。如果一个基准模型已经被别人训练过了,而且训练它需要大量的资源(例如:多个昂贵的gpu,一个人可能负担不起)。转移学习,解决了这个问题。预先训练好的模型可以在特定的场景中重用,也可以为不同的场景进行扩展。

TensorFlow提供了基准的预训练模型,可以很容易地为所需的场景扩展。

base_model = tf.keras.Applications.MobileNetV2(
    input_shape=IMG_SHAPE,    include_top=False,
    weights='imagenet'
)

这个base_model可以很容易地通过额外的层或不同的模型进行扩展。如:

model = tf.keras.Sequential([
    base_model,    global_average_layer,    prediction_layer])

5. Estimators

估计器是TensorFlow对完整模型的高级表示,它被设计用于易于扩展和异步训练

预先制定的estimators提供了一个非常高级的模型抽象,因此你可以直接集中于训练模型,而不用担心底层的复杂性。例如:

linear_est = tf.estimator.LinearClassifier(
    feature_columns=feature_columns)linear_est.train(train_input_fn)result = linear_est.evaluate(eval_input_fn)

这显示了使用tf.estimator. Estimators构建和训练estimator是多么容易。estimator也可以定制。

TensorFlow有许多estimator ,包括LinearRegressor,BoostedTreesClassifier等。

6. 自定义层

神经网络以许多层深网络而闻名,其中层可以是不同的类型。TensorFlow包含许多预定义的层(如density, LSTM等)。但对于更复杂的体系结构,层的逻辑要比基础的层复杂得多。对于这样的情况,TensorFlow允许构建自定义层。这可以通过子类化tf.keras.layers来实现。

class CustomDense(tf.keras.layers.Layer):
    def __init__(self, num_outputs):
        super(CustomDense, self).__init__()
        self.num_outputs = num_outputs
    def build(self, input_shape):
        self.kernel = self.add_weight(
            "kernel",
            shape=[int(input_shape[-1]),
            self.num_outputs]
        )    def call(self, input):
        return tf.matmul(input, self.kernel)

正如在文档中所述,实现自己的层的最好方法是扩展 tf.keras.Layer类并实现:

  1. _init_,你可以在这里做所有与输入无关的初始化。
  2. build,其中你知道输入张量的形状,然后可以做剩下的初始化工作。
  3. call,在这里进行前向计算。

虽然kernel的初始化可以在*_init_中完成,但是最好在build中进行初始化,否则你必须在创建新层的每个实例上显式地指定input_shape*。

7. 自定义训练

tf.keras Sequential 和Model API使得模型的训练更加容易。然而,大多数时候在训练复杂模型时,使用自定义损失函数。此外,模型训练也可能不同于默认训练(例如,分别对不同的模型组件求梯度)。

TensorFlow的自动微分有助于有效地计算梯度。这些原语用于定义自定义训练循环。

def train(model, inputs, outputs, learning_rate):
    with tf.GradientTape() as t:
        # Computing Losses from Model Prediction
        current_loss = loss(outputs, model(inputs))
        
    # Gradients for Trainable Variables with Obtained Losses
    dW, db = t.gradient(current_loss, [model.W, model.b])
    
    # Applying Gradients to Weights
    model.W.assign_sub(learning_rate * dW)
    model.b.assign_sub(learning_rate * db)

这个循环可以在多个epoch中重复,并且根据用例使用更定制的设置。

8. Checkpoints

保存一个TensorFlow模型可以有两种方式:

  1. SavedModel:保存模型的完整状态以及所有参数。这是独立于源代码的。model.save_weights('checkpoint')
  2. Checkpoints

Checkpoints 捕获模型使用的所有参数的值。使用Sequential API或Model API构建的模型可以简单地以SavedModel格式保存。

然而,对于自定义模型,checkpoints是必需的。

检查点不包含模型定义的计算的任何描述,因此通常只有当源代码可用时,保存的参数值才有用。

保存 Checkpoint

checkpoint_path = “save_path”
# Defining a Checkpoint
ckpt = tf.train.Checkpoint(model=model, optimizer=optimizer)
# Creating a CheckpointManager Object
ckpt_manager = tf.train.CheckpointManager(ckpt, checkpoint_path, max_to_keep=5)
# Saving a Model
ckpt_manager.save()

从 Checkpoint 加载模型

TensorFlow从被加载的对象开始,通过遍历带有带有名字的边的有向图来将变量与检查点值匹配。

10个算法从业人员必须知道的TensorFlow技巧

 

if ckpt_manager.latest_checkpoint:
    ckpt.restore(ckpt_manager.latest_checkpoint)

9. Keras Tuner

这是TensorFlow中的一个相当新的特性。

!pip install keras-tuner

超参数调优调优是对定义的ML模型配置的参数进行筛选的过程。在特征工程和预处理之后,这些因素是模型性能的决定性因素。

# model_builder is a function that builds a model and returns it
tuner = kt.Hyperband(
    model_builder,
    objective='val_accuracy', 
    max_epochs=10,
    factor=3,
    directory='my_dir',
    project_name='intro_to_kt'
)

除了HyperBand之外,BayesianOptimization和RandomSearch 也可用于调优。

tuner.search(
    img_train, label_train,     epochs = 10,     validation_data=(img_test,label_test),     callbacks=[ClearTrainingOutput()])# Get the optimal hyperparameters
best_hps = tuner.get_best_hyperparameters(num_trials=1)[0]

然后,我们使用最优超参数训练模型:

model = tuner.hypermodel.build(best_hps)
model.fit(    img_train,     label_train,     epochs=10, 
    validation_data=(img_test, label_test))

10. 分布式训练

如果你有多个GPU,并且希望通过分散训练循环在多个GPU上优化训练,TensorFlow的各种分布式训练策略能够优化GPU的使用,并为你操纵GPU上的训练。

tf.distribute.MirroredStrategy是最常用的策略。它是如何工作的呢?

  • 所有的变量和模型图被复制成副本。
  • 输入均匀分布在不同的副本上。
  • 每个副本计算它接收到的输入的损失和梯度。
  • 同步的所有副本的梯度并求和。
  • 同步后,对每个副本上的变量进行相同的更新。
strategy = tf.distribute.MirroredStrategy()with strategy.scope():
    model = tf.keras.Sequential([        tf.keras.layers.Conv2D(            32, 3, activation='relu',  input_shape=(28, 28, 1)
        ),        tf.keras.layers.MaxPooling2D(),        tf.keras.layers.Flatten(),        tf.keras.layers.Dense(64, activation='relu'),
        tf.keras.layers.Dense(10)
    ])    model.compile(        loss="sparse_categorical_crossentropy",
        optimizer="adam",
        metrics=['accuracy']
    )

 

英文原文:https://towardsdatascience.com/10-tensorflow-tricks-every-ml-practitioner-must-know-96b860e53c1



Tags:TensorFlow   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
TensorFlow 2.x在构建模型和TensorFlow的整体使用方面提供了很多简单性。那么TF2有什么新变化呢?...【详细内容】
2020-09-23  Tags: TensorFlow  点击:(48)  评论:(0)  加入收藏
介绍深度学习是机器学习的一个分支。深度学习的独特之处在于它带来的准确性和效率。经过大量数据训练后,深度学习系统可以匹配甚至超过人脑的认知能力。PyTorch和TensorFlow...【详细内容】
2020-08-07  Tags: TensorFlow  点击:(126)  评论:(0)  加入收藏
腾讯宣布开源 Transformer 推理加速工具 TurboTransformers。该工具面向自然语言处理领域中 Transformers 相关模型丰富的线上预测场景,据介绍,其在微信、腾讯云、QQ 看点...【详细内容】
2020-04-26  Tags: TensorFlow  点击:(104)  评论:(0)  加入收藏
Tensorflow已经成长为事实上的机器学习(ML)平台,在业界和研究领域都很流行。对Tensorflow的需求和支持促成了大量围绕训练和服务机器学习(ML)模型的OSS库、工具和框架。Tensorflo...【详细内容】
2019-03-29  Tags: TensorFlow  点击:(333)  评论:(0)  加入收藏
▌简易百科推荐
前言Kafka 中有很多延时操作,比如对于耗时的网络请求(比如 Produce 是等待 ISR 副本复制成功)会被封装成 DelayOperation 进行延迟处理操作,防止阻塞 Kafka请求处理线程。Kafka...【详细内容】
2021-12-27  Java技术那些事    Tags:时间轮   点击:(1)  评论:(0)  加入收藏
博雯 发自 凹非寺量子位 报道 | 公众号 QbitAI在炼丹过程中,为了减少训练所需资源,MLer有时会将大型复杂的大模型“蒸馏”为较小的模型,同时还要保证与压缩前相当的结果。这就...【详细内容】
2021-12-24  量子位    Tags:蒸馏法   点击:(9)  评论:(0)  加入收藏
分稀疏重建和稠密重建两类:稀疏重建:使用RGB相机SLAMOrb-slam,Orb-slam2,orb-slam3:工程地址在: http://webdiis.unizar.es/~raulmur/orbslam/ DSO(Direct Sparse Odometry)因为...【详细内容】
2021-12-23  老师明明可以靠颜值    Tags:算法   点击:(7)  评论:(0)  加入收藏
1. 基本概念希尔排序又叫递减增量排序算法,它是在直接插入排序算法的基础上进行改进而来的,综合来说它的效率肯定是要高于直接插入排序算法的;希尔排序是一种不稳定的排序算法...【详细内容】
2021-12-22  青石野草    Tags:希尔排序   点击:(6)  评论:(0)  加入收藏
ROP是一种技巧,我们对execve函数进行拼凑来进行system /bin/sh。栈迁移的特征是溢出0x10个字符,在本次getshell中,还碰到了如何利用printf函数来进行canary的泄露。ROP+栈迁移...【详细内容】
2021-12-15  星云博创    Tags:栈迁移   点击:(19)  评论:(0)  加入收藏
一、什么是冒泡排序1.1、文字描述冒泡排序是一种简单的排序算法。它重复地走访要排序的数列,一次比较两个元素,如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地...【详细内容】
2021-12-15    晓掌柜丶韶华  Tags:排序算法   点击:(16)  评论:(0)  加入收藏
在了解golang的map之前,我们需要了解哈希这个概念。哈希表,又称散列表(Hash table),是根据键(key)而直接访问在内存储存位置的数据结构。也就是说,它通过计算出一个键值的函数,将...【详细内容】
2021-12-07  一棵梧桐木    Tags:哈希表   点击:(13)  评论:(0)  加入收藏
前面文章在谈论分布式唯一ID生成的时候,有提到雪花算法,这一次,我们详细点讲解,只讲它。SnowFlake算法据国家大气研究中心的查尔斯&middot;奈特称,一般的雪花大约由10^19个水分子...【详细内容】
2021-11-17  小心程序猿QAQ    Tags:雪花算法   点击:(24)  评论:(0)  加入收藏
导读:在大数据时代,对复杂数据结构中的各数据项进行有效的排序和查找的能力非常重要,因为很多现代算法都需要用到它。在为数据恰当选择排序和查找策略时,需要根据数据的规模和类型进行判断。尽管不同策略最终得到的结果完...【详细内容】
2021-11-04  华章科技    Tags:排序算法   点击:(37)  评论:(0)  加入收藏
这是我在网上找的资源的一个总结,会先给出一个我看了觉得还行的关于算法的讲解,再配上实现的代码: Original author: Bill_Hoo Original Address: http://blog.sina.com.cn/s/bl...【详细内容】
2021-11-04  有AI野心的电工和码农    Tags: KMP算法   点击:(36)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条