深度学习比赛中常见的一种手段：测试时增强（TTA）-英雄云拓展知识分享

前言

       在很多深度学习的比赛项目中，各种方法trick层见叠出，其中有一种颇受争议的方法就是在测试时使用增强的手段，将输入的源time augmentation, TTA），今天我们就来讲说这个测试时增强。

TTA流程

       TTA的基本流程是经过对原style="text-align: center;">

这么看上去需要确认很多问题：

1. 

   原

2. 生成的样本在获得推理结果以后应当使用甚么样的方法进行合成。

我们举个简单的例子来讲明TTA的作用和如何利用ModelArts平台提供的功能来使用TTA。

TTA使用实例

实验环境：

       数据集：在前一篇博客中，我有说明一种用于解决数据过少和不均衡现象的方法，一样我们也使用这个太阳能电板的数据集。数据集样例style="text-align: center;">

       其中左边为正常样本     使用框架及算法：pytorch官方提供的训练imagenet开源代码，参考https://github.com/pytorch/examples/tree/master/imagenet

       训练策略：50个epoch，初始学习率lr0.001，batchsize16用Adam的优化器训练。

原模型精度信息：

TTA进程：

1. 首先，我们要选定使用的增强方法来获得多样本。这里有两类方法:

   (1).从训练中使用的增强手段入手，用训练中使用的增强手段获得多样本。

          如pytorch训练imagenet的代码中，使用了算子transforms.RandomHorizontalFlip()做垂直方向的翻转操作。那末对模型而言，应当也见过很多经过垂直翻转的      对原模型进行评估，评估代码以下，这里是修改了开源代码中validate部份做前向部份推理的代码：

    with torch.no_grad():    
            end = time.time()
            for i, (images, target) in enumerate(val_loader):
                if args.gpu is not None:
                    images = images.cuda(args.gpu, non_blocking=True)
                target = target.cuda(args.gpu, non_blocking=True)
    
                # compute output
                output_origin = model(images)
                output = output_origin
                loss = criterion(output, target)
                pred_list += output.cpu().numpy()[:, :2].tolist()
                target_list += target.cpu().numpy().tolist()
                # measure accuracy and record loss
                acc1, acc5 = accuracy(output, target, topk=(1, 5), i=i)
                losses.update(loss.item(), images.size(0))
                top1.update(acc1[0], images.size(0))
                top5.update(acc5[0], images.size(0))
    
                # measure elapsed time
                batch_time.update(time.time() - end)
                end = time.time()
    
                if i % args.print_freq == 0:
                    progress.display(i)
            # TODO: this should also be done with the ProgressMeter
            print(' * Acc@1 {top1.avg:.3f} Acc@5 {top5.avg:.3f}'
                  .format(top1=top1, top5=top5))
        name_list = val_loader.dataset.samples
        for idx in range(len(name_list)):
            name_list[idx] = name_list[idx][0]
        analyse(task_type='image_classification', save_path='./', pred_list=pred_list, label_list=target_list, name_list=name_list)

       评估就是需要取得3个list，推理的直接的结果logits组合成的pred_list，存储的是每张21.92235565185547]...[xxx, xxx]]。一个真实的label值组成的target_list，存储的是每张1, 0, 1, 1..., 1, 0]。还有原... xxx.jpg]，这里是从pytorch度数据模块的类中经过val_loader.dataset.samples获得到后重新组合的。然后调用deep_moxing库中的analyse接口，在save_path下会生成一个model_analysis_results.json的文件，将这个文件上传到页面上任意一个训练任务的输出目录下，就可以在页面的评估界面上看到对模型评估的结果：

这结果中我们需要分析模型的敏感度：

接下来我们可以看看在pytorch中，如何加入TTA。

    pytorch的好处在于，可以直接获得到输入模型前的tensor并进行想要的操作。如在eval中

 with torch.no_grad():
        end = time.time()
        for i, (images, target) in enumerate(val_loader):
            if args.gpu is not None:
                images = images.cuda(args.gpu, non_blocking=True)

这里拿到的images就是已做好前处理的一个batch的class="brush:python;toolbar:false">def flip(x, dim):

    indices = [slice(None)] * x.dim()

    indices[dim] = torch.arange(x.size(dim) - 1, ⑴, ⑴,

                                dtype=torch.long, device=x.device)

    return x[tuple(indices)]

dim为模式，这里使用2为竖直方向的翻转，3为水平方向，1为做通道翻转。使用img_flip = flip(images, 2)就可以得到竖直方向翻转的class="brush:python;toolbar:false">img = images.numpy()

img[0] = cv2.blur(img[0], (3, 3))

images_blur = torch.from_numpy(img.copy())

3. 结果合成

   我们现在就得到了3个输出，原style="text-align: center;">

       先看flip_output，一个想法是，原训练中见过的做过翻转的style="text-align: center;">logits = 0.5*origin_result + 0.5*flip_result

       此时，模型的精度结果为：

       可以看到，虽然损耗了norm类的精度，但是相对而言更重要的指标abnorm类的recall有提升。

       然后分析blur_output，可以看到，位于最低的0⑵0%时，瑕疵类的精度是最高的，但是norm类的精度掉的太多，而且模糊本身就是提升abnorm类精度的，所以我们做一个折衷，一样取blurstyle="text-align: center;">logit = 0.5*origin_result + 0.5*blur_output

       此时，模型的精度结果为：

       可以看到，norm类的精度降落较多，abnorm类增长明显，与模型评估的分析结果一致。

       综上，我们调剂的结果虽然对norm类的损耗较多致使整体精度降落，但是这是符合模型分析的结果的，我们需要的指标就是abnorm类recall的提升，而且可以看到，模型评估的结果要稍好过使用原版增强的合成结果。

小结

       我们这里实验了两类使用test time augmatation的方法，一种是针对训练进程自带的增强方法来选择测试前增强，另外一种是经过对模型进行敏感度分析，分析