Multi-instance attention network for few-shot learning

通过multi-instance的设定可以把image划分成若干个patches，然后attention在patch维度做。

把attention作用到patch-level的作用是可以突出目标区域，强调前景，弱化背景。

根据multi-instance learning定义，Multi-instance bag与image target对应，即bag-label对。bag中的patches在multi-instance中称为instances。一部分instances的latent label与bag label一致，称为positive instances，反之称为negative instances。multi-instance few-shot method的目的就是让bag中的positive instances和negative instances最大化差异，从而达到突出target object(positive instances)的作用。这是multi-instance方法万变不离其中的setting。

Feature embedding function

首先要做的是将Image变成Bag of instances。

参考ViT一类方法的做法，论文将full image切分成了9个patches，每个patch作为一个instance。如果原始full image尺寸较小的话，会允许patches存在一定的overlap。

这些instances代表了bag的局部信息，为了不丢失全局信息，论文额外将full image缩放到与patch相同尺寸，作为bag中全局信息补充的patch。

这些patches(instances)会经过一个特征提取器得到其embedding。

ps: 所有的patches在实验室resize为84x84。

Permutation-invariant aggregation function

在multi-instance learning中，最常见也是最经典的aggregation function就是最大池化和平均池化。最大池化就是选择最可能代表target object的instance embedding作为bag-level representation。而平均池化就是取所有instances的平均值作为bag-level representation。

本文认为，attention同时具备了上述聚合方式的优点，既能突出某些instance，又不会丢失过多信息。但其实基于attention的multi-instance learning不是新东西，本文的新主要是基于patch-level的attention multi-instance learning。

假设，和分别是instance embedding特征维度和数量，以single head self-attention为例，三个参数分别是：。这里值得一提的是，的维度是依赖于instance数量的，又因为论文固定instance为9+1个，所以这里的setting可以减少一定的参数量。接下来就是常规的self-attention：

此时。但之后仍是instance embedding，为了聚合为bag embedding，需要额外的learnable parameter matrix ：

这个就是bag embedding。

如果扩展到multi-head attention的话，就沿着维度做切分，分给各个head。

Score function

We adopt a simple meta-classifier prototypical network to be our score function

Number of patches and heads

patches和heads的增加都会给性能带来一定提升。

Attention map of query image in miniimagenet dataset