1.) SimCLR 是一種微調RestNet一種作法,使其 能夠對於類似的圖片產生相同的向量 至於如何"類似" 由自己定義。凡定義為相似的圖片, 例如把同一個圖片其經過角度旋轉、平移、亮度不同、加入些許雜點的細微變化, 仍視為相同的,故SimCLR 模型必須為相似的圖片建立相同的特徵向量。
simclr 的訓練方法其概念同CLIP model, 一種Representation-Based / Contrastive Learning的方式
先用Data augumentation 產生一個pair ,pair 內的資料彼此是相似的, 如下圖的 x1和 x2 很像, 但x1和 x2, x3很不像. 故 L(x1) 可以表示此Contrastive Loss
同樣的 x2,x3,x4 也是相同的概念, 所以此batch 所計算出的loss為 = 0.25 * (L(x1) +L(x2) +L(x3) +L(x4) )
