U Net Model

Paper: https://arxiv.org/abs/1505.04597

Results

Model	Test	Valid Loss	Valid mIOU(inference)	Kaggle LB
UNet	Base			0.315
UNet	EnergyFunction(iter=1)			0.265
UNet	EnergyFunction(iter=2)			0.306
UNet	EnergyFunction(iter=2) no Separator			0.315	Best1
UNet	EnergyFunction(iter=3) no Separator			0.262
UNet	Best1 + ScaleAugmentation(20%)			0.315	Best1
UNet	Best1 + ScaleAugmentation(30%)	0.1291	0.4166	0.326
UNet	Best1 + ScaleAugmentation(40%)	0.1223	0.4258	0.335	Best2
UNet	Best1 + ScaleAugmentation(50%)	0.1247	0.4255	0.331
UNet	Best2 + ErosionFix1		0.4353	0.339	Best3
Unet	Best2 + HyperOpt			0.358
UNetValid	Best3 + ValidPadding(Original)	0.1198	0.4748	0.382	Best4
UNetValid	Best4 + HyperOpt + FixedResize			0.423	Best5
UNetValid	Best5 + Reduce FP Heuristic			0.439	Best6
UNetValid	Best6 + ExtraData1			0.479	Best7
UNetValid	Best7 + Mirror Crop			0.487	Best8
UNetValid	Best8 + Width32Channel	0.0568	0.4967 (0.5472)	0.496	Best9
UNetValid	Best9 + w32d4	0.0553	0.4997 (0.5533)	0.488
UNetValid	Best9 + w32d5	0.0553	0.4948 (0.5513)	0.484
UNetValid	Best9 + w48d4	0.0567	0.4881 (0.5387)
UNetValid	Best9 + w48d5	0.0619	0.4959 (0.5474)
UNetValid	Best10 + Init0.02 + dropout0.85		(0.4974)	0.504	Best10

• Best1 : EnergyFunction이 사용되는 경우, Separator 없이 Energy Function을 잘 트레이닝하는 것이 성능이 더 좋음
• Best2 : Scale Augmentation에 대해 40% 수준의 파라미터가 가장 좋은 성능을 줌.
• ErosionFix1 : Erosion을 계산하는 시기가, augmentation 시기 이후여야 정확히 1픽셀에 해당하는 테두리만 백그라운드로 변경하는 것이라, 이 부분을 반영하여 테두리가 정확하게 나타나도록 개선함.
• ExtraData1 : https://www.kaggle.com/voglinio/external-h-e-data-with-mask-annotations/notebook
• MirrorCrop : UNet Paper에서 설명된 것처럼, Crop하는 것 구현. 기존에는 무조건 mirror padding만 사용했는데, 만약 원본 이미지 상에 영역이 존재하면 패딩 대신 해당 이미지 영역으로 padding을 채우는 것까지 구현함.

Checkpoints

Tag	Checkpoint
Best9	/data/public/rw/kaggle-data-science-bowl/submissions/lb496_mirror_w32_unet_lr=0.00010000_epoch=600_bs=16/model/best.ckpt-20350
Best10	/data/public/rw/kaggle-data-science-bowl/submissions/lb504_unet/model/best.ckpt-20017