siglip1 [SIGLIP] Sigmoid Loss for Language Image Pre-Training 논문 링크: https://arxiv.org/pdf/2303.15343깃허브: https://github.com/google-research/big_vision0. Abstract본 논문에서 제안하는 기법 - Sigmoid loss for Language-Image Pre-training(SigLIP)기존 소프트맥스 정규화 (Softmax Normalization)을 사용하는 일반적인 contrastive 학습과 다르게 sigmoid 손실함수는 이미지-텍스트 쌍에 대해서만 연산 → 정규화를 위해 글로벌한 관점의 pairwise 유사도를 요구하지 않음Sigmoid 손실함수는 다음의 두가지 사항을 달성효율적 연산을 통한 배치 사이즈의 증가작은 배치 사이즈에서 좋은 성능을 달성Locked-image Tunin.. 2024. 8. 31. 이전 1 다음
