최적화 모델
-
Bayesian Optimization Meets Self-DistillationAI/Vision 2024. 8. 9. 21:22
ICCVBayesian Optimization Meets Self-DistillationLunit Inc.Auto ML과 self-distillation을 함께 진행하는 방법이다. 개인적으로 self-distillation을 이용한 연구를 진행하며 안정적으로 학습이 진행되는 hyperparameter(loss weight, lr scheduler gamma value, etc...)를 찾기가 어려워 grid search 이외에 다른 방법이 있나 찾아보다가 알게 된 논문이다. 실제로 연구에 적용을 해보지는 못했지만 흥미로운 논문이었다. DOI: 10.1109/ICCV51070.2023.00163 CSDL | IEEE Computer Society www.computer.org0. Hyperparameter..