Anti-Distillation: Knowledge Transfer from a Simple Model to the Complex One

Ксения Евгеньевна Петрушина

Научный руководитель: д.ф.-м.н. Стрижов Вадим Викторович
Научные консультанты: Грабовой Андрей Валериевич, Бахтеев Олег Юрьевич

Annotation

We are considering the problem of adapting the model to a new data with a large amount of information. It is proposed to build a model of greater complexity with further knowledge transfer from a simple model to it. It is necessary to take into account not only the quality of the prediction on the original samples, but also the adaptability to novel data and the robustness of the obtained solution.

Рассматривается задача адаптации модели к новой выборке с большим количеством информации. Для адаптации предлагается построить новую модель большей сложности с дальнейшим переносом в нее информации от простой модели. При переносе информации требуется учитывать не только качество прогноза на исходной выборке, но так же и адаптируемость новой модели к новой выборке и робастнсоть полученного решения.