#запоминание

Исследователи представили метод с использованием латентных векторных полей для анализа баланса запоминания и обобщения в нейросетевых автокодировщиках без изменения моделей.

Meta и партнёры разработали новую методику для точного измерения запоминания языковых моделей, показав, что GPT хранит около 3,6 бит на параметр, и предоставили важные инсайты о различии между запоминанием и обобщением.