#Gemma

'Cache-to-Cache (C2C) дает LLM возможность обмениваться смыслом через KV-Cache, улучшая точность на несколько процентов и снижая задержку примерно в 2 раза по сравнению с текстовым обменом.'

Google AI представил VaultGemma 1B — открытую модель на 1 млрд параметров, обученную с дифференциальной приватностью, которая подтверждает практическую возможность масштабного приватного предобучения