Коротко, это когда ты более легкую и быструю модель учишь на основе ответов тяжелой и долгой. 

Make_hard, ну да, вместо того, чтобы использовать supervised fine-tuning, когда сажают кучу кенийцев, чтобы они следили, чтобы ChatGPT не сп… л чего то лишнего про меньшинства, просто натренировали на входах / выходах, использовав ChatGPT (и наверное кучу других моделей). Что в принципе тоже неплохое изобретение. И открывает дорогу для санкций в отношении китая за воровство технологий, потому что условия использования от OpenAI наверняка запрещают такие вещи. Надо только дождаться, когда кто то объяснит это Трампу.

Но рядовому пользователю это все пофиг! Если мне надо автоматизировать чатбота для поддержки пользователей, то я поставлю эту штуку на свой сервер и смогу не платить Open AI за их API. Хотя основные деньги в сценарии RAG уходят даже не на inference, а на генерацию Embeddings. Я кстати не знаю — DeepSeek модель для embeddings тоже выкатили ?