Пост для канала Варим МЛ (Женя Никитин, Цельс)

Что такое большие языковые модели? Чем они отличаются от предыдущих языковых моделей?

Как обучаются LLM? Какие библиотеки есть для дообучения?

Что такое токенизация?

Чем отличаются продвинутые архитектуры от базовых?

Как оценивать качество работы LLM-моделей?

Все ли задачи, связанные с текстом, нужно решать с помощью LLM?

Как дорого инференсить LLM-модели? Какое железо нужно? Какие есть библиотеки для бэкенда и фронтенда?

Какие есть техники оптимизации инференса?

Какие метрики можно собирать на инференсе?

Как качество работы LLM-модели зависит от длины контекста? Возможно ли увеличить контекст предобученной модели?

Какие есть способы улучшить качество моделей без их дообучения?

Какие особенности есть у метода RAG? Как он работает?

Как обезопаситься от нежелательных и небезопасных ответов LLM?

В чём преимущества и недостатки использования сторонних API vs локальных моделей?

Что такое LLM-агент? Что они умеют? Какие у них ограничения? Что такое память в контексте LLM-агента?

Что такое инструменты (tools)? Какие инструменты могут использовать LLM-агенты?

Что делать с русским языком?

Могут ли LLM работать с разными модальностями?