Программирование [Stepik, Вячеслав Колосков] Разработка LLM с нуля (2025)

[Брат Тук]

Автор: Stepik, Вячеслав Колосков
Название: Разработка LLM с нуля (2025)

Описание:

Этот практический курс погрузит студентов в создание современных языковых моделей (LLM) на примере GPT-архитектуры. Участники с нуля реализуют все основные компоненты Трансформера: от токенизации (BPE) до механизмов Внимания и генерации текста. Для разработки будем использовать только Python и низкоуровневый PyTorch, не полагаясь на какие-либо сторонние библиотеки.

Чему вы научитесь

Научитесь читать схемы архитектур основанных на Трансформерах.

Изучите принципы проектирования современных LLM.

Понимать алгоритм токенизации текста.

Реализовывать ключевые компоненты GPT.

Управлять креативностью модели.

Собирать и подготавливать данные для обучения.

Настраивать Pre-train цикл обучения LLM.

Для кого этот курс

Курс предназначен для разработчиков, инженеров машинного обучения и исследователей, желающих глубоко разобраться в архитектуре современных языковых моделей (LLM).

Начальные требования

Базовые знания Python, минимальный ООП (классы, функции).

Понимание основ машинного обучения (train/test, таргет, фичи, градиент, функции потерь, метрики и т.д.).

Базовые знания по PyTorch: линейные слои, активации, нормализация, дропаут, обратное распространение ошибки.

Желателен опыт реализации простой полносвязнной сети для задачи много-классовой классификации.

Преподаватель: Вячеслав Колосков

Machine Learning Engineer (в телекоме)

В IT работаю более 15 лет. Последние 5 лет работаю Machine Learning Engineer (в телекоме). Много занимался большими табличками (Spark, Hadoop и пр.). В последнее время в основном работаю с NLP и в частности разрабатываю RAG-систему на работе.

Программа курса

Введение

Инструкция

Что такое LLM?

Архитектура LLM

Токены и эмбединги

Byte-Pair Encoding

Эмбединги

Transformer

«‎Внимание»‎

Feed-Forward Network

Decoder

LLM

Собираем GPT

Сэмплирование

Обучение

Датасет

Train/Eval

Применение

Другие модели

GPT-2

LLama

Mistral

Mixtral

Gemma

Подробнее:

Скачать: