LLM в продакшне

Claude API, GPT, open-source LLM — от промптов до деплоя

24xcontracts

Ускорение ревью

$0.003Claude Haiku

За 1K токенов

99.5%GPT-4 level

Точность

10xprompting

Дешевле fine-tune

AI Insight

Кейс: AI-юрист для Forte Bank. Claude API анализирует договоры, находит риски, предлагает правки. Время проверки одного договора: с 2 часов до 5 минут. 24x ускорение.

Ключевые темы

Claude API и GPT API: аутентификация, модели, параметры (temperature, max_tokens)

Prompt Engineering: system/user/assistant, few-shot, chain-of-thought

Structured output: JSON mode, function calling, tool use

Open-source LLM: Llama 3, Mistral, Qwen — когда использовать вместо API

Стоимость: токены, кэширование, batch API — оптимизация расходов

Аналитика и графики

Старый подход vs AI-подход

🪦Старый век

🚀Новый век

Анализ документов

Юрист вручную — 2 часа на документ

24x

Claude API — 5 минут с объяснениями

Инструменты урока

Claude APIOpenAI APILangChainPythonAnthropic SDK

Домашнее задание

Практическое задание

Создайте AI-ассистента с Claude API: 1) Загрузка документа (PDF/TXT), 2) Анализ содержимого, 3) Ответы на вопросы по документу, 4) Structured output в JSON. Кэшируйте промпты.

Урок 52 из 59

Transformers и BERT

RAG: Retrieval-Augmented Generation