все говорят о @karpathy autoresearch, и большинство из вас не имеют представления, что это на самом деле делает.

есть скрипт обучения (train(dot)py), который обучает небольшую языковую модель, по сути, маленький GPT. и есть файл инструкции (program(dot)md), который говорит ИИ-агенту, что делать.
вы нажимаете старт. агент изменяет скрипт обучения, обучается 5 минут, проверяет результат. лучше? оставить. хуже? откатить. повторять 100 раз за ночь, пока вы спите.
вот и все.
что он на самом деле оптимизирует: АРХИТЕКТУРУ МОДЕЛИ. не прогнозы. не сделки. не ваш портфель.
такие вещи как:
→ 4 слоя или 8?
→ лучший коэффициент обучения?
→ AdamW или Muon оптимизатор?
→ какой размер батча лучше всего подходит для ЭТОГО конкретного GPU?
оптимальная архитектура зависит от вашего оборудования. H100 требует совершенно другую модель, чем ваш MacBook. autoresearch автоматически находит лучшую конфигурацию для вашей машины.
что вы МОЖЕТЕ сделать с этим:
> создать крошечную LLM, которая пишет код, autoresearch находит лучшую архитектуру, вы обучаете на своем датасете
> создать легкий чатбот, который работает офлайн на вашем телефоне
> обучить модель на вашем собственном стиле письма, чтобы она звучала как вы
> протестировать "RoPE превосходит ALiBi для небольших моделей?" 100 вариантов за одну ночь вместо 3 недель работы над кандидатской
> оптимизировать модель для Raspberry Pi или другого edge-устройства
что вы НЕ МОЖЕТЕ делать:
> предсказывать цены акций
> находить торговые преимущества
> анализировать таблицы
> предсказывать спортивные результаты
autoresearch — это инструмент для тех, кто хочет СТРОИТЬ языковые модели, а не ИСПОЛЬЗОВАТЬ их. Карпати создал автономный цикл, где ИИ улучшает ИИ. по-настоящему гениально. но он решает очень конкретную задачу.
а эта задача, вероятно, не ваша. что нормально, просто перестаньте притворяться, что это что-то другое.