Вы можете запустить генеративный ИИ локально на своем компьютере
Вы можете запустить генеративный ИИ локально на своем компьютере
Возможно, вы уже опробовали генеративные движки ИИ, такие как ChatGPT и Google Bard. Но, несмотря на популярность облачного доступа к этим инструментам, вы также можете установить их локально на свой компьютер. В этом есть некоторые реальные преимущества: Конечно, это более конфиденциально, и вы не получите никаких предупреждений о том, что ИИ перегружен или недоступен. Кроме того, это просто здорово.
Чтобы начать работу, вам понадобится программа для запуска ИИ и большая языковая модель (или LLM) для генерации ответов. Такие LLM лежат в основе текстовых генераторов ИИ. GPT‑4 – это последняя модель, на которой работает ChatGPT, а теперь Google выпустила Gemini – новую и улучшенную LLM для работы с Google Bard.
Если вы никогда раньше не слышали термин LLM, то вы явно не читали наш глоссарий по ИИ. Для полного понимания этого термина требуется определенный уровень научных и математических знаний, но если говорить в общих чертах, то LLM обучаются на огромном количестве выборочных данных и учатся распознавать связи между словами и предложениями (например, какие слова обычно идут друг за другом).
Существует несколько моделей ИИ, которые вы можете установить локально.Credit: Lifehacker
Если говорить максимально просто, LLM – это усовершенствованные системы автокоррекции. На самом деле они ничего не «знают», но они понимают, как слова должны сочетаться друг с другом, чтобы звучать естественно и иметь смысл. На достаточно высоком уровне это начинает выглядеть так, будто вы разговариваете с настоящим человеком. Это еще не все, но суть вы уловили.
Когда речь заходит о проведении собственных LLM, вам не нужно быть огромной компанией или исследовательской организацией, чтобы получить к ним доступ: Есть несколько общедоступных, в том числе выпущенный компанией Meta под названием LLaMa; другие были разработаны исследователями и добровольцами. Общая идея заключается в том, что общедоступные LLM помогут стимулировать инновации и повысить прозрачность.
В этом руководстве мы будем использовать LM Studio, чтобы показать вам, как установить LLM локально. Это один из лучших вариантов для этой работы (хотя есть и другие). Она бесплатна, и вы можете установить ее на системы Windows, macOS и Linux.
Как установить локальный LLM
Первым делом необходимо скачать LM Studio с официального сайта, обратив внимание на минимальные системные требования: Работа LLM довольно требовательна, поэтому для этого вам понадобится довольно мощный компьютер. Подойдут компьютеры с Windows или Linux, поддерживающие AVX2 (обычно на более новых машинах), а также компьютеры Apple Silicon Mac с macOS 13.6 или новее; рекомендуется не менее 16 ГБ оперативной памяти. На ПК также рекомендуется не менее 6 ГБ VRAM.
Когда вы установите и запустите программу, вам нужно будет найти LLM для загрузки и использования – без него у вас мало что получится. Отчасти привлекательность LM Studio заключается в том, что она рекомендует «новые и заслуживающие внимания» LLM на переднем экране приложения, так что если вы не знаете, какой LLM вам нужен, вы можете выбрать его здесь.
Вы увидите, что LLM различаются по размеру, по сложности, по источникам данных, по целям и по скорости: нет правильного или неправильного ответа, какой из них использовать, но есть много информации на таких сайтах, как Reddit и Hugging Face, если вы хотите провести исследование. Как и следовало ожидать, размер LLM может достигать нескольких гигабайт, так что вы можете заняться чтением, пока ждете загрузки.
LM Studio поможет вам найти LLM для использования.Credit: Lifehacker
Если на переднем экране вы видите LLM, который вам нравится, просто нажмите «Загрузить». В противном случае вы можете запустить поиск или вставить URL-адрес в поле в верхней части экрана. Вы сможете увидеть размер каждого LLM, чтобы оценить время загрузки, а также дату последнего обновления. Также можно отфильтровать результаты, чтобы увидеть модели, которые были загружены чаще всего.
Вы можете установить сколько угодно LLM (если у вас есть свободное место), но если в вашей системе есть хотя бы одна модель, она будет отображаться на панели «Мои модели». (Чтобы перейти к ней, щелкните на значке папки слева.) Здесь вы можете просмотреть информацию о каждой установленной модели, проверить наличие обновлений и удалить модели.
Чтобы начать делать подсказки, откройте панель AI Chat с помощью значка речевого пузыря слева. Выберите модель, которую вы хотите использовать, вверху, затем введите свою подсказку в поле сообщения пользователя внизу и нажмите Enter. Если вы уже пользовались таким LLM, как ChatGPT, то получите знакомый результат.
Система подсказок и ответов похожа на ChatGPT или Bard.Credit: Lifehacker
С правой стороны вы можете управлять различными настройками, связанными с LLM, включая то, как обрабатываются длинные ответы и насколько большая часть работы по обработке данных перекладывается на GPU вашей системы. Здесь также есть поле для «предварительного запроса»: например, вы можете указать LLM, чтобы он всегда отвечал в определенном тоне или стиле речи.
Нажмите кнопку «Новый чат» слева, если хотите начать новый разговор, а предыдущие чаты сохранятся в журнале на случай, если вам понадобится к ним вернуться. После завершения генерации ответа вам предоставляется возможность сделать скриншот, скопировать текст или сгенерировать другой ответ из той же подсказки.
Вот и все! Вы начинаете работать с местными LLM. Если вы захотите углубиться в разработку LLM и подсказок, то сможете изучить всевозможные направления, но основы понять несложно, а LM Studio делает процесс настройки очень простым, даже если вы совсем новичок.
Читайте также:
- Взялись бы немцы за оружие, чтобы защитить свою страну?
- Январские железнодорожные забастовки в Германии
- Неограниченные забастовки немецких поездов
Источник: lifehacker.com
Читайте также:
Обсуждение
Самые последние новости
