В видео информация о сервере локальных моделей, который включен в программу. И рассказано об организации чата/диалога с языковыми нейронными сетями.
Внимание В видео оговорка относительно объёма ОЗУ рабочей станции. Не 16 Мегабайт, а 16 Гигабайт
Представляем Sokol 4.0: Автономная работа и интеллектуальный диалог
Здравствуйте! Рады представить вам новую версию программы — Sokol 4.0. Это принципиально новый этап развития, ключевой особенностью которого стала полная автономность.
Главная философия: Конфиденциальность и независимость
Sokol 4.0 задуман как полностью самостоятельное решение, не требующее установки или наличия сторонних приложений, таких как Ollama, LM Studio или других. Все вычисления могут выполняться локально, на вашем компьютере.
Для кого это создано?
Для пользователей, которые ценят:
Полную конфиденциальность: Ваши данные не покидают ваш компьютер и не отправляются на облачные серверы.
Независимость: Нет необходимости устанавливать, настраивать и разбираться в дополнительном сложном программном обеспечении.
Контроль: Все процессы происходят под вашим полным управлением.
Важное замечание: Для комфортной автономной работы потребуется достаточно мощный компьютер. Мы рекомендуем:
Оптимально: Видеокарта NVIDIA с поддержкой CUDA (например, серии RTX). Это ускорит работу нейронных сетей в десятки раз по сравнению с процессором.
Минимум: Современный многоядерный процессор (от 6 ядер). Это позволит работать с программой без долгих ожиданий.
Гибкость архитектуры: Если конфиденциальность не является критичным фактором, вы по-прежнему можете использовать Sokol 4.0 в режиме работы только на процессоре (CPU) и подключаться к облачным сервисам (AI Tunnel) для транскрибации или использования мощных нейросетевых моделей. Это экономичный вариант.
Ключевые нововведения Sokol 4.0
1. Встроенный сервер локальных нейросетевых моделей
Теперь в программу встроен собственный сервер для работы с локальными моделями (например, в формате GGUF).
Простой запуск: Достаточно нажать кнопку «Пуск сервера моделей».
Гибкая настройка доступа: Сервер можно настроить для работы только на вашем компьютере (127.0.0.1) или сделать доступным в локальной сети (0.0.0.0 или конкретный IP).
Оптимизация под ваше железо: Программа автоматически определяет параметры системы (количество ядер CPU, наличие GPU). При необходимости их можно скорректировать вручную для баланса между скоростью и нагрузкой на систему.
Процесс подключения модели: После настройки нужно указать путь к скачанной нейросетевой модели и запустить сервер. Модель загрузится в память (оперативную или видеопамять) и будет готова к работе.
2. Продвинутый чат с поддержкой контекста (главное новшество)
Раньше общение с нейросетью было построено по принципу «вопрос-ответ»: каждый новый запрос модель воспринимала изолированно, не помня предыдущей беседы.
В Sokol 4.0 появился настоящий диалоговый режим — «Чат».
Контекстная память: Нейросеть запоминает историю разговора в рамках одной вкладки чата. Это позволяет вести осмысленный диалог, задавать уточняющие вопросы и получать ответы в контексте обсуждения.
Управление форматом ответов: В чате ответы по умолчанию форматируются в Markdown. Для одноразовых запросов, где нужен ответ в чистом виде (например, код HTML), можно отключить режим чата и использовать промпты «Свободный разговор» или «HTML».
Визуализация «размышлений»: Для некоторых моделей можно включить отображение промежуточных «размышлений» модели (на английском языке), что помогает понять ход её мысли. Для простых вопросов эту функцию можно отключить для ускорения ответа.
Сохранение и управление диалогами:
Диалоги не сохраняются автоматически, что исключает накопление ненужных данных.
Чтобы сохранить ценный разговор, используется кнопка «Очистить и сохранить». Сохранённый диалог помечается специальным значком.
Важно: Можно открыть сохранённый диалог и продолжить беседу именно с того момента, с сохранением всего контекста.
Поддерживается ведение нескольких параллельных диалогов в разных вкладках, каждый со своей историей.
Как полностью завершить диалог?
Чтобы не только очистить текст, но и удалить контекст беседы (что важно перед началом нового обсуждения), нужно:
Закрыть вкладку браузера (кликнуть на красном крестике в названии вкладки)
Что бы очистить текст во вкладке браузера, необходимо:
Либо снять галочку «Чат».
Либо переключить промпт (со «Свободный разговор» на любой другой).
После этого очистить вкладку. Простое нажатие на значок очистки в активном режиме чата не сработает — это сделано намеренно, чтобы пользователь сознательно управлял контекстом. Но помните, что если вы очистите текст чата, контекст беседы останется. И если вы продолжите задавать вопросы в режиме чата, модель будет давать ответ, учитывая предыдущий контекст.
Заключение
Sokol 4.0 делает мощный инструмент для работы с нейросетевыми моделями и обработки информации более доступным, безопасным и удобным. Теперь вы можете выбирать между максимальной конфиденциальностью локальной работы и гибкостью облачных подключений, а также вести по-настоящему осмысленные диалоги с искусственным интеллектом.
В следующем материале мы подробно расскажем о другой важной функции — транскрибации аудио, которая особенно полезна для специалистов.