Сокол 4.0 + AI

Инсталлятор v4.0 + AI
Zip - архив v4.0 + AI

Сборка для видеокарт RTX 50.. серии. Установочный файл весит 5 Gb (6 Gb zip архив). После распаковки занимает примерно 8,5 Gb.

Zip архив сборки для RTX cuda 50

Zip архив "Сокол" v4.0 + AI_cuda50

Готова новая версия СППРП "Сокол" v4.1 + AI

Тем кто уже установил 4.0 файлы новой версии скачивать и устанавливать не надо. Обновить уже существующую программу можно с помощью исполняемого файла

Версия для CPU (без видеокарты RTX)

Версия для CUDA (с видеокартой RTX)

Скачайте файл, разместите его рядом с исполняемым файлом программы skl-ol.ru и запустите. Программа обновится.

❗ Не перепутайте файлы обновления. Если у вас CPU версия, то качайте соответствующий файл. Иначе приведёте программу в нерабочее состояние.

Список добавленных возможностей в этой теме

В видео информация о сервере локальных моделей, который включен в программу. И рассказано об организации чата/диалога с языковыми нейронными сетями.
Внимание В видео оговорка относительно объёма ОЗУ рабочей станции. Не 16 Мегабайт, а 16 Гигабайт

Представляем Sokol 4.0: Автономная работа и интеллектуальный диалог
Здравствуйте! Рады представить вам новую версию программы — Sokol 4.0. Это принципиально новый этап развития, ключевой особенностью которого стала полная автономность.

Главная философия: Конфиденциальность и независимость
Sokol 4.0 задуман как полностью самостоятельное решение, не требующее установки или наличия сторонних приложений, таких как Ollama, LM Studio или других. Все вычисления могут выполняться локально, на вашем компьютере.

Для кого это создано?
Для пользователей, которые ценят:

Полную конфиденциальность: Ваши данные не покидают ваш компьютер и не отправляются на облачные серверы.
Независимость: Нет необходимости устанавливать, настраивать и разбираться в дополнительном сложном программном обеспечении.
Контроль: Все процессы происходят под вашим полным управлением.
Важное замечание: Для комфортной автономной работы потребуется достаточно мощный компьютер. Мы рекомендуем:

Оптимально: Видеокарта NVIDIA с поддержкой CUDA (например, серии RTX). Это ускорит работу нейронных сетей в десятки раз по сравнению с процессором.
Минимум: Современный многоядерный процессор (от 6 ядер). Это позволит работать с программой без долгих ожиданий.
Гибкость архитектуры: Если конфиденциальность не является критичным фактором, вы по-прежнему можете использовать Sokol 4.0 в режиме работы только на процессоре (CPU) и подключаться к облачным сервисам (AI Tunnel) для транскрибации или использования мощных нейросетевых моделей. Это экономичный вариант.

Ключевые нововведения Sokol 4.0
1. Встроенный сервер локальных нейросетевых моделей
Теперь в программу встроен собственный сервер для работы с локальными моделями (например, в формате GGUF).

Простой запуск: Достаточно нажать кнопку «Пуск сервера моделей».
Гибкая настройка доступа: Сервер можно настроить для работы только на вашем компьютере (127.0.0.1) или сделать доступным в локальной сети (0.0.0.0 или конкретный IP).
Оптимизация под ваше железо: Программа автоматически определяет параметры системы (количество ядер CPU, наличие GPU). При необходимости их можно скорректировать вручную для баланса между скоростью и нагрузкой на систему.
Процесс подключения модели: После настройки нужно указать путь к скачанной нейросетевой модели и запустить сервер. Модель загрузится в память (оперативную или видеопамять) и будет готова к работе.
2. Продвинутый чат с поддержкой контекста (главное новшество)
Раньше общение с нейросетью было построено по принципу «вопрос-ответ»: каждый новый запрос модель воспринимала изолированно, не помня предыдущей беседы.

В Sokol 4.0 появился настоящий диалоговый режим — «Чат».

Контекстная память: Нейросеть запоминает историю разговора в рамках одной вкладки чата. Это позволяет вести осмысленный диалог, задавать уточняющие вопросы и получать ответы в контексте обсуждения.
Управление форматом ответов: В чате ответы по умолчанию форматируются в Markdown. Для одноразовых запросов, где нужен ответ в чистом виде (например, код HTML), можно отключить режим чата и использовать промпты «Свободный разговор» или «HTML».
Визуализация «размышлений»: Для некоторых моделей можно включить отображение промежуточных «размышлений» модели (на английском языке), что помогает понять ход её мысли. Для простых вопросов эту функцию можно отключить для ускорения ответа.
Сохранение и управление диалогами:
Диалоги не сохраняются автоматически, что исключает накопление ненужных данных.
Чтобы сохранить ценный разговор, используется кнопка «Очистить и сохранить». Сохранённый диалог помечается специальным значком.
Важно: Можно открыть сохранённый диалог и продолжить беседу именно с того момента, с сохранением всего контекста.
Поддерживается ведение нескольких параллельных диалогов в разных вкладках, каждый со своей историей.
Как полностью завершить диалог?
Чтобы не только очистить текст, но и удалить контекст беседы (что важно перед началом нового обсуждения), нужно:

Закрыть вкладку браузера (кликнуть на красном крестике в названии вкладки)

Что бы очистить текст во вкладке браузера, необходимо:
Либо снять галочку «Чат».
Либо переключить промпт (со «Свободный разговор» на любой другой).
После этого очистить вкладку. Простое нажатие на значок очистки в активном режиме чата не сработает — это сделано намеренно, чтобы пользователь сознательно управлял контекстом. Но помните, что если вы очистите текст чата, контекст беседы останется. И если вы продолжите задавать вопросы в режиме чата, модель будет давать ответ, учитывая предыдущий контекст.

Заключение

Sokol 4.0 делает мощный инструмент для работы с нейросетевыми моделями и обработки информации более доступным, безопасным и удобным. Теперь вы можете выбирать между максимальной конфиденциальностью локальной работы и гибкостью облачных подключений, а также вести по-настоящему осмысленные диалоги с искусственным интеллектом.

В следующем материале мы подробно расскажем о другой важной функции — транскрибации аудио, которая особенно полезна для специалистов.

Транскрибация аудио (видео) в ПО "Сокол"

Инструкция по транскрибации аудио и видео в программе "Сокол"

В этом материале мы рассмотрим процесс транскрибации (перевода речи в текст) аудио и видеофайлов.

1. Выбор модели для CPU

Если вы используете версию программы для процессора (CPU), при нажатии на кнопку с микрофоном откроется окно выбора моделей. Для CPU доступны две версии:
* Small (~500 МБ): работает быстрее и меньше нагружает процессор. Если запись сделана качественно, без шумов, этой модели будет достаточно.
* Medium (~1.5 ГБ): обеспечивает более высокое качество, но требует больше ресурсов.

Если вы попытаетесь выбрать другую модель (например, V3), программа выдаст ошибку: «Модель не найдена». Для пользователей CPU выбор ограничен только этими двумя вариантами.
Важно: Если у вас нет видеокарты RTX, параметры CPU и INT8 следует оставлять без изменений.

2. Использование видеокарты (RTX)

Если у вас есть видеокарта NVIDIA RTX, она может ускорить процесс в десятки раз — даже быстрее, чем онлайн-сервисы. Однако в данной версии программы для CPU специальные библиотеки не предустановлены. Чтобы задействовать RTX, их нужно добавить вручную в папку resource. Если вы работаете без видеокарты, просто выбирайте модели Medium или Small и ничего не меняйте.

3. Режимы транскрибации: Локально vs Онлайн

При выборе режима работы есть два пути:
* Локально: обеспечивает полную конфиденциальность. Аудио не отправляется в сеть, информация остается только на вашем компьютере.
* Онлайн (через API): подходит, если вопрос приватности не стоит. Здесь доступны три варианта через сервис iTunnel:
1. Whisper Turbo: самый быстрый и дешевый вариант (~13 копеек за минуту). Качество чуть ниже, чем у оригинала.
2. Whisper IP: стандартный вариант.
3. Qwen: самый дорогой, но качественный сервис (около 47 копеек за минуту).

4. Процесс записи и транскрибации

В программе можно записать аудио прямо на микрофон (программа автоматически конвертирует запись в нужный формат с помощью встроенных кодеков). После завершения записи файл сохраняется в папку resource/record_audio внутри корневой папки программы.

Также вы можете загрузить готовый файл, записанный на диктофон или телефон (например, перекинув его через мессенджеры на компьютер).

5. Работа с текстом и нейросети

После завершения транскрибации текст появляется в окне программы. Его можно редактировать или использовать встроенные промты для нейросетей. В программе предустановлены модели: Gemma, GLM, Qwen, Mistral и другие.

Совет по выбору модели: Зарубежные модели (вроде Gemma) обучались преимущественно на английском языке, поэтому в русском языке они могут ошибаться. Модели вроде Gemma, Qwen 3.6 или GLM показывают себя очень достойно при работе с русским языком.

Работа с промтами (заданиями для нейросети):
Вы можете использовать готовые шаблоны, например:
* Исправить ошибки транскрибации и перевести текст в формат Markdown.
* Определить роли (например, «Полиграфолог» и «Кандидат») и оформить диалог.
* Сделать резюме интервью или выделить риски для службы безопасности.
* Написать психологический портрет кандидата, дать рекомендации HR.

Важные рекомендации по записи:
Чтобы нейросеть максимально точно определила роли и исправила ошибки:
1. Задавайте вопросы четко, не перебивая собеседника.
2. Избегайте посторонних шумов.
3. Соблюдайте структуру «вопрос — ответ».

Если нейросеть в режиме чата начала «зацикливаться» (повторять одну и ту же фразу), просто нажмите кнопку Stop, чтобы прекратить локальную генерацию.

6. Итог

Результат работы нейросети можно скопировать обычным способом (выделить — Copy — Paste) в Microsoft Word или любой другой редактор — форматирование при этом должно сохраниться.

У моего ноутбука следующие характеристики: процессор - Ruzen 5 4600H; ОЗУ - 16Gb. Видеокарты RTX нет. Для тех кто серьёзно относиться к сохранению конфиденциальных данных, и имеет схожую конфигурацию рабочей станции, рекомендую к использованию в качестве локальной нейронной сети gemma-4-E4B-it-Q4_K_M.gguf Модель на 4 миллиарда параметров, оптимизированна для использования на ноутбуках (на CPU). Для своего маленького размера необыкновенно умная. Хорошо выполняет все задания, которые даю ей в Соколе. Выдаёт от 5 до 10 токенов в секунду на моём ноуте. Скорость не большая, но вполне терпимая. Если у вас характер нордический, и не подгорает, когда жена "копошится", то её работой будете довольны 😁

Если не знаете где её взять обращаётесь ко мне. Она весит 5 Gb, думаю найдём способ как вам её отправить.

В настоящее время в Ollama бесплатно доступны 7 облачных моделей. Доступ с посуточным и понедельным лимитом. Все бесплатные модели подходят для выполнения заданий в ПО "Сокол"

Рекомендую для промптов анализа данных использовать (по убывающей): minimax-m3:cloud, nemotron-3-super:cloud, gemma4:31b-cloud.