Информация и вопросы по алгоритмам программы
В настоящее время в программе имеется 11 алгоритмов классификации полиграмм. 9 из них выдают диагностический результат. Имеется ещё Метаоценщик, который раобает на основе результатов комитета алгоритмов. И имеется ещё классифицирующий промт - задание нейронным сетям (LLM) определить на какой тип вопросов (Пв или Кв) сильнее реагировал проверяемый. Выполняя это задание LLM вольны сами выбирать способ его выполнения. Так как LLM имеют определенные проблемы со счётом, как отдельный алгоритм я этот промт не позиционирую.
Основные алгоритмы в порядке убывания точности: Правдоруб, Сокол, Out Lier, Тензор, Полилог. На основе их результатов работает Метаоценщик. Два алгоритма находятся "на чердаке": Вектор (сын Сокола и отец Проавдоруба и Тензора), и Б-7 семибальный алгоритм.
Алгоритм Сокол - это алгоритм статистической классификации. Остальные действующие 4-е алгоритма основаны на машинном обучении. Обучение их проводилось с кросс-валидацией на имеющихся полиграммах с известным решением российского и американского происхождения.
Результаты обучения можно увидеть тут
Два алгоритма CombiCalc v.1 и 2 стоят сейчас несколько особняком от остальных. Они основаны на ранжировании показателей реагирования, и планируются к дальнейшей доработке. По-крайней мере v.2.
Зачем столько алгоритмов? Тут две причины:
- Поиск самого точного и надёжного
- "Одна голова хорошо, а две лучше" - комитет алгоритмов (экспертов) всегда показывает лучший результат чем одни любой алгоритм в отдельности. Результаты Метаоценщика это доказывают.
Имеется в математике теорема Кондорсе "о жюри присяжных".
Если каждый член жюри присяжных имеет независимое мнение, и если вероятность правильного решения члена жюри больше 0.5, то тогда вероятность правильного решения присяжных в целом возрастает с увеличением количества членов жюри и стремится к единице.
Есть такой эффект как "мудрость толпы"
Фрэнсис Гальтон в 1906 году посетил рынок, где проводилась некая лотерея для крестьян. Их собралось около 800 человек, и они пытались угадать вес быка, который стоял перед ними. Бык весил 1198 фунтов. Ни один крестьянин не угадал точный вес быка, но Гальтон посчитать среднее от их предсказаний, и получим 1197 фунтов - почти точное значение веса.
Вот так и в СППРП "Сокол" комитет алгоритмов показывает лучшую точность, чем каждый из алгоритмов в отдельности. И для мета оценщика не надо заботится о количестве пв, кв, предъявлений, и каналов.