Метрики и статистика

Общее описание#

SmartCPD предоставляет два основных способа анализа результатов работы системы: статистику и метрики.

Разница между статистикой и метриками#

• Если нужно разобраться в конкретном вызове, использовать следует статистику.
• Если нужно смотреть тенденции, распределения и суммарные показатели, использовать следует метрики.

Термины#

Попытка вызова#

Инициированная системой дозвона процедура установления соединения с вызываемой стороной, вне зависимости от факта ответа или успешности завершения вызова. В попытки вызова не входят вызовы, заблокированные системой SmartContact.

Детекция#

Последовательность из одного или более этапов анализа аудиопотока; если хотя бы один этап завершился без ошибки, считается, что детекция была выполнена, и вызов является анализируемым.

Анализируемый вызов#

Вызов, в рамках которого была выполнена хотя бы одна успешная операция детекции аудиопотока (без возникновения ошибки), вне зависимости от полученного результата.

С точки зрения процесса биллинг связан с другими данными системы так:

• CDR является исходной записью строгой отчетности;
• на его основе формируется статистика и расчетные данные;
• на их основе выполняется расчет биллинга и накапливается история списаний за период.

Метрики#

Метрики показывают агрегированную картину работы системы и предназначены для мониторинга и анализа тенденций. Они помогают оценивать объем вызовов, дозваниваемость, результаты анализа, операторские исходы и другие показатели в нужных разрезах.

Метрики используются в тех случаях, когда нужно:

• оценить общую картину работы системы;
• контролировать динамику показателей;
• сравнивать разные направления, кампании и профили;
• анализировать качество работы системы в целом, а не по одному вызову.

Метки в аналитике#

Для аналитических разрезов в метриках используются метки (labels).

Метки могут назначаться, в том числе:

• профилям;
• входящим транкам;
• исходящим транкам.

Одна и та же метка может объединять несколько сущностей одного типа, если их нужно анализировать как одну группу.

Интерфейс вкладки “Метрики”#

Для анализа данных можно использовать фильтры в верхней части дашборда. После изменения любого фильтра все графики и таблицы автоматически обновляются.

Выбор периода#

В правой части панели находится селектор временного интервала.

По умолчанию отображаются данные за последние 12 часов (Last 12 hours). При необходимости можно выбрать любой другой период (например, последние 24 часа, 7 дней или произвольный диапазон дат).

Также доступны дополнительные элементы управления:

• ← / → — переход к предыдущему или следующему временному интервалу.
• 🔍 — масштабирование выбранного диапазона времени.
• Cancel — отмена выполняющегося запроса к Grafana.
• Refresh — обновление данных.
• ▼ — открывает дополнительные настройки временного диапазона, включая выбор интервала автоматического обновления (Auto refresh). При включении автообновления Grafana будет автоматически обновлять данные через заданный промежуток времени (например, каждые 5, 10 или 30 секунд).

Дашборд “Ключевые показатели”#

Данный дашборд предназначен для оперативного контроля качества исходящего обзвона и работы SmartCPD. Он объединяет ключевые показатели, позволяющие быстро оценить эффективность детекции, качество соединений и результаты анализа вызовов без необходимости переходить в детальную статистику.

Дашборд помогает ответить на следующие вопросы:

• Сколько попыток вызова было выполнено за выбранный период?
• Как менялось количество вызовов во времени?
• Какова доля контактных и неконтактных вызовов?
• Как SmartCPD классифицировал контактные вызовы (человек, робот, IVR, тишина и т.д.)?
• Какой процент разговоров операторы классифицировали как разговор с роботом?
• Наблюдаются ли отклонения, требующие более детального анализа в разделе статистики?

Дашборд предназначен для быстрого мониторинга состояния системы и выявления аномалий.

Всего вызовов#

Общее количество попыток вызова за выбранный интервал + распределение по времени

Дозваниваемость#

Количество контактных и неконтактных вызовов.

• Неконтактные вызовы - вызовы где был получен результат соединения отличный от ANSWER
• Контактные вызовы - вызовы где был получен результат соединения ANSWER

Результаты анализа#

Результат анализа вызова SmartCPD. Считается только для контактных вызовов.

Операторские результаты#

Результат разговора, полученный от операторов КЦ. Сохраняется только если в системе настроен сбор разметки от операторов КЦ.

% роботов на операторах#

Показывает долю разговоров, классифицированных операторами КЦ как robot, от общего количества разговоров операторов контакт-центра. Сохраняется только если в системе настроен сбор разметки от операторов КЦ.

Дашборд “A/Б тестирование”#

Данный дашборд предназначен для сравнения результатов работы двух профилей детекции SmartCPD на одном и том же наборе вызовов. Он позволяет оценить влияние изменений в настройках или алгоритмах детекции на ключевые показатели качества без необходимости анализировать каждый профиль отдельно.

Для сравнения выбираются два профиля детекции (Профиль A и Профиль B), после чего для каждого из них отображаются одинаковые показатели. Панели такие же как на дашборде “Ключевые показатели”

Дашборд позволяет ответить на следующие вопросы:

• Одинаковый ли объем вызовов был обработан каждым профилем?
• Изменилось ли соотношение контактных и неконтактных вызовов после изменения профиля?
• Как изменилось распределение результатов детекции между двумя профилями?
• Повлияло ли изменение профиля на результаты операторской разметки?
• Улучшилось или ухудшилось качество детекции после внесения изменений?

Дашборд “Вызовы платформы”#

Данный дашборд предназначен для оперативного мониторинга нагрузки на платформу SmartCPD. Он позволяет в режиме реального времени оценить интенсивность обработки вызовов, текущее количество активных соединений и распределение нагрузки между клиентами.

Дашборд позволяет ответить на следующие вопросы:

• Какова текущая нагрузка на платформу?
• Сколько вызовов обрабатывается в данный момент?
• Сколько вызовов в секунду (CPS) поступает на платформу?
• Какие клиенты создают основную нагрузку?
• Наблюдаются ли резкие всплески или падения нагрузки?
• Не приближается ли количество активных вызовов к критическим значениям?

Дашборд предназначен для мониторинга текущего состояния платформы и своевременного обнаружения аномалий нагрузки.

CPS#

Отображает текущее количество вызовов в секунду (Calls Per Second, CPS), поступающих на платформу.

Показатель используется для оценки интенсивности входящей нагрузки в режиме реального времени.

Active Calls#

Отображает текущее количество вызовов, одновременно обрабатываемых платформой.

Цветовая индикация позволяет быстро оценить уровень загрузки:

• Зеленая зона — нормальная нагрузка.
• Желтая зона — повышенная нагрузка.
• Красная зона — критическая нагрузка, требующая внимания.

Границы зон определяются настройками конкретной инсталляции.

Calls By Customer#

Отображает распределение текущих активных вызовов между клиентами платформы.

Каждый сектор диаграммы соответствует отдельному клиенту, а его размер показывает долю активных вызовов данного клиента относительно общего количества активных вызовов.

Панель позволяет быстро определить клиентов, создающих основную нагрузку на платформу.

Active Calls (график)#

Показывает изменение количества одновременно активных вызовов во времени.

Используется для анализа динамики нагрузки, выявления всплесков активности и контроля стабильности работы платформы.

CPS (график)#

Показывает изменение количества вызовов в секунду во времени.

Позволяет отслеживать изменение интенсивности входящей нагрузки и выявлять пики активности.

Дашборд “Производительность модуля детекции”#

Данный дашборд предназначен для мониторинга производительности сервиса распознавания SmartCPD. Он позволяет оценить скорость обработки запросов, текущую нагрузку на сервис и своевременно выявить ухудшение производительности.

Дашборд позволяет ответить на следующие вопросы:

• С какой скоростью SmartCPD обрабатывает запросы?
• Как изменяется время выполнения полного цикла проверки?
• Какой процент запросов обрабатывается медленнее допустимого времени?
• Сколько запросов было обработано за выбранный период?
• Какова текущая интенсивность обработки запросов?
• Равномерно ли распределяется нагрузка между рабочими узлами SmartCPD?
• Есть ли признаки деградации производительности сервиса?

Дашборд предназначен для оперативного мониторинга производительности сервиса SmartCPD и выявления проблем, связанных с увеличением времени обработки или ростом нагрузки.

Время выполнения полного цикла проверок#

Отображает время выполнения полного цикла обработки запросов SmartCPD. Под полным циклом проверки подразумевается что на вызов ответил человек, и последовательно прошел все этапы детекции ИЛИ вызов был сброшен на последнем этапе детекции. Данное время фактически означает как долго после “алло” от человека, происходит анализ его речи. При высоких значениях абонент может не дожидаться соединения с оператором.

На графике отображаются две перцентильные метрики:

• P50 — медианное время обработки. Показывает, что 50% запросов были обработаны быстрее указанного времени.
• P95 — время, быстрее которого было обработано 95% запросов. Используется для контроля медленных запросов и оценки стабильности производительности.

Желтый порог соответствует 600мс и говорит о том, что есть незначительные проблемы с производительностью. Красный порог соответствует 1000мс и говорит о том, что есть значительные проблемы с производительностью.

% медленных проверок#

Показывает процент запросов, время обработки которых превысило установленный порог в 600мс.

Рост данного показателя свидетельствует об ухудшении производительности сервиса и требует дополнительного анализа.

Кол-во запросов за период#

Отображает общее количество запросов, обработанных SmartCPD за выбранный временной интервал.

Показатель используется для оценки общего объема обработанной нагрузки.

Кол-во запросов в секунду#

Отображает количество запросов, обрабатываемых каждым рабочим узлом SmartCPD в секунду.

Каждая линия соответствует отдельному рабочему процессу (worker), что позволяет оценить равномерность распределения нагрузки между ними.

Резкие отклонения одного из worker’ов могут свидетельствовать о проблемах с балансировкой нагрузки или неисправности конкретного процесса.

Запросов в секунду#

Отображает текущее среднее количество запросов в секунду (RPS), обрабатываемых сервисом SmartCPD.

Показатель используется для оперативной оценки текущей нагрузки на сервис.

Дашборд “Результаты SIP-вызовов”#

Данный дашборд предназначен для мониторинга результатов обработки вызовов на уровне SIP-сигнализации. Он позволяет анализировать исходы телефонных вызовов до этапа детекции SmartCPD и контролировать качество работы телефонии, дозвона и маршрутизации вызовов.

В отличие от дашбордов, связанных с детекцией SmartCPD, данный раздел не анализирует результаты классификации разговоров, а отображает причины завершения вызовов и их распределение по SIP-статусам.

Дашборд позволяет ответить на следующие вопросы:

• Какова фактическая дозваниваемость за выбранный период?
• Какое количество вызовов было успешно соединено с контактным центром?
• Какое количество вызовов было сброшено до соединения?
• Возникают ли ошибки телефонии или проблемы маршрутизации вызовов?

% Connect#

Показывает какой % вызовов был переведен на КЦ.

Results#

Показывает распределение вызовов с группировкой по SIP-исходам.

Дашборд “Контрольная группа”#

Данный дашборд предназначен для оценки % ложных срабатываний каждого этапа детекции.

Дашборд позволяет ответить на следующие вопросы:

• Как много людей ошибочно отсекает детектор?
• Какие именно проверки дают высокий % ложных срабатываний?

Терминология#

При оценке качества детекции SmartCPD используются стандартные термины бинарной классификации. В контексте SmartCPD положительным классом (Positive) считается робот, а отрицательным (Negative) — живой человек.

Данные значения используются при расчёте показателей качества классификации, таких как Precision, Recall, Accuracy и F1-score.

Полная контрольная группа#

Показывает количество и долю ложных срабатываний SmartCPD на вызовах, попавших в полную контрольную группу. Данный раздел используется для оценки качества детекции и контроля уровня ложноположительных срабатываний на записях, для которых известен эталонный результат.

LSTM контрольная группа#

Показывает количество и долю ложноположительных и ложноотрицательных срабатываний LSTM-модели на записях, попавших в LSTM-контрольную группу.

В отличие от полной контрольной группы, данный раздел оценивает только качество работы LSTM-модели, без учета остальных этапов конвейера детекции. Это позволяет отдельно контролировать качество классификации модели и своевременно выявлять её деградацию.

Дашборд “Анализатор аудиослепков”#

Данный дашборд предназначен для мониторинга работы анализатора аудиослепков.

Анализатор аудиослепков — это сервис, выполняющий автоматический поиск повторяющихся голосовых слепков (шаблонов) голосовых помощников. В отличие от LSTM-модели, которая решает задачу бинарной классификации («робот» / «человек»), Анализ аудиослепков выполняет поиск схожих аудиозаписей путем сравнения их акустических признаков (спектрограмм и производных от них шаблонов).

Результатом работы анализатора аудиослепков является обнаружение групп схожих записей, относящихся к одному и тому же голосовому помощнику. Это позволяет автоматически выявлять новые голосовые шаблоны и пополнять базу эталонных слепков без ручной разметки данных.

Дашборд позволяет ответить на следующие вопросы:

• Какое количество шаблонов в настоящий момент хранится в базе данных?
• Пополняется ли база данных новыми шаблонами с течением времени?
• Наблюдались ли аномальные всплески количества вновь обнаруженных шаблонов?
• Используется ли операторская разметка контактного центра для ускорения поиска и формирования новых шаблонов?

Всего шаблонов в БД#

Показывает общее кол-во шаблонов в БД и динамику их прироста

Всего auto_etalons в БД#

Показывает общее кол-во шаблонов в БД, найденных по признаку N совпадений записей между собой. (Например, если за день было 5 одинаковых записей, они считаются новым шаблоном)

Всего marked_etalons в БД#

Показывает общее кол-во шаблонов в БД, добавленных по признаку разметки от операторов КЦ. (Чтобы не ждать пока наберется N совпадений)

Initial Pool Size#

Показывает как часто набирает 2000 аудиозаписей в течение дня, для которых запускается сравнение каждой с каждой в течение дня.

Longtime Pool Size#

Показывает как много записей набирается к концу дня, для выполнение более глубокого и долгого сравнения каждой с каждой в ночное время.

Статистика#

Статистика предназначена для просмотра отдельных вызовов и их результатов. Это основной инструмент, если нужно понять, что произошло с конкретным вызовом, проверить результат детекции, увидеть итоговое действие системы, послушать аудиозапись, найти ошибку или выгрузить данные для последующего разбора.

Статистика показывает конечное состояние вызова на момент последней зафиксированной обработки. Это не журнал всех промежуточных изменений, а итоговое представление вызова в прикладном виде.

В этом разделе используются определения Попытка вызова, Детекция и Анализируемый вызов.

Статистика используется в тех случаях, когда нужно:

• найти конкретный вызов;
• проверить результат его обработки;
• разобраться в спорной ситуации;
• выгрузить список вызовов для анализа.
• скачать/послушать аудиозаписи детекции

Интерфейс вкладки “Статистика”#

Панель фильтрации#

Панель фильтрации позволяет ограничить набор отображаемых записей по различным параметрам.

Период#

С — дата и время начала периода поиска.

По — дата и время окончания периода поиска.

В выборку попадут только вызовы, обработанные в указанный интервал времени. Максимальный интервал - 1 месяц

Размер страницы#

Определяет количество записей, отображаемых на одной странице результатов.

Доступные значения задаются выпадающим списком.

Идентификатор вызова#

Позволяет выполнить поиск конкретного вызова.

Поддерживаются следующие идентификаторы:

• call_id
• custom_call_id
• sip_trace

Достаточно указать одно из значений.

Телефон#

Фильтр по номеру телефона.

Для поиска необходимо указать не менее 4 цифр номера.

SmartContact#

Позволяет отфильтровать вызовы по рекомендациям SmartContact.

Можно указать несколько значений через запятую.

Значения: call, do_not_call

Результат детекции#

Фильтр по результату автоматической детекции.

Можно указать несколько значений через запятую.

Результат разметки#

Фильтр по результатам ручной разметки.

Поддерживается ввод нескольких значений через запятую.

Labels#

Позволяет фильтровать записи по пользовательским меткам (labels).

Формат ввода:

ключ=значение

Пример:

profile=default,trunkIn=default,trunkOut=default

Можно указать несколько пар через запятую.

Возможные значения описаны в документе “Метрики и статистика”

Флаги#

Только с разметкой#

Отображает только вызовы, для которых была загружена разметка от операторов.

Только несовпадение детекции и разметки#

Отображает только записи, у которых результат автоматической детекции отличается от результата разметки от операторов.

Данный режим используется для анализа качества моделей детекции.

Кнопки управления#

Обновить#

Выполняет поиск с использованием указанных параметров фильтрации.

Сброс#

Очищает все поля фильтрации и возвращает значения по умолчанию.

CSV#

Экспортирует текущую выборку результатов в CSV-файл.

Экспортируются только записи, удовлетворяющие установленным фильтрам.

Загрузка разметки из CSV#

Раздел предназначен для массовой загрузки результатов разметки от операторов.

Выберите CSV-файл#

Позволяет выбрать файл с локального компьютера.

После выбора файла становится доступна кнопка «Загрузить».

Загрузить#

Отправляет выбранный CSV-файл в систему для обработки.

После завершения обработки система формирует CSV-файл с результатами загрузки.

Для каждой записи указывается статус обработки.

Скачать шаблон#

Загружает шаблон CSV-файла, соответствующий требованиям системы.

Рекомендуется использовать данный шаблон при подготовке файлов для импорта.

Помощь#

Открывает справочную информацию по формату CSV-файла и правилам заполнения полей.

Результат обработки#

После завершения импорта формируется CSV-файл с результатами обработки.

Для каждой строки отображается статус:

• processed — запись успешно обработана;
• rejected — запись отклонена;
• unprocessed — запись не была обработана.

Описание таблицы “Статистика”#

Таблица Статистика в веб-интерфейсе строится на основе таблиц cdr_cdr и cdr_markup.

Дата#

Время начала вызова. Когда мы получили INVITE от дайлера.

Звонящий#

Номер с которого осуществлялась попытка вызова.

Принимающий#

Номер на который осуществлялась попытка вызова.

Соединение#

Результат соединения показывает итог дозвона до абонента на уровне телефонного вызова.

Stage#

Этап обработки вызова

Детекция#

Последний результат который вернул движок детекции. Подразумевается что результат соединения был ANSWER.

Результат детекции не говорит о том, какое действие было совершено с вызовом.

Под “последним”, подразумевается что могло быть несколько циклов детекции, например: 1. отсутствие речи 2. человек.

Действие#

Действие показывает, какое решение было получено системой на соответствующем этапе обработки вызова.

Это не всегда означает, что данное действие успело быть фактически применено до завершения вызова. Например, вызов может быть прерван со стороны Дайлера раньше, чем система реализует полученное решение.

remote_release проставляется на уровне SIP-слоя, если удаленная сторона (абонент) завершила вызов во время обработки, то есть до того, как система завершила свой сценарий обслуживания.

Ошибка (SCPD)#

В данном поле записываются ошибки, полученные от контейнера детекции либо таймаут обращения к контейнеру детекции.

Ошибка (SC)#

В данном поле записываются ошибки, полученные от системы скорингового анализа SmartContact.

Ошибка (Stage)#

Поле Ошибка (Stage) показывает ошибку глобального сценария обработки вызова. Это не ошибка отдельного сервиса, вызываемого на конкретном этапе: такие ошибки относятся к результатам соответствующих сервисов и отображаются отдельно.

Разметка#

В данном поле сохраняется результат разговора, полученный от операторов КЦ.

SmartContact#

В данном поле записываются рекомендации от системы скорингового анализа SmartContact.

Labels#

Служебные метки вызова, используемые для внутренней обработки и аналитики

SIP-Trace ID#

Внутренний уникальный идентификатор вызова или взаимодействия, который также передается в SIP-заголовке X-SCPD-TRACE-ID

Call ID#

SIP Call-ID

Custom Call ID#

Идентификатор вызова, переданный во внешнем SIP-заголовке