NVIDIA выложила в открытый доступ компактную модель для диаризации речи — она определяет, кто именно говорил в каждый момент записи. Это полезно для расшифровок встреч, колл‑центров и подкастов: получаются не просто слова, а «кто что сказал».
NVIDIA опубликовала Nemotron 3 Diarization — компактную нейросеть для диаризации речи, то есть разметки аудио по спикерам: кто и когда говорил. В отличие от обычного распознавания речи, которое отвечает на вопрос «что сказали», диаризация добавляет главное для рабочих записей — структуру разговора по участникам.
Что умеет модель
Nemotron 3 рассчитана на практическое использование в реальных аудиозаписях и прямых трансляциях. По описанию релиза, модель:
- содержит около 100 млн параметров;
- поддерживает до 8 собеседников в одном фрагменте;
- сохраняет устойчивость, когда люди перебивают друг друга и речь накладывается;
- не «узнаёт» личности и не пытается определить конкретного человека по голосу — на выходе это условные
speaker_0,speaker_1и т. д.
Почему это важно (и где пригодится)
Во многих сценариях одна только текстовая расшифровка недостаточна: без разделения на спикеров протокол встречи превращается в длинный монолог, а аналитика звонков теряет половину смысла. Диаризация помогает сделать аудио полезным для работы, потому что появляется контекст «кто говорил».
Примеры, где это быстро окупается:
- Встречи и созвоны: проще собирать решения и назначать задачи, когда реплики разнесены по участникам.
- Колл‑центры: можно анализировать, сколько времени говорит оператор и клиент, где возникают паузы и перебивания.
- Подкасты и интервью: удобнее готовить расшифровку и нарезки, когда реплики автоматически «помечены» по говорящим.
Открытые веса и лицензия
Веса Nemotron 3 выложены в публичный доступ. В карточке модели указана лицензия OpenMDW 1.1 с возможностью использования как в коммерческих, так и в некоммерческих проектах. Это важно для команд, которые не хотят отправлять аудио во внешний сервис и предпочитают разворачивать обработку у себя.
Как оценили качество
В заметке приводятся результаты бенчмарка VoiceArena Diarization-Bench: Nemotron 3 заняла первое место среди набора систем и конфигураций, показав DER 14,72% (чем ниже, тем лучше). Показатель DER складывается из трёх типов ошибок: пропуски речи, ложные срабатывания и случаи, когда фрагмент приписан не тому спикеру.
С чем запускать и как сочетать с распознаванием речи
Модель поддерживается в экосистеме NVIDIA NeMo и через Hugging Face Transformers. Также доступен облегчённый C++‑рантайм NeMo-Speech.cpp для локального запуска.
Важно понимать ограничение: диаризация сама по себе не делает «стенограмму». Чтобы получить текст с привязкой к спикерам, Nemotron 3 обычно комбинируют с ASR‑моделью (распознаванием речи), а если нужно определить конкретного человека по голосу — добавляют отдельную систему верификации говорящего.
Источник: Хабр
