Патент
Может прекратить действие
Изобретение № 2795506

СИСТЕМА И СПОСОБ ДЛЯ ВИДЕОКОНФЕРЕНЦСВЯЗИ

Правообладатель: Публичное акционерное общество "Сбербанк России" (ПАО Сбербанк) (RU) Авторы: Егоров Иван Евгеньевич (RU), Насыров Михаил Миннимухаметович (RU), Большаков Александр Николаевич (RU), Сергеев Даниэл Игоревич (RU), Фандюшин Михаил Викторович (RU), Новиков Герман Эдуардович (RU), Балиев Дмитрий Леонидович (RU)
Формула изобретения

1. Система для видеоконференцсвязи, содержащая:

• по меньшей мере два клиентских устройства, выполненных с возможностью подключаться к модулю обмена сообщениями; и

• сервер видеоконференцсвязи, содержащий, по меньшей мере, модуль обмена сообщениями, модуль пересылки потоков, модуль распознавания потоков и модуль согласования,

причем модуль обмена сообщениями выполнен с возможностью

- регистрировать подключения клиентских устройств к конференции,

- отправлять в единое информационное пространство по меньшей мере одно сообщение, полученное от по меньшей мере одного клиентского устройства,

модуль пересылки потоков выполнен с возможностью

- устанавливать защищенное соединение с клиентскими устройствами,

- принимать поток данных от по меньшей мере одного клиентского устройства,

- передавать поток данных в параллельном режиме по меньшей мере одному другому клиентскому устройству и модулю распознавания потоков,

- принимать от модуля распознавания потоков по меньшей мере одно сгенерированное сообщение и отправлять его в единое информационное пространство,

модуль распознавания потоков выполнен с возможностью обрабатывать поток данных и генерировать по меньшей мере одно сообщение на основе обработанного потока данных, причем обработка потока данных и генерация по меньшей мере одного сообщения осуществляется параллельно с передачей потока данных модулем пересылки потоков по меньшей мере одному другому клиентскому устройству,

при этом модуль распознавания потоков дополнительно выполнен с возможностью

- осуществлять разбиение потока данных на фрагменты в процессе обработки потока данных,

- обрабатывать фрагменты, полученные в результате разбиения потока данных,

- генерировать по меньшей мере одно сообщение на основе обработанных фрагментов;

модуль согласования выполнен с возможностью

- определять в режиме реального времени, осуществляет ли модуль распознавания потоков обработку потока данных,

- устанавливать значение флага, идентифицирующего состояние текущего ввода пользователя клиентского устройства,

- получать от модуля обмена сообщениями запрос на разрешение отправки в единое информационное пространство сообщения от другого клиентского устройства,

- принимать решение о разрешении отправки в единое информационное пространство сообщения от другого клиентского устройства на основании значения установленного флага, при этом

• если значение флага идентифицирует отсутствие текущего ввода пользователя клиентского устройства, модуль согласования отправляет модулю обмена сообщениями разрешение отправки в единое информационное пространство сообщения от другого клиентского устройства;

• если значение флага идентифицирует наличие текущего ввода пользователя клиентского устройства, модуль согласования выполнен с возможностью

отправлять модулю пересылки потоков запрос на отправку в единое информационное пространство сгенерированного сообщения, содержащего уже обработанные фрагменты, после отправки модулем пересылки потоков сгенерированного сообщения, содержащего уже обработанные фрагменты, в единое информационное пространство, отправлять модулю обмена сообщениями разрешение отправки в единое информационное пространство сообщения от другого клиентского устройства;

модуль обмена сообщениями дополнительно выполнен с возможностью

- отправлять модулю согласования запрос на разрешение отправки в единое информационное пространство сообщения от другого клиентского устройства,

- отправлять в единое информационное пространство сообщения от другого клиентского устройства в ответ на прием разрешения отправки от модуля согласования.

2. Система по п.1, характеризующаяся тем, что принятый от по меньшей мере одного клиентского устройства поток данных содержит по меньшей мере аудио- и/или видеопоток.

3. Система по п.2, характеризующаяся тем, что обработка аудиопотока включает преобразование речи в текст (Automatic Speech Recognition).

4. Система по п.2, характеризующаяся тем, что обработка видеопотока включает преобразование жестов в текстовую и/или графическую информацию (Gesture Recognition).

5. Система по п.2, характеризующаяся тем, что обработка видеопотока включает распознавание языка жестов (Sign Language Recognition).

6. Система по любому из пп.1-5, характеризующаяся тем, что модуль распознавания потоков дополнительно выполнен с возможностью определять тип потока данных и осуществлять соответствующую обработку потока данных в зависимости от типа потока данных.

7. Система по п.6, характеризующаяся тем, что сервер видеоконференцсвязи дополнительно содержит модуль фильтрации аудиопотока, выполненный с возможностью подавления шума.

8. Система по п.1, характеризующаяся тем, что сообщения, сгенерированные на основе обработанного потока данных, содержат, по меньшей мере, текстовую и/или графическую информацию.

9. Система по любому из пп.1-5, характеризующаяся тем, что сервер видеоконференцсвязи дополнительно содержит модуль модификации видеопотока, выполненный с возможностью

- замены фона,

- применения фильтров, улучшающих визуальные характеристики изображения пользователя,

- применения фильтров дополненной реальности (AR-фильтров).

10. Система по любому из пп.2-5, характеризующаяся тем, что модуль пересылки потоков дополнительно выполнен с возможностью принимать от по меньшей мере одного клиентского устройства команду на распознавание аудио- и/или видеопотока и передавать аудио- и/или видеопоток модулю распознавания потоков после получения упомянутой команды на распознавание.

11. Система по п.1, характеризующаяся тем, что сервер видеоконференцсвязи дополнительно содержит модуль управления единым информационным пространством, выполненный с возможностью определять, что по меньшей мере одно сгенерированное сообщение получено от модуля пересылки потоков, и отображать при выводе по меньшей мере одного сгенерированного сообщения метку, идентифицирующую формирование сгенерированного сообщения из аудиопотока.

12. Система по п.1, характеризующаяся тем, что модуль управления единым информационным пространством дополнительно выполнен с возможностью

- сохранять сообщения, размещенные в упомянутом пространстве,

- обеспечивать доступ подключенным клиентским устройствам к сохраненным сообщениям.

13. Система по п.1, характеризующаяся тем, что модуль управления единым информационным пространством дополнительно выполнен с возможностью осуществлять

- поиск по содержимому сообщений, размещенных в упомянутом пространстве,

- скачивание содержимого сообщений, размещенных в упомянутом пространстве,

- управление отображением сообщений, размещенных в упомянутом пространстве.

14. Система по п.1, характеризующаяся тем, что сервер видеоконференцсвязи дополнительно содержит модуль перевода, выполненный с возможностью перевода по меньшей мере одного сообщения, полученного от по меньшей мере одного клиентского устройства и/или сообщения, сгенерированного на основе обработанного потока данных.

15. Способ осуществления видеоконференцсвязи, реализуемый с помощью сервера видеоконференцсвязи и содержащий этапы, на которых:

• подключают по меньшей мере два клиентских устройства к серверу видеоконференцсвязи,

• регистрируют подключения клиентских устройств к конференции,

• устанавливают защищенное соединение с клиентскими устройствами,

• принимают поток данных от по меньшей мере одного клиентского устройства,

• передают поток данных в параллельном режиме по меньшей мере одному другому клиентскому устройству и модулю распознавания потоков,

• в модуле распознавания потоков обрабатывают поток данных путём разбиения потока данных на фрагменты, обрабатывают фрагменты, полученные в результате разбиения потока данных и генерируют по меньшей мере одно сообщение на основе обработанных фрагментов, причем обработка потока данных и генерация по меньшей мере одного сообщения осуществляется параллельно с передачей потока данных по меньшей мере одному другому клиентскому устройству,

• принимают по меньшей мере одно сгенерированное сообщение и отправляют его в единое информационное пространство,

при этом способ дополнительно содержит этапы, на которых:

определяют в режиме реального времени, осуществляет ли модуль распознавания потоков обработку потока данных, устанавливают значение флага, идентифицирующего состояние текущего ввода пользователя клиентского устройства, получают запрос на разрешение отправки в единое информационное пространство сообщения от другого клиентского устройства, принимают решение о разрешении отправки в единое информационное пространство сообщения от другого клиентского устройства на основании значения установленного флага, при этом, если значение флага идентифицирует отсутствие текущего ввода пользователя клиентского устройства, отправляют разрешение отправки в единое информационное пространство сообщения от другого клиентского устройства; если значение флага идентифицирует наличие текущего ввода пользователя клиентского устройства, то отправляют запрос на отправку в единое информационное пространство сгенерированного сообщения, содержащего уже обработанные фрагменты, после отправки сгенерированного сообщения, содержащего уже обработанные фрагменты, в единое информационное пространство, отправляют разрешение отправки в единое информационное пространство сообщения от другого клиентского устройства, отправляют в единое информационное пространство сообщение от другого клиентского устройства в ответ на прием разрешения отправки.

показать больше
Спасибо! Мы перезвоним вам в ближайшее время!