Convolutional-Temporal Neural Network with Contrastive InfoNCE Learning for Audiovisual Synchronisation by Speaker Articulation
( Pp. 250-258)
More about authors
Shakirzyanov Marcel E.
postgraduate student, Department of Computer Systems, .
Kazan National Research Technical University named after A.N. Tupolev – KAI
Kazan, Republic of Tatarstan, Russian Federation Gibadullin Ruslan F. Cand. Sci. (Eng.), Associate Professor; associate professor, Department of Computer Systems; Kazan National Research Technical University named after A.N. Tupolev – KAI; Kazan, Republic of Tatarstan, Russian Federation
Kazan National Research Technical University named after A.N. Tupolev – KAI
Kazan, Republic of Tatarstan, Russian Federation Gibadullin Ruslan F. Cand. Sci. (Eng.), Associate Professor; associate professor, Department of Computer Systems; Kazan National Research Technical University named after A.N. Tupolev – KAI; Kazan, Republic of Tatarstan, Russian Federation
Abstract:
A convolutional-temporal neural network with a Siamese organisation is proposed for the automatic temporal alignment of audio and video streams in which a speaker is recorded. Training is performed with a symmetric InfoNCE contrastive loss, where negative pairs are formed implicitly via cross-pairing within the mini-batch, which directly maximises the lower bound on the mutual information between the two modalities. Each branch of the network combines a per-frame spatial extractor, a one-dimensional temporal processor with residual connections, and a projection layer producing an L2-normalised embedding of dimension 256. The total number of trainable parameters is 2.25 M, which is 2.5 times fewer than in the original SyncNet and almost an order of magnitude fewer than in AV-HuBERT-base. On a test set of 47 video clips with a total duration of 6.8 hours, the transition from a pairwise BCE loss to InfoNCE increased Top-1 retrieval accuracy from 87.3 to 95.1%, reduced the mean absolute error of offset estimation from 64 to 38 ms, and almost halved the number of epochs required for the loss to plateau. In terms of offset estimation accuracy, the proposed model outperforms both the open implementation of SyncNet and the proprietary Sync Audio tool in DaVinci Resolve, while remaining substantially more compact in terms of the number of parameters.
How to Cite:
Shakirzyanov M.E. and Gibadullin R.F. Convolutional-temporal neural network with contrastive InfoNCE learning for audiovisual synchronisation by speaker articulation. Computational Nanotechnology. 13, 2 (2026), 250–258. DOI: 10.33693/2313-223X-2026-13-2-250-258. EDN: XYBXTU
Reference list:
Аксенов С.Г. Управление организационными системами на основе интеллектуальных информационных технологий: методы и алгоритмы решения управленческих задач с применением искусственного интеллекта // Современная наука: актуальные проблемы теории и практики. Серия: Естественные и технические науки. 2025. № 2-2. С. 42–47. DOI: 10.37882/2223-2966.2025.02-2.01. EDN: HTSEUG.
Басов О.О. Регулирование применения технологий искусственного интеллекта в организационных системах // Экономика. Право. Инновации. 2022. № 4. С. 78–82. DOI: 10.17586/2713-1874-2022-4-78-82. EDN: JERBXU.
Болгова М.А. Управление в сетевых организационных системах на основе прогностических и оптимизационных моделей структурной трансформации: дис. ... канд. техн. наук. Воронеж, 2021. 147 с. EDN: OUYLFR.
Дилигенская А.Н. и др. Децентрализованное управление информационной безопасностью на основе эмерджентного интеллекта в информационных системах // Прикаспийский журнал: управление и высокие технологии. 2023. № 2 (62). С. 42–50. DOI: 10.54398/20741707_2023_2_42. EDN: WJCRQA.
Дмитриев Д.В. Управление в организационных системах: культурный аспект // Теория и практика сервиса: экономика, социальная сфера, технологии. 2024. № 4 (62). С. 18–22. EDN: QAIAQG.
Коковихин А.Ю. Функциональность информационных систем в управлении компетенциями персонала // Московский экономический журнал. 2023. № 12. С. 642–655. DOI: 10.55186/2413046X_2023_8_12_639. EDN: YNSTGY.
Кротов Я.Е. Холакратические модели управления в организационных системах // Научный результат. Информационные технологии. 2024. Т. 9. № 2. С. 49–59. DOI: 10.18413/2518-1092-2024-9-2-0-6. EDN: KREPST.
Лужков Н.Д. Методы и технологии интеллектуального и отказоустойчивого управления // Международный журнал информационных технологий и энергоэффективности. 2025. Т. 10. № 5 (55). С. 109–116. EDN: ICORCY.
Лукашенко Д.В. Оптимизация управления в организационных системах на основе интеллектуальных технологий и особенности во ФСИН России // Естественные и технические науки. 2025. № 5 (204). С. 134–136. EDN: WOHYZU.
Львович К.И. Оптимизация цифрового управления в организационных системах на основе моделирования и алгоритмизации процесса адаптации персонала: автореф. дис. … канд. техн. наук. Воронеж, 2022. 16 с.
Львович Я.Е. и др. Оптимизация цифрового управления в организационных системах. Воронеж: Издательско-полиграфический центр, 2021. 191 с.
Львович Я.Е., Рындин Н.А., Сахаров Ю.С. Оптимизация распределения ресурсного обеспечения развития цифровой среды управления в организационных системах // Вестник Российского нового университета. Серия: Сложные системы: модели, анализ и управление. 2021. № 4. С. 106–114. DOI: 10.18137/RNU.V9187.21.04.P.106. EDN: FZEJTS.
Макарова Е.А., Лагерев Д.Г. Модель обработки слабоструктурированных текстовых данных на русском языке для интеллектуальной поддержки информационного управления в динамических организационных системах // Модели, системы, сети в экономике, технике, природе и обществе. 2022. № 3 (43). С. 104–125. DOI: 10.21685/2227-8486-2022-3-7. EDN: CDJOLY.
Мирончук В.А. и др. Компьютерные системы поддержки управленческих и организационных решений // Естественно-гуманитарные исследования. 2023. № 3 (47). С. 441–445.
Павлов А.А. Интеграция искусственного интеллекта в систему стратегического управления организацией: методология и практика // Вестник евразийской науки. 2025. Т. 17. № 3S. EDN: PQDTSJ.
Басов О.О. Регулирование применения технологий искусственного интеллекта в организационных системах // Экономика. Право. Инновации. 2022. № 4. С. 78–82. DOI: 10.17586/2713-1874-2022-4-78-82. EDN: JERBXU.
Болгова М.А. Управление в сетевых организационных системах на основе прогностических и оптимизационных моделей структурной трансформации: дис. ... канд. техн. наук. Воронеж, 2021. 147 с. EDN: OUYLFR.
Дилигенская А.Н. и др. Децентрализованное управление информационной безопасностью на основе эмерджентного интеллекта в информационных системах // Прикаспийский журнал: управление и высокие технологии. 2023. № 2 (62). С. 42–50. DOI: 10.54398/20741707_2023_2_42. EDN: WJCRQA.
Дмитриев Д.В. Управление в организационных системах: культурный аспект // Теория и практика сервиса: экономика, социальная сфера, технологии. 2024. № 4 (62). С. 18–22. EDN: QAIAQG.
Коковихин А.Ю. Функциональность информационных систем в управлении компетенциями персонала // Московский экономический журнал. 2023. № 12. С. 642–655. DOI: 10.55186/2413046X_2023_8_12_639. EDN: YNSTGY.
Кротов Я.Е. Холакратические модели управления в организационных системах // Научный результат. Информационные технологии. 2024. Т. 9. № 2. С. 49–59. DOI: 10.18413/2518-1092-2024-9-2-0-6. EDN: KREPST.
Лужков Н.Д. Методы и технологии интеллектуального и отказоустойчивого управления // Международный журнал информационных технологий и энергоэффективности. 2025. Т. 10. № 5 (55). С. 109–116. EDN: ICORCY.
Лукашенко Д.В. Оптимизация управления в организационных системах на основе интеллектуальных технологий и особенности во ФСИН России // Естественные и технические науки. 2025. № 5 (204). С. 134–136. EDN: WOHYZU.
Львович К.И. Оптимизация цифрового управления в организационных системах на основе моделирования и алгоритмизации процесса адаптации персонала: автореф. дис. … канд. техн. наук. Воронеж, 2022. 16 с.
Львович Я.Е. и др. Оптимизация цифрового управления в организационных системах. Воронеж: Издательско-полиграфический центр, 2021. 191 с.
Львович Я.Е., Рындин Н.А., Сахаров Ю.С. Оптимизация распределения ресурсного обеспечения развития цифровой среды управления в организационных системах // Вестник Российского нового университета. Серия: Сложные системы: модели, анализ и управление. 2021. № 4. С. 106–114. DOI: 10.18137/RNU.V9187.21.04.P.106. EDN: FZEJTS.
Макарова Е.А., Лагерев Д.Г. Модель обработки слабоструктурированных текстовых данных на русском языке для интеллектуальной поддержки информационного управления в динамических организационных системах // Модели, системы, сети в экономике, технике, природе и обществе. 2022. № 3 (43). С. 104–125. DOI: 10.21685/2227-8486-2022-3-7. EDN: CDJOLY.
Мирончук В.А. и др. Компьютерные системы поддержки управленческих и организационных решений // Естественно-гуманитарные исследования. 2023. № 3 (47). С. 441–445.
Павлов А.А. Интеграция искусственного интеллекта в систему стратегического управления организацией: методология и практика // Вестник евразийской науки. 2025. Т. 17. № 3S. EDN: PQDTSJ.
Keywords:
audiovisual synchronisation, contrastive learning, InfoNCE, Siamese neural network, cross-modal embeddings, articulation, deep learning, mel-spectrogram, facial landmarks, SyncNet.
