priborИзвестия высших учебных заведений. ПриборостроениеJournal of Instrument Engineering0021-34542500-0381Национальный исследовательский университет ИТМО10.17586/0021-3454-2025-68-7-567-575pribor-388Research ArticleСИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИSYSTEM ANALYSIS, MANAGEMENT AND INFORMATION PROCESSINGПрямая и обратная задачи оценивания частоты обработки данных в бинарных нейронных сетяхForward and Inverse Tasks for Inference Rate Estimation in Binary Neural NetworksШаккуфA.ShakkoufA.

Али Шаккуф — аспирант; факультет систем управления и робототехники

Санкт-Петербург

Ali Shakkouf — Post-Graduate Student; Faculty of Control Systems and Robotics

St. Petersburg

ashakkuf@itmo.ruГромовВ. С.GromovV. S.

Владислав Сергеевич Громов — канд. техн. наук; факультет систем управления и робототехники; доцент

Санкт-Петербург

Vladislav S. Gromov — PhD; Faculty of Control Systems and Robotics; Associate Professor

St. Petersburg

gromov@itmo.ruУниверситет ИТМОРоссияITMO UniversityRussian Federation202509082025687567575Copyright © Национальный исследовательский университет ИТМО, 20252025Национальный исследовательский университет ИТМОНациональный исследовательский университет ИТМОhttps://pribor.ifmo.ru/jour/about/submissions#copyrightNoticehttps://pribor.ifmo.ru/jour/article/view/388

Развертывание бинарных нейронных сетей (BNNS) сопряжено со значительными трудностями, особенно при выборе подходящего оборудования для достижения желаемого уровня производительности и точной оценки вычислительных затрат. Для решения этих проблем была введена новая метрика под названием „XNOROP“, предлагающая упрощенный подход к оценке вычислительных затрат BNNs и представляющая метод сжатия двоичных фильтров. Метрика „XNOROP“ используется для определения и решения двух важнейших задач в BNNs; первая задача, называемая „прямой задачей“, включает в себя оценку скорости вывода данной модели при развертывании на конкретном целевом устройстве; вторая задача, называемая „обратная задача“, описывает систематическую процедуру определения набора целевых устройств, способных обеспечить требуемую скорость вывода при развертывании модели. Расширена базовая формула „XNOROP“ с включением в нее компонентов, сопряженных с временем доступа к памяти, что повысило ее применимость в реальных сценариях развертывания.

Deploying Binary Neural Networks (BNNs) presents significant challenges, particularly in selecting suitable hardware to achieve desired performance levels and accurately estimating computational costs. To address these issues, a novel metric named "XNOROP" was recently introduced, offering a simplified approach for estimating the computational cost of BNNs and introducing a method for compressing binary filters. This paper leverages " XNOROP" to define and solve two critical tasks in BNNs. The first task, referred to as the "Forward Task", involves estimating the inference rate of a given model M when deployed on a specific target device T. The second task, known as the "Inverse Task", outlines a systematic procedure to identify a set of target devices T capable of achieving a required inference rate M when deploying the model . Additionally, we extend the foundational formula of "XNOROP" and introduce “LXNOROP” which incorporates considerations for memory access time, enhancing its applicability for real-world deployment scenarios.

бинарные нейронные сетиоптимизация BNNsметрики BNNsXNOROPпроектирование аппаратного обеспеченияBinary Neural NetworksBNNs OptimizationBNNs metricsXNOROPLXNOROPhardware designReferencesTan S., Zhang Z., Cai Y., Ergu D., Wu L., Hu B., Yu P., & Zhao Y. SegStitch: Multidimensional Transformer for Robust and Efficient Medical Imaging Segmentation // arXiv preprint arXiv:2408.00496, 2024.Tan S., Zhang Z., Cai Y., Ergu D., Wu L., Hu B., Yu P., & Zhao Y. arXiv preprint, arXiv:2408.00496, 2024.Lin X. V., Shrivastava A., Luo L., Iyer S., Lewis M., Gosh G., Zettlemoyer L., & Aghajanyan A. MoMa: Efficient EarlyFusion Pre-training with Mixture of Modality-Aware Experts // arXiv preprint arXiv:2407.21770, 2024.Lin X.V., Shrivastava A., Luo L., Iyer S., Lewis M., Gosh G., Zettlemoyer L., & Aghajanyan A. arXiv preprint, arXiv:2407.21770, 2024.Cui Z., Yao J., Zeng L., Yang J., Liu W., & Wang X. LKCell: Efficient Cell Nuclei Instance Segmentation with Large Convolution Kernels // arXiv preprint arXiv: 2407.18054, 2024.Cui Z., Yao J., Zeng L., Yang J., Liu W., & Wang X. arXiv preprint, arXiv: 2407.18054, 2024.Calculate Computational Efficiency of Deep Learning Models with FLOPs and MACs // KDnuggets. 2023. June 19. [Электронный ресурс]: https://www.kdnuggets.com/2023/06/calculate-computational-efficiency-deep-learningmodels-flops-macs.htmlCalculate Computational Efficiency of Deep Learning Models with FLOPs and MACs, KDnuggets, June 19, 2023, https://www.kdnuggets.com/2023/06/calculate-computational-efficiency-deep-learning-models-flops-macs.html.Dongarra J. Performance of various computers using standard linear equations software in a Fortran environment // Argonne National Laboratory Report ANL-80-70. Argonne, Illinois. 1979.Dongarra J. Performance of various computers using standard linear equations software in a Fortran environment, Argonne National Laboratory Report ANL-80-70, Argonne, Illinois, 1979.Courbariaux M., Bengio Y., & David J.-P. BinaryConnect: Training Deep Neural Networks with binary weights during propagations. 2016. [Электронный ресурс]: https://arxiv.org/abs/1511.00363.Courbariaux M., Bengio Y., & David J.-P. Binary Connect: Training Deep Neural Networks with binary weights during propagations, 2016, https://arxiv.org/abs/1511.00363.Shakkouf A., Sergeevich G. V. XNOROP: a New Metric for Binary Neural Networks Performance Measurement // 36th Conf. of Open Innovations Association (FRUCT), Lappeenranta, Finland, 2024. P. 721–728. DOI: 10.23919/FRUCT64283.2024.10749876.Shakkouf A. and Sergeevich G.V. 36th Conference of Open Innovations Association (FRUCT), Lappeenranta, Finland, 2024, pp. 721–728, DOI: 10.23919/FRUCT64283.2024.10749876.Wang L., Zhan J., Gao W., Yang K., Jiang Z., Ren R., He X., & Luo C. BOPS, Not FLOPS! A New Metric and Roofline Performance Model For Datacenter Computing // https://arxiv.org/abs/1801.09212, 2019.Wang L., Zhan J., Gao W., Yang K., Jiang Z., Ren R., He X., & Luo C. BOPS, Not FLOPS! A New Metric and Roofline Performance Model For Datacenter Computing, 2019, https://arxiv.org/abs/1801.09212.Moosmann J., Bonazzi P., Li Y., Bian S., Mayer P., Benini L., & Magno M. Ultra-Efficient On-Device Object Detection on AI-Integrated Smart Glasses with TinyissimoYOLO // https://arxiv.org/abs/2311.01057, 2023.Moosmann J., Bonazzi P., Li Y., Bian S., Mayer P., Benini L., & Magno M. Ultra-Efficient On-Device Object Detection on AI-Integrated Smart Glasses with TinyissimoYOLO, 2023, https://arxiv.org/abs/2311.01057.Geiger et al. Larq: An Open-Source Library for Training Binarized Neural Networks // Journal of Open-Source Software. 2020. N 5(45). P. 1746. DOI: 10.21105/joss.01746.Geiger et al. Journal of Open-Source Software, 2020, no. 5(45), pp. 1746, https://doi.org/10.21105/joss.01746.

The authors declare that there are no conflicts of interest present.