priborИзвестия высших учебных заведений. ПриборостроениеJournal of Instrument Engineering0021-34542500-0381Национальный исследовательский университет ИТМО10.17586/0021-3454-2024-67-4-330-337pribor-160Research ArticleСИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИSYSTEM ANALYSIS, MANAGEMENT AND INFORMATION PROCESSINGМетоды оптимизации моделей нейронных сетейMethods for Optimizing Neural Network ModelsМокрецовН. С.MokretsovN. S.

Никита Сергеевич Мокрецов — аспирант, кафедра информационных систем

Санкт-Петербург

Nikita S. Mokretsov — Post-Graduate Student, Department of Information Systems

St. Petersburg

nikitamokrecov6374@gmail.comАрхипцевЕ. Д.ArkhiptsevE. D.

Евгений Дмитриевич Архипцев — аспирант, кафедра информационных систем

Санкт-Петербург

Evgeny D. Arkhiptsev — Post-Graduate Student, Department of Information Systems

St. Petersburg

lokargenia@gmail.comСанкт-Петербургский государственный электротехнический университет „ЛЭТИ“ им. В. И. Ульянова (Ленина)St. Petersburg Electrotechnical University202427112024674330337Copyright © Национальный исследовательский университет ИТМО, 20242024Национальный исследовательский университет ИТМОНациональный исследовательский университет ИТМОhttps://pribor.ifmo.ru/jour/about/submissions#copyrightNoticehttps://pribor.ifmo.ru/jour/article/view/160

Рассмотрены методы построения ускорителей глубокого обучения. Показано, что традиционные подходы к обеспечению отказоустойчивости ускорителей глубокого обучения основаны на избыточных вычислениях, что приводит к значительным накладным расходам, включая время обучения, энергопотребление и размеры интегральных схем. Рассмотрен метод, основанный на учете различий в уязвимости отдельных нейронов и битов каждого нейрона, частично решающий проблему избыточности вычислений. Метод позволяет избирательно защищать компоненты модели на уровне архитектуры и схемы, что снижает накладные расходы без ущерба для надежности модели. Показано, что квантование модели ускорителя глубокого обучения позволяет представлять данные меньшим числом битов, что снижает требования к аппаратным ресурсам.

Methods for building optimized deep learning accelerators are discussed. Traditional approaches to fault-tolerant deep learning accelerators are shown to rely on redundant computation, which results in significant overheads including training time, power consumption, and integrated circuit size. A method is proposed that considers differences in the vulnerability of individual neurons and the bits of each neuron, which partially solves the problem of computational redundancy. The method allows you to selectively protect model components at the architectural and circuit levels, which reduces overhead without compromising the reliability of the model. It is shown that quantization of the deep learning accelerator model allows data to be represented in fewer bits, which reduces hardware resource requirements.

глубокое обучениеускоритель глубокого обученияотказоустойчивостьмежуровневая оптимизацияквантование модели обученияdeep learningdeep learning acceleratorfault tolerancecross-layer optimizationlearning model quantizationReferencesChen Y., Luo T., Liu S., Zhang S., He L., Wang J., Li L., Chen T., Xu Z., Sun N. Dadiannao: A machine-learning supercomputer // Annual IEEE/ACM Intern. Symp. on Microarchitecture. 2014. Vol. 47. P. 609—622.Chen Y., Luo T., Liu S., Zhang S., He L., Wang J., Li L., Chen T., Xu Z., Sun N. Annual IEEE/ACM Intern. Symp. on Microarchitecture, 2014, vol. 47, рр. 609–622.Liu C., Chu C., Xu D., Wang Y., Wang Q., Li H., Li X., Cheng K., Hyca T. A hybrid computing architecture for fault-tolerant deep learning // IEEE Transact. on Computer-Aided Design of Integrated Circuits and Systems. 2021. Vol. 41, N 10. P. 3400—3413.Liu C., Chu C., Xu D., Wang Y., Wang Q., Li H., Li X., Cheng K., Hyca T. IEEE Transact. on Computer-Aided Design of Integrated Circuits and Systems, 2021, no. 10(41), pp. 3400–3413.Dixit A., Wood A. The impact of new technology on soft error rates // 2011 Intern. Reliability Physics Symposium. IEEE. 2011. P. 5B—4.Dixit A., Wood A. 2011 Intern. Reliability Physics Symp., IEEE, 2011, pp. 5B–4.Hoang L. H., Hanif M. A., Shafique M. Ft-clipact: Resilience analysis of deep neural networks and improving their fault tolerance using clipped activation // Design, Automation & Test in Europe Conference & Exhibition (DATE). IEEE. 2020. P. 1241—1246.Hoang L.H., Hanif M.A., Shafique M. Design, Automation & Test in Europe Conf. & Exhibition (DATE), IEEE, 2020, рр. 1241–1246.Ardakani A., Gross W. J. Fault-tolerance of binarized and stochastic computing-based neural networks // IEEE Workshop on Signal Processing Systems (SiPS). IEEE. 2021. P. 52—57.Ardakani A., Gross W.J. IEEE Workshop on Signal Processing Systems (SiPS), IEEE, 2021, рр. 52–57.Mittal S. A survey on modeling and improving reliability of dnn algorithms and accelerators // J. of Systems Architecture. 2020. Vol. 104. P. 101.Mittal S. Journal of Systems Architecture, 2020, vol. 104, рр. 101.Chen Z., Li G., Pattabiraman K. A low-cost fault corrector for deep neural networks through range restriction // Annual IEEE/IFIP Intern. Conf. on Dependable Systems and Networks (DSN). IEEE. 2021. Vol. 51. P. 1—13.Chen Z., Li G., Pattabiraman K. Annual IEEE/IFIP Intern. Conf. on Dependable Systems and Networks (DSN), IEEE, 2021, vol. 51, рр. 1–13.Chen Y. H., Emer J., Sze V. Eyeriss: A spatial architecture for energy-efficient dataflow for convolutional neural networks // ACM SIGARCH computer architecture news. 2016. Vol. 44, N 3. P. 367—379.Chen Y. H., Emer J., Sze V. ACM SIGARCH computer architecture news, 2016, no. 3(44), pp. 367–379.Libano F., Wilson B., Anderson J., Wirthlin M. J., Cazzaniga C., Frost C., Rech P. Selective hardening for neural networks in fpgas // IEEE Transact. on Nuclear Science. 2018. Vol. 66, N 1. P. 216—222.Libano F., Wilson B., Anderson J., Wirthlin M. J., Cazzaniga C., Frost C., Rech P. IEEE Transact. on Nuclear Science, 2018, no. 1(66), pp. 216–222.Mahdiani H. R., Fakhraie S. M., Lucas C. Relaxed fault-tolerant hardware implementation of neural networks in the presence of multiple transient errors // IEEE Transact. on Neural Networks and Learning Systems. 2012. Vol. 23, N 8. P. 1215—1228.Mahdiani H. R., Fakhraie S. M., Lucas C. IEEE Transact. on Neural Networks and Learning Systems, 2012, no. 8(23), pp. 1215–1228.Schorn C., Guntoro A., Ascheid G. Accurate neuron resilience prediction for a flexible reliability management in neural network accelerators // Design, Automation & Test in Europe Conference & Exhibition (DATE). IEEE. 2018. P. 979—984.Schorn C., Guntoro A., Ascheid G. Design, Automation & Test in Europe Conference & Exhibition (DATE), IEEE, 2018, pp. 979–984.Мокрецов Н. С., Татарникова Т. М. Самоорганизующиеся нейронные клеточные автоматы для обучения с подкреплением и эволюционного развития // Изв. СПбГЭТУ ЛЭТИ. 2023. Т. 16, № 7. С. 68—75.Mokretsov N.S., Tatarnikova T.M. Proc. of Saint Petersburg Electrotechnical University, 2023, no. 7(16), pp. 68–75. (in Russ.)Sovetov B. Y., Tatarnikova T. M., Cehanovsky V. V. Detection system for threats of the presence of hazardous substance in the environment // Proc. of 22nd Intern. Conf. on Soft Computing and Measurements, SCM 2019. 2019. Р. 121—124.Sovetov B.Y., Tatarnikova T.M., Cehanovsky V.V. Proc. of 22nd Intern. Conf. on Soft Computing and Measurements, SCM 2019, 2019, рр. 121–124.Wang H., Feng R., Han Z. F., Leung C. S.Admm-based algorithm for training fault tolerant rbf networks and selecting centers // IEEE Transact. on Neural Networks and Learning Systems. 2017. Vol. 29, N 8. P. 3870—3878.Wang H., Feng R., Han Z.F., Leung C.S. IEEE Transact. on Neural Networks and Learning Systems, 2017, no. 8(29), pp. 3870–3878.Bertoa T. G., Gambardella G., Fraser N. J., Blott M., McAllister J. Fault tolerant neural network accelerators with selective tmr // IEEE Design & Test. 2022. https://doi.org/10.1109/MDAT.2022.3174181.Bertoa T.G., Gambardella G., Fraser N. J., Blott M., McAllister J. IEEE Design & Test., 2022, https://doi.org/10.1109/MDAT.2022.3174181.Rabe M., Milz S., Mader P. Development methodologies for safety critical machine learning applications in the automotive domain: A survey // Proc. of the IEEE/CVF Conf. on Computer Vision and Pattern Recognition. 2021. P. 129—141.Rabe M., Milz S., Mader P. Proc. of the IEEE/CVF Conf. on Computer Vision and Pattern Recognition, 2021, рр. 129–141.

The authors declare that there are no conflicts of interest present.