Аннотация. Рассмотрены методы построения ускорителей глубокого обучения. Показано, что традиционные подходы к обеспечению отказоустойчивости ускорителей глубокого обучения основаны на избыточных вычислениях, что приводит к значительным накладным расходам, включая время обучения, энергопотребление и размеры интегральных схем. Рассмотрен метод, основанный на учете различий в уязвимости отдельных нейронов и битов каждого нейрона, частично решающий проблему избыточности вычислений. Метод позволяет избирательно защищать компоненты модели на уровне архитектуры и схемы, что снижает накладные расходы без ущерба для надежности модели. Показано, что квантование модели ускорителя глубокого обучения позволяет представлять данные меньшим числом битов, что снижает требования к аппаратным ресурсам.

Ключевые слова: глубокое обучение, ускоритель глубокого обучения, отказоустойчивость, межуровневая оптимизация, квантование модели обучения

Список литературы:

1. Chen Y., Luo T., Liu S., Zhang S., He L., Wang J., Li L., Chen T., Xu Z., Sun N. Dadiannao: A machine-learning supercomputer // Annual IEEE/ACM Intern. Symp. on Microarchitecture. 2014. Vol. 47. P. 609—622.
2. Liu C., Chu C., Xu D., Wang Y., Wang Q., Li H., Li X., Cheng K., Hyca T. A hybrid computing architecture for fault-tolerant deep learning // IEEE Transact. on Computer-Aided Design of Integrated Circuits and Systems. 2021. Vol. 41, N 10. P. 3400—3413.
3. Dixit A., Wood A. The impact of new technology on soft error rates // 2011 Intern. Reliability Physics Symposium. IEEE. 2011. P. 5B—4.
4. Hoang L. H., Hanif M. A., Shafique M. Ft-clipact: Resilience analysis of deep neural networks and improving their fault tolerance using clipped activation // Design, Automation & Test in Europe Conference & Exhibition (DATE). IEEE. 2020. P. 1241—1246.
5. Ardakani A., Gross W. J. Fault-tolerance of binarized and stochastic computing-based neural networks // IEEE Workshop on Signal Processing Systems (SiPS). IEEE. 2021. P. 52—57.
6. Mittal S. A survey on modeling and improving reliability of dnn algorithms and accelerators // J. of Systems Architecture. 2020. Vol. 104. P. 101.
7. Chen Z., Li G., Pattabiraman K. A low-cost fault corrector for deep neural networks through range restriction // Annual IEEE/IFIP Intern. Conf. on Dependable Systems and Networks (DSN). IEEE. 2021. Vol. 51. P. 1—13.
8. Chen Y. H., Emer J., Sze V. Eyeriss: A spatial architecture for energy-efficient dataflow for convolutional neural networks // ACM SIGARCH computer architecture news. 2016. Vol. 44, N 3. P. 367—379.
9. Libano F., Wilson B., Anderson J., Wirthlin M. J., Cazzaniga C., Frost C., Rech P. Selective hardening for neural networks in fpgas // IEEE Transact. on Nuclear Science. 2018. Vol. 66, N 1. P. 216—222.
10. Mahdiani H. R., Fakhraie S. M., Lucas C. Relaxed fault-tolerant hardware implementation of neural networks in the presence of multiple transient errors // IEEE Transact. on Neural Networks and Learning Systems. 2012. Vol. 23, N 8. P. 1215—1228.
11. Schorn C., Guntoro A., Ascheid G. Accurate neuron resilience prediction for a flexible reliability management in neural network accelerators // Design, Automation & Test in Europe Conference & Exhibition (DATE). IEEE. 2018. P. 979—984.
12. Мокрецов Н. С., Татарникова Т. М. Самоорганизующиеся нейронные клеточные автоматы для обучения с подкреплением и эволюционного развития // Изв. СПбГЭТУ ЛЭТИ. 2023. Т. 16, № 7. С. 68—75.
13. Sovetov B. Y., Tatarnikova T. M., Cehanovsky V. V. Detection system for threats of the presence of hazardous substance in the environment // Proc. of 22nd Intern. Conf. on Soft Computing and Measurements, SCM 2019. 2019. Р. 121—124.
14. Wang H., Feng R., Han Z. F., Leung C. S.Admm-based algorithm for training fault tolerant rbf networks and selecting centers // IEEE Transact. on Neural Networks and Learning Systems. 2017. Vol. 29, N 8. P. 3870—3878.
15. Bertoa T. G., Gambardella G., Fraser N. J., Blott M., McAllister J. Fault tolerant neural network accelerators with selective tmr // IEEE Design & Test. 2022. https://doi.org/10.1109/MDAT.2022.3174181.
16. Rabe M., Milz S., Mader P. Development methodologies for safety critical machine learning applications in the automotive domain: A survey // Proc. of the IEEE/CVF Conf. on Computer Vision and Pattern Recognition. 2021. P. 129—141.