Abstract:
У роботі Визначено основні проблеми, що виникають при використанні методу зворотного поширення помилки (не ефективний у разі, коли значення похідних по різним вагам нейромережі суттєво відрізняються; не дозволяє отримати швидку збіжність процесу навчання; виникає висока ймовірність виникнення ефекту перенавчання тощо). На прикладі штучних нейронних мереж з різними функціями активації показано доцільність матричного подання мережі для визначення вагових коефіцієнтів її міжшарових з’єднань.
Розглянуто підхід до прискорення алгоритмів навчання з використанням нової технологічної бази – нейрочіпів. Визначено основну відмінність нейрочіпів від інших процесорів – забезпечення високого паралелізму обчислень за рахунок застосування спеціалізованого нейромережевого логічного базису або конкретних архітектурних рішень. Показано, що використання можливості представлення нейромережевих алгоритмів для реалізації на нейромережевому логічному базисі є основною передумовою різкого збільшення швидкості реалізації алгоритмів навчання штучних нейронних мереж. Обґрунтовано доцільність використання апаратно-програмного комплексу CUDA в якості нейрочіпу.
Розглянуто подання задачі ідентифікації об’єктів як постановку задачі нейромережевої апроксимації, показано доцільність вибору в якості архітектури штучної нейронної мережі для апроксимації будь-якої неперервної функції багатошарового перцептрону. Розроблено метод визначення коефіцієнтів зв’язку шарів мережі для штучних нейронних мереж глибинного навчання з кількістю прихованих шарів більше одного. На основі обраного векторно-матричного подання спроектовано програмне забезпечення для реалізації методу. Показано високий рівень точності ідентифікації об’єктів порівняно з алгоритмом зворотного поширення помилки. Визначено доцільність використання GPU для реалізації розробленого програмного забезпечення.
