ИБМ-ово отпорно рачунарство могло би масовно да убрза уметничку интелигенцију - и приближи нас Аситовљевом Позитроничном мозгу

АИ неуронске мреже вештачке интелигенције

Са недавним брзим напретком у машинском учењу дошло је до ренесансе за неуронске мреже - рачунарски софтвер који решава проблеме помало попут људског мозга, применом сложеног процеса подударања образаца распоређених у многим виртуелним чворовима или „неуронима“. Савремена рачунарска снага омогућила је неуронским мрежама да препознају слике, говор и лица, као и да пилотирају самовозеће аутомобиле и победе на Го и Јеопарди. Већина рачунарских научника мисли да је то тек почетак шта ће на крају бити могуће. Нажалост, хардвер који користимо за обуку и покретање неуронских мрежа не изгледа готово нимало као њихова архитектура. То значи да могу бити потребни дани или чак недеље да се обучи неуронска мрежа за решавање проблема - чак и на рачунарском кластеру - а затим ће му требати велика количина енергије за решавање проблема након што се обуче.

Неуроморфно рачунање може бити кључно за унапређење АИ

Истраживачи из ИБМ-а желе да све то промене усавршавањем друге технологије која се, попут неуронских мрежа, први пут појавила пре више деценија. Широко назван отпорно рачунарство, концепт је да имају рачунске јединице аналогне природе, мале супстанце и које могу задржати своју историју како би могле да уче током процеса обуке. Убрзање неуронских мрежа хардвером није ново за ИБМ. Недавно је најавила продају неких од својих ТруеНортх чипови Лавренце Натионал Лабс за истраживање АИ. ТруеНортх-ов дизајн је неуроморфан, што значи да се чипови приближно приближавају можданој архитектури неурона и синапси. Упркос спорој брзини такта од 1 КХз, ТруеНортх може врло ефикасно да покреће неуронске мреже због својих милион сићушних процесорских јединица које свака опонашају неурон.



До сада су, међутим, акцелератори неуронских мрежа попут ТруеНортх били ограничени на део решавања проблема у примени неуронске мреже. Обука - мукотрпан процес пуштања система да се оцењује на скупу података о тестирању, а затим подешавање параметара (названих пондери) док не постигне успех - још увек треба да се обавља на традиционалним рачунарима. Прелазак са ЦПУ-а на ГПУ и прилагођени силицијум повећао је перформансе и смањио потребну потрошњу енергије, али поступак је и даље скуп и дуготрајан. То је где Нови посаоИБМ-ових истраживача Таифун Гокмен и Иури Власов улазе. Они предлажу нову архитектуру чипова, користећи отпорно рачунање за стварање плочица милиона отпорних процесних јединица (РПУ), које се могу користити и за обуку и за рад неуронских мрежа.



Коришћење отпорног рачунарства за разбијање уског грла у раду на неуронским мрежама

Дубоке неуронске мреже имају најмање један скривени слој, а често и стотине. То их чини скупим за опонашање на традиционалном хардверу.Отпорно рачунање је велика тема, али грубо речено, у ИБМ дизајну свака мала процесна јединица (РПУ) опонаша синапсу у мозгу. Прима различите аналогне улазе - у облику напона - и на основу свог претходног „искуства“ користи њихову пондерисану функцију да одлучи који ће резултат проследити следећем скупу рачунских елемената. Синапсе имају збуњујући и још увек не потпуно разумљив распоред у мозгу, али чипови са отпорним елементима имају тенденцију да буду лепо организовани у дводимензионалне низове. На пример, ИБМ-ов недавни рад показује како их је могуће организовати у низове од 4096 пута 4096.

Будући да су отпорне рачунске јединице специјализоване (у поређењу са језгром ЦПУ-а или ГПУ-а) и не треба да претварају аналогне у дигиталне информације или да приступају меморији која није њихова, оне могу бити брзе и троше мало енергије. Дакле, у теорији, сложена неуронска мрежа - попут оне која се користи за препознавање путоказа у самовозећем аутомобилу, на пример - може се директно моделирати тако што ће се сваком од софтверски описаних чворова доделити резистивни рачунски елемент. Међутим, будући да су РПУ-ови непрецизни - због њихове аналогне природе и одређене количине шума у ​​њиховим струјним круговима - сваки алгоритам који се на њима ради мора бити отпоран на непрецизност својствену отпорним рачунским елементима.



Традиционални алгоритми неуронске мреже - и за извођење и за обуку - написани су претпостављајући високо прецизне јединице дигиталне обраде које могу лако позвати све потребне меморијске вредности. Њихово преписивање тако да сваки локални чвор може да се самостално извршава и буде непрецизан, али даје резултат који је и даље довољно тачан, захтевало је много софтверских иновација.

Да би ови нови софтверски алгоритми радили у великом обиму, потребан је напредак и у хардверу. Постојеће технологије нису биле адекватне за стварање „синапси“ које би се могле спајати довољно уско и радити са малом снагом у бучном окружењу, како би резистентна обрада постала практична алтернатива постојећим приступима. Прво се извршило извршавање, са логиком за тренинг неуралне мреже на хибридном резистентном рачунару није развијен до 2014. У то време истраживачи са Универзитета у Питтсбургу и Универзитета Тсингхуа тврдили су да би такво решење могло да доведе до повећања ефикасности напајања од 3 до 4 реда по цени од само око 5% у тачности.

ИБМ-ови истраживачи тврде да ће дизајн заснован на РПУ-у бити знатно ефикаснији за апликације неуронске мреже

ИБМ-ови истраживачи тврде да ће дизајн заснован на РПУ-у бити знатно ефикаснији за апликације неуронске мреже, приказано у овој табели из њиховог рада



Прелазак са извршења на тренинг

Овај нови ИБМ-ов рад још више гура употребу отпорног рачунарства, постулирајући систем где се готово сва рачунања врше на РПУ-има, са традиционалним склоповима потребним само за функције подршке и улаз и излаз. Ова иновација се ослања на комбиновање верзије алгоритма за обуку неуронске мреже која се може изводити на РПУ заснованој архитектури са хардверском спецификацијом за РПУ који би могао да је покреће.

Што се тиче примене идеја у пракси, досад је отпорно рачунање углавном било теоријска конструкција. Прва отпорна меморија (РРАМ) постала је доступна за израду прототипа 2012. године и не очекује се да ће бити главни производ још неколико година. А ти чипови, иако ће помоћи у скалирању меморијских система и показати одрживост употребе отпорне технологије у рачунарству, не баве се проблемом обраде налик синапси.

Ако се РПУ-ови могу направити, небо је граница

Очекује се да ће предложени дизајн РПУ прилагодити разне архитектуре дубоких неуронских мрежа (ДНН), укључујући потпуно повезане и конволуционе, што их чини потенцијално корисним у готово читавом спектру апликација неуронске мреже. Користећи постојећу ЦМОС технологију и претпостављајући РПУ-ове у плочицама од 4096 пута 4096 елемената са временом циклуса од 80 наносекунди, једна од ових плочица могла би да изврши око 51 ГигаОпс у секунди, користећи минималну количину снаге. Чип са 100 плочица и једним комплементарним процесорским језгром могао би да обрађује мрежу до 16 милијарди тежина док троши само 22 вата (од којих су само два из РПУ-а - остало је из језгра ЦПУ-а потребног за помоћ у приступу подацима) и ван чипа и пружају укупну контролу).

То је запањујући број у поређењу са оним што је могуће приликом пребацивања података кроз релативно мањи број језгара чак и у ГПУ-у (помислите на око 16 милиона рачунарских елемената, у поређењу са неколико хиљада). Користећи чипове густо спаковане са овим РПУ плочицама, истраживачи тврде да, када једном изграђен, АИ систем заснован на отпорном рачунару може да постигне побољшања перформанси и до 30.000 пута у поређењу са тренутним архитектурама, а све са енергетском ефикасношћу од 84.000 ГигаОпс у секунди по вату. Ако ово постане стварност, могли бисмо да кренемо ка остварењу фантазијске визије робота Исака Асимова Позитронски мозак.

Copyright © Сва Права Задржана | 2007es.com