Исследователи разработали электронный нейрон, который сочетает в себе два простых элемента — обычный транзистор и наноразмерное магнитное устройство — и воспроизводит поведение биологических нейронов. В отличие от обычных электронных нейронов, такое поведение возникает естественным образом благодаря магнитным свойствам устройства и не требует сложной схемы управления. Схема может генерировать электрические импульсы с точным таймингом, которые напоминают импульсы биологических нейронов, и, как показала небольшая демонстрация, выполнять функции машинного обучения.
У современного искусственного интеллекта есть один недостаток: чем больше становятся модели, тем больше чипов, данных и электроэнергии им требуется. Поэтому одна из целей аппаратного обеспечения для ИИ следующего поколения — не просто сделать компьютеры умнее, а сделать вычисления гораздо менее энергозатратными.
Ученые из Оклендского университета в Мичигане предложили способ сократить эти затраты: создавать искусственные нейроны на основе стандартного электронного транзистора в паре с магнитным туннельным переходом (MTJ). В ходе моделирования сети, созданные из этих компонентов, обучались стандартному эталону машинного обучения — логическому элементу «исключающее ИЛИ» — с помощью синхронизации электрических импульсов, а не обычных цифровых сигналов. Исследование было недавно опубликовано в журнале IEEE Transactions on Circuits and Systems.
MTJ уже широко используются в магниторезистивной памяти с произвольным доступом (MRAM). Она содержит магнитные слои, разделенные чрезвычайно тонким изолирующим барьером. Один из этих магнитных слоев может менять свою ориентацию при прохождении тока через устройство.
Это происходит потому, что у электронов есть свойство, называемое спином, которое в некоторой степени похоже на крошечную магнитную ориентацию. Когда ток проходит через MTJ, эти спины могут оказывать небольшое скручивающее воздействие на намагниченность. Исследователи называют это спиновым моментом.
Эффект незначителен, но на наноуровне он может привести к измеримым изменениям. По мере смещения намагниченности электрическое сопротивление магнитострикционного перехода меняется. В микросхемах памяти это изменение может означать сохранение бита. Здесь же исследователи используют его для другой цели: чтобы генерировать короткие электрические импульсы, или «спайки», которые биологические нейроны используют для передачи сигналов.
MTJ соединен с одним NMOS-транзистором — базовым переключателем, который используется во всех современных компьютерных чипах. Транзистор управляет током, проходящим через магнитное устройство. При перемещении намагниченности сопротивление MTJ меняется, что приводит к изменению напряжения в цепи. При определенных условиях это приводит к возникновению импульса. Вместе MTJ и транзистор образуют «магнитный нейрон».
Биологические нейроны реагируют не на каждый поступающий сигнал. Они собирают входные сигналы, активируются только тогда, когда эти сигналы превышают пороговое значение, а затем вступают в короткий рефрактерный период, прежде чем снова активироваться. Моделируемый магнитный нейрон воспроизводит несколько полезных нейронных функций, в том числе пороговую активацию, латентность, рефрактерные периоды, синаптическую интеграцию и торможение.
В обычных электронных нейронах для воспроизведения такого поведения часто требуются сложные схемы, содержащие множество транзисторов, в то время как в данном случае такое поведение естественным образом возникает благодаря магнитной динамике одного магнитно-твердого перехода.
Это не биологический нейрон. Но он может имитировать вычислительное поведение, которое делает нейроны полезными.
От магнитного устройства к искусственному нейрону. Магнитный туннельный переход (слева) содержит слои магнитных материалов, ориентация которых, обозначенная красными стрелками, влияет на его электрическое сопротивление. Синяя стрелка показывает, как может вращаться намагниченность. В сочетании с одним транзистором (в центре) он образует магнитный нейрон, который может генерировать электрические импульсы (справа), воспроизводя некоторые особенности поведения биологических нейронов за счет естественной динамики своих магнитных слоев. Изображение: Steven Louis
Чтобы проверить, способны ли предложенные нейроны на что-то большее, чем просто генерировать импульсы, исследователи объединили их в небольшую многослойную сеть и обучили ее на логическом элементе «исключающее ИЛИ» — стандартном тесте для нелинейного машинного обучения.
Сеть начала работу с синаптическими весами, которые не давали правильных ответов. В процессе обучения она многократно выполняла логический вывод, сравнивала фактическую частоту импульсов с желаемой и корректировала синаптические веса с помощью метода градиентного спуска. После обучения сеть смогла воспроизвести функцию «исключающее ИЛИ».
Исследователи сообщают, что сеть сходится в смоделированных условиях, демонстрируя нелинейную обработку, многоуровневую коммуникацию и адаптацию весовых коэффициентов полностью в рамках аналогового моделирования. Даже обучение происходит внутри смоделированной аналоговой схемы, а не в программном обеспечении.
Это очень скромная демонстрация, и никто не утверждает, что несколько магнитных нейронов заменят графический процессор, но самое интересное заключается в том, что физическая динамика магнитного устройства напрямую участвует в вычислениях, а не просто хранит данные для обработки обычным процессором.
Разработан "магнитный нейрон"
Исследователи разработали электронный нейрон, который сочетает в себе два простых элемента — обычный транзистор и наноразмерное магнитное устройство — и воспроизводит поведение биологических нейронов. В отличие от обычных электронных нейронов, такое поведение возникает естественным образом благодаря магнитным свойствам устройства и не требует сложной схемы управления. Схема может генерировать электрические импульсы с точным таймингом, которые напоминают импульсы биологических нейронов, и, как показала небольшая демонстрация, выполнять функции машинного обучения.
У современного искусственного интеллекта есть один недостаток: чем больше становятся модели, тем больше чипов, данных и электроэнергии им требуется. Поэтому одна из целей аппаратного обеспечения для ИИ следующего поколения — не просто сделать компьютеры умнее, а сделать вычисления гораздо менее энергозатратными.
Ученые из Оклендского университета в Мичигане предложили способ сократить эти затраты: создавать искусственные нейроны на основе стандартного электронного транзистора в паре с магнитным туннельным переходом (MTJ). В ходе моделирования сети, созданные из этих компонентов, обучались стандартному эталону машинного обучения — логическому элементу «исключающее ИЛИ» — с помощью синхронизации электрических импульсов, а не обычных цифровых сигналов. Исследование было недавно опубликовано в журнале IEEE Transactions on Circuits and Systems.
MTJ уже широко используются в магниторезистивной памяти с произвольным доступом (MRAM). Она содержит магнитные слои, разделенные чрезвычайно тонким изолирующим барьером. Один из этих магнитных слоев может менять свою ориентацию при прохождении тока через устройство.
Это происходит потому, что у электронов есть свойство, называемое спином, которое в некоторой степени похоже на крошечную магнитную ориентацию. Когда ток проходит через MTJ, эти спины могут оказывать небольшое скручивающее воздействие на намагниченность. Исследователи называют это спиновым моментом.
Эффект незначителен, но на наноуровне он может привести к измеримым изменениям. По мере смещения намагниченности электрическое сопротивление магнитострикционного перехода меняется. В микросхемах памяти это изменение может означать сохранение бита. Здесь же исследователи используют его для другой цели: чтобы генерировать короткие электрические импульсы, или «спайки», которые биологические нейроны используют для передачи сигналов.
MTJ соединен с одним NMOS-транзистором — базовым переключателем, который используется во всех современных компьютерных чипах. Транзистор управляет током, проходящим через магнитное устройство. При перемещении намагниченности сопротивление MTJ меняется, что приводит к изменению напряжения в цепи. При определенных условиях это приводит к возникновению импульса. Вместе MTJ и транзистор образуют «магнитный нейрон».
Биологические нейроны реагируют не на каждый поступающий сигнал. Они собирают входные сигналы, активируются только тогда, когда эти сигналы превышают пороговое значение, а затем вступают в короткий рефрактерный период, прежде чем снова активироваться. Моделируемый магнитный нейрон воспроизводит несколько полезных нейронных функций, в том числе пороговую активацию, латентность, рефрактерные периоды, синаптическую интеграцию и торможение.
В обычных электронных нейронах для воспроизведения такого поведения часто требуются сложные схемы, содержащие множество транзисторов, в то время как в данном случае такое поведение естественным образом возникает благодаря магнитной динамике одного магнитно-твердого перехода.
Это не биологический нейрон. Но он может имитировать вычислительное поведение, которое делает нейроны полезными.
От магнитного устройства к искусственному нейрону. Магнитный туннельный переход (слева) содержит слои магнитных материалов, ориентация которых, обозначенная красными стрелками, влияет на его электрическое сопротивление. Синяя стрелка показывает, как может вращаться намагниченность. В сочетании с одним транзистором (в центре) он образует магнитный нейрон, который может генерировать электрические импульсы (справа), воспроизводя некоторые особенности поведения биологических нейронов за счет естественной динамики своих магнитных слоев. Изображение: Steven Louis
Чтобы проверить, способны ли предложенные нейроны на что-то большее, чем просто генерировать импульсы, исследователи объединили их в небольшую многослойную сеть и обучили ее на логическом элементе «исключающее ИЛИ» — стандартном тесте для нелинейного машинного обучения.
Сеть начала работу с синаптическими весами, которые не давали правильных ответов. В процессе обучения она многократно выполняла логический вывод, сравнивала фактическую частоту импульсов с желаемой и корректировала синаптические веса с помощью метода градиентного спуска. После обучения сеть смогла воспроизвести функцию «исключающее ИЛИ».
Исследователи сообщают, что сеть сходится в смоделированных условиях, демонстрируя нелинейную обработку, многоуровневую коммуникацию и адаптацию весовых коэффициентов полностью в рамках аналогового моделирования. Даже обучение происходит внутри смоделированной аналоговой схемы, а не в программном обеспечении.
Это очень скромная демонстрация, и никто не утверждает, что несколько магнитных нейронов заменят графический процессор, но самое интересное заключается в том, что физическая динамика магнитного устройства напрямую участвует в вычислениях, а не просто хранит данные для обработки обычным процессором.
Источник: russianelectronics.ru