Трансформаторы что это такое. Трансформаторы: устройство, принцип работы и применение

Что такое трансформатор. Как устроен трансформатор. Для чего используются трансформаторы. Какие бывают виды трансформаторов. Как работает трансформатор. Преимущества и недостатки трансформаторов.

Что такое трансформатор и как он устроен

Трансформатор — это статическое электромагнитное устройство, предназначенное для преобразования переменного тока одного напряжения в переменный ток другого напряжения той же частоты. Основными элементами конструкции трансформатора являются:

• Магнитопровод — замкнутый сердечник из ферромагнитного материала (обычно электротехнической стали)
• Обмотки — проводники, намотанные на магнитопровод:
  • Первичная обмотка — подключается к источнику переменного тока
  • Вторичная обмотка — к ней подключается нагрузка
• Изоляция — электроизоляционные материалы между обмотками и магнитопроводом
• Система охлаждения — для отвода тепла (в мощных трансформаторах)

Принцип действия трансформатора

Работа трансформатора основана на явлении электромагнитной индукции. При протекании переменного тока по первичной обмотке в магнитопроводе возникает переменный магнитный поток. Этот поток пронизывает витки вторичной обмотки и наводит в ней ЭДС. Величина наведенной ЭДС зависит от числа витков обмотки.

Соотношение напряжений на обмотках трансформатора определяется коэффициентом трансформации:

k = U1 / U2 = w1 / w2

где U1, U2 — напряжения на первичной и вторичной обмотках, w1, w2 — число витков обмоток.

Виды трансформаторов

По назначению трансформаторы подразделяются на следующие основные виды:

• Силовые — для передачи и распределения электроэнергии
• Измерительные — для измерения токов и напряжений
• Специальные — для специфических применений (сварочные, печные и др.)

По количеству фаз различают однофазные и трехфазные трансформаторы. По способу охлаждения — сухие, масляные и с негорючим жидким диэлектриком.

Области применения трансформаторов

Трансформаторы широко используются в различных отраслях:

• Электроэнергетика — для передачи электроэнергии на большие расстояния
• Электроника — в блоках питания электронных устройств
• Электропривод — для регулирования напряжения на двигателях
• Электрометаллургия — в электропечах
• Электросварка — в сварочных аппаратах
• Радиотехника и связь — в передающих и приемных устройствах

Преимущества и недостатки трансформаторов

К основным достоинствам трансформаторов относятся:

• Высокий КПД (98-99% у мощных трансформаторов)
• Возможность получения различных уровней напряжения
• Простота конструкции и надежность в эксплуатации
• Отсутствие подвижных частей

Недостатки трансформаторов:

• Наличие потерь энергии в магнитопроводе и обмотках
• Изменение коэффициента трансформации при изменении нагрузки
• Чувствительность к перегрузкам по току и напряжению

Как выбрать трансформатор

При выборе трансформатора необходимо учитывать следующие основные параметры:

• Номинальная мощность
• Номинальные напряжения первичной и вторичной обмоток
• Частота питающей сети
• Группа соединения обмоток (для трехфазных трансформаторов)
• Потери холостого хода и короткого замыкания
• Напряжение короткого замыкания
• Способ охлаждения

Правильный выбор трансформатора по этим параметрам обеспечит его эффективную и надежную работу в конкретных условиях эксплуатации.

Эксплуатация и обслуживание трансформаторов

Для обеспечения длительной и безопасной работы трансформаторов необходимо выполнять следующие правила эксплуатации:

• Соблюдать номинальные параметры (напряжение, ток, мощность)
• Контролировать температуру обмоток и масла
• Следить за уровнем масла в маслонаполненных трансформаторах
• Проводить периодические испытания изоляции
• Очищать от пыли и грязи
• Своевременно устранять течи масла
• Выполнять плановые ремонты

При соблюдении правил эксплуатации и своевременном обслуживании срок службы трансформаторов может составлять 20-30 лет и более.

Современные тенденции в трансформаторостроении

Основные направления совершенствования трансформаторов:

• Применение новых магнитных материалов с меньшими потерями
• Использование сверхпроводящих обмоток
• Разработка «сухих» трансформаторов с литой изоляцией
• Создание интеллектуальных трансформаторов с системами мониторинга
• Повышение энергоэффективности и экологичности

Эти инновации позволяют создавать более компактные, надежные и экономичные трансформаторы для различных применений.

Что такое трансформатор

Чтобы правильно выбрать устройство, нужно знать, что это такое и как функционирует. Давайте разберемся в особенностях конструкции трансформатора ЛАТР.

Чтобы плавно отрегулировать напряжение переменного тока, частота которого составляет 50-60 Гц, используют трансформаторы. Эти устройства применяются также для повышения и понижения напряжения при работе строительных электроприборов или бытовых аппаратов.

Особенности конструкции трансформатора

Трансформатор представляет собой устройство, которое имеет две или более обмотки. Они связываются между собой индуктивно и преобразуют электрическую энергию по току или напряжению. Обмотка в аппаратуре может быть и одна, ленточная или проволочная катушка. Если их несколько, то они обхвачены общим магнитным потоком и намотаны на сердечник из мягкого материала.

Сегодня очень популярны однофазные автотрансформаторы или лабораторные автотрансформаторы (ЛАТРы). Это такой тип трансформатора, в котором несколько обмоток не изолируются друг от друга. Они соединены между собой напрямую и создают, таким образом, электрическую и электромагнитную связь. Общая обмотка разделяется на 3 или более выводов, если подключаться к разным выводам, то можно получить разное по показателям напряжение.

Преимущества трансформаторов

Трансформатор имеет более высокий КПД, поскольку не вся мощность преобразуется. Этот нюанс важен в той ситуации, когда напряжение на выходе и на входе несколько отличаются (незначительно).

Если говорить про автотрансформатор, то для его производства требуется меньше меди для обмотки, стали для сердечника, также его вес и параметры уменьшились. Это важно, так как сказывается на стоимости устройств.

Трансформатор имеет контакт-токосъем, подключенный к обмотке. Он подвижен и позволяет изменять число витков плавно. Поэтому напряжение на выходе можно выбрать в параметрах от нуля и до наибольшего показателя для конкретной модели.

Применение трансформаторов

Везде, где необходимо стабилизировать напряжение в электросети, могут применяться ЛАТРы. Особенно они распространены в различных лабораторных установках и оборудовании. Одно из самых важных требований к безопасной работе трансформатора является надежное заземление.

Согласно инструкции и правилам безопасности запрещается использовать ЛАТР, если снята защитная оболочка.

Трансформаторы не выдерживают короткого замыкания, поэтому их нельзя использовать в незащищенных сетях. Для правильной и долговечной эксплуатации следует защитить сеть плавким предохранителем или автоматом, который будет отклычать сеть, если ток будет больше 20 А.

По климатическим характеристикам допускается эксплуатация ЛАТРов при высоте 2000 метров над уровнем моря, но при этом ток нагрузки необходимо уменьшать на 2,5% при подъёме на каждые 500 м высоты.

Сегодня на рынке представлены модели автотрансформаторов со сроком службы 12 лет и более, при наработках на отказ не меньше 6250 часов. Положение автотрансформаторов ЛАТР во время эксплуатации может быть произвольным, режим работы продолжительным.

Купить автотрансформатор в нашем Интернет-магазине можно по выгодной цене. Мы напрямую с заводами-изготовителями, поэтому у нас вы приобретете товар без переплат. Кроме того, в регулярно обновляемом ассортименте – инверторы, электрогенераторы, мотопомпы и мотоблоки. Вся продукция по вашему желанию может быть доставлена в любую точку города или области в кратчайшие сроки.

Тэги: трансформаторы, автотрансформаторы, полезно знать

Стабилизаторы напряжения Энергия Hybrid

Стабилизаторы напряжения Энергия Hybrid имеют точность выходного напряжение 3% при входном напряжении 144-256В и 10% при входном напряжении 105-150В и 256-280В.

читать далее

Виды стабилизаторов напряжения: краткий обзор

В этой статье мы вкратце раскроем суть устройства стабилизатора напряжения, а также коснёмся самых важных отличительных черт, плюсов и минусов каждого из его видов.

читать далее

Установка стабилизатора напряжения в частном доме

Для того, чтобы стабилизатор напряжения прослужил вам долго, важно еще правильно его подключить. Поговорим об основных моментах, которые нужно учитывать при подключении.

читать далее

Как выбрать трансформатор

Чтобы правильно выбрать трансформатор, нужно знать, сколько их вообще потребуется, какого типа, с какой мощностью и напряжением, а также хорошо бы разбираться в схемах соединения обмоток и их группах.

читать далее

HydroMuseum – Измерительные трансформаторы

Измерительные трансформаторы применяют в установках переменного тока для изоляции цепей измерительных приборов и реле от сети высокого напряжения, для расширения пределов измерения измерительных приборов. Непосредственное включение измерительных приборов в цепь высокого напряжения сделало бы опасным прикосновение к ним. Конструкция приборов в этом случае была бы сильно усложнена, так как изоляция токоведущих частей должна была бы быть рассчитана на высокое напряжение, а их сечение — на большие токи.

Измерительные трансформаторы делят на трансформаторы тока и трансформаторы напряжения. Их применение дает возможность пользоваться для измерения самых различных напряжений и токов одними и теми же приборами со стандартными пределами измерения. Трансформаторы тока преобразуют измеряемый ток большой силы в ток малой силы, а трансформаторы напряжения — измеряемое высокое напряжение в низкое.

Первичную обмотку трансформатора тока, имеющую малое число витков, включают последовательно в линию, в которой измеряют или контролируют ток. Начало и конец этой обмотки обозначают буквой Л (линия) с цифрами соответственно 1 и 2, начало и конец вторичной обмотки — буквой И (измерение) с цифрами 1 и 2.

В цепь вторичной обмотки трансформатора тока включают прибор с малым сопротивлением. Таким прибором может быть амперметр, токовая катушка ваттметра, счетчика, какого-либо иного измерительного прибора или реле. Приборы во вторичную цепь включают так, чтобы положительное направление тока в приборе совпадало по направлению с положительным направлением тока в контролируемой цепи. Это очень важно для включения ваттметров и счетчиков при измерении мощности и энергии.

Первичные номинальные токи трансформаторов тока стандартизованы в пределах 5—15000 А. Для вторичных номинальных токов установлены стандартные значения 5 А и в специальных случаях 1 А.

В цепь вторичной обмотки трансформатора тока можно включить несколько приборов, соединив их последовательно, чтобы через них проходил один и тот же ток. Однако включать в цепь вторичной обмотки большое число измерительных приборов нежелательно, так как это увеличивает сопротивление нагрузки трансформаторов и снижает точность измерения. Сопротивление нагрузки, включаемой в цепь вторичной обмотки трансформатора тока при номинальном токе 5 А, должно быть не более 0,2—2 Ом.

Условия работы трансформатора тока близки к короткому замыканию вторичной обмотки силового трансформатора. Так как сопротивление нагрузки очень мало, напряжение на зажимах вторичной обмотки трансформатора тока также мало. Следовательно, малы ЭДС вторичной обмотки и магнитный поток в магнитопроводе трансформатора, необходимый для индуктирования этой ЭДС. Поэтому намагничивающий ток относительно мал, и намагничивающие силы первичной и вторичной обмоток практически взаимно уравновешены.

Зная коэффициент трансформации трансформатора тока т. е. отношение чисел витков вторичной и первичной обмоток, по показанию амперметра во вторичной цепи легко определить ток в первичной контролируемой цепи.

При увеличении сопротивления внешней нагрузки напряжение на зажимах вторичной обмотки трансформатора тока также увеличивается. Это увеличит ЭДС во вторичной обмотке и магнитный поток в магнитопроводе. Для создания большого магнитного потока требуется больший намагничивающий ток, что приводит к большим погрешностям при измерении, так как нарушается равновесие намагничивающих сил первичной и вторичной обмоток.

У точных трансформаторов тока намагничивающая сила первичной обмотки при номинальном токе должна быть не менее 500 А. Число витков первичной обмотки выбирают в зависимости от номинального первичного тока и требуемой точности Трансформаторы тока могут быть одновитковыми (первичная обмотка имеет один виток), шинными (первичной обмоткой служит шина распределительного устройства) и многовитковымм (первичная обмотка имеет два и более витков).

Трансформаторы тока изготовляют сухими с изоляцией из бакелизированной бумаги, с керамической изоляцией, с эпоксидной изоляцией. При весьма высоких напряжениях применяют масляные трансформаторы тока.

Разновидностью шинных трансформаторов тока являются измерительные клещи, которые служат для ориентировочных измерений токов от 20 до 1000 А при рабочем напряжении до 10 кВ. Магнитопровод клещей, изготовленный из листовой электротехнической стали, состоит из двух половин, стягиваемых сильной пружиной. Клещи раскрывают для введения провода, в котором нужно измерить ток. Этот провод является первичной обмоткой трансформатора тока. Вторичная обмотка расположена на магнитопроводе и замкнута на амперметр, установленный на клещах. Рукоятки отделены от высокого напряжения фарфоровыми изоляторами и для безопасности обслуживания заземлены.

В случае пробоя изоляции между обмотками трансформатора тока его вторичная обмотка окажется под высоким напряжением; в случае пробоя обмотки высокого напряжения на корпус магнитопровод окажется под высоким напряжением. Для безопасности обслуживания трансформаторов тока их вторичные обмотки и магнитопроводы заземляют.

Особенностью трансформаторов тока является то, что при их работе нельзя размыкать вторичную цепь. При размыкании цепи вторичной обмотки ток в ней становится равным нулю, тогда как в первичной обмотке ток остается неизменным. Намагничивающая сила первичной обмотки трансформатора тока, не встречая противоположно направленной намагничивающей силы вторичной обмотки, создает в магнитопроводе с очень большой магнитный поток, который индуктирует во вторичной обмотке очень большую ЭДС. (до нескольких киловольт). Такая ЭДС опасна для жизни человека и может вызвать пробой изоляции вторичной обмотки. Кроме того, большой магнитный поток в магнитопроводе значительно увеличивает потери в стали, что вызывает нагрев магнитопровода, опасный для целости изоляции.

Трансформаторы напряжения по устройству подобны силовым трансформаторам небольшой мощности. Первичную обмотку трансформатора напряжения с большим числом витков включают в сеть, напряжение в которой измеряют или контролируют

Начало и конец первичной обмотки обозначают буквами А и X. Вторичная обмотка с меньшим числом витков замыкается на прибор с большим сопротивлением. Таким прибором может быть вольтметр, параллельная обмотка ваттметра, счетчика или какого-либо иного измерительного прибора или реле. Начало и конец вторичной обмотки обозначают буквами а и х. По отношению к измерительному прибору вторичное напряжение должно совпадать по фазе с первичным, что достигается соответствующим соединением вторичной обмотки с прибором. Это необходимо при измерении мощности и энергии Сопротивление вольтметров, параллельных обмоток ваттметров, счетчиков и других измерительных приборов и реле сравнительно велико (тысячи Ом). Поэтому ток в цепи вторичной обмотки трансформатора напряжения весьма мал и режим работы его близок к режиму холостого хода силового трансформатора.

Так как при малых токах в обмотках трансформатора падения напряжения в сопротивлениях этих обмоток так же малы, напряжения на зажимах первичной и вторичной обмоток практически равны ЭДС, а отношение этих напряжений равно коэффициенту трансформации

Для трансформаторов напряжения различных классов точности установлена следующая допустимая погрешность напряжения: класс 0,5— ±0,5%; класс 1 — ±1%; класс 3— ±3%.

Кроме того, за счет падения напряжения в сопротивлениях обмоток трансформатора возникает неточность в передаче фазы напряжения, называемая угловой погрешностью. Падение напряжения в сопротивлениях обмоток трансформатора AU приводит к тому, что векторы напряжений первичной обмотки U1 и приведенного напряжения вторичной обмотки с обратным знаком не сов­падают. Угол между этими векторами определяет угловую погрешность, которая измеряется в угловых минутах и влияет на показания ваттметров, счетчиков и фазометров. Угловая погрешность считается положительной, если вектор — U2 опережает вектор U1.

Для трансформаторов напряжения классов точности 0,5 и 1 допускается угловая погрешность соответственно ±20 и ±40. Для трансформаторов напряжения класса точности 3 угловая погрешность не нормирована.

В цепи вторичной обмотки трансформатора напряжения могут быть включены помимо вольтметра параллельные обмотки ваттметра, счетчика и т. д. Все эти приборы соединяют параллельно, чтобы на них воздействовало одно и то же напряжение.

Включение большого числа приборов в цепь вторичной обмотки трансформатора напряжения увеличивает токи в обмотках и погрешность при измерении. Поэтому общая полная мощность присоединенных ко вторичной обмотке приборов не должна превышать измерительную мощность трансформатора напряжения, на щитке которого указана наибольшая допустимая мощность нагрузки в вольт-амперах.

Для напряжений до 6 кВ трансформаторы напряжения изготавливают сухими, т. е. с естественным воздушным охлаждением. Для напряжений выше 6 кВ применяют масляные трансформаторы напряжения. Трансформаторы напряжения могут быть трехфазными. Зажимы таких трансформаторов обозначают так же, как и зажимы обычных силовых трансформаторов. Для безопасности обслуживания и большей надежности работы аппаратуры магнитопровод трансформатора напряжения и один зажим вторичной обмотки заземляют.

Что такое трансформаторы?

Onyejiaku Theophilus Chidalu

Бесплатный курс собеседования по системному проектированию

Получите полное руководство по собеседованию по системному проектированию от Educative бесплатно.

В этом ответе мы подробно рассмотрим трансформатор, что делает его таким особенным и как он работает.

Происхождение трансформеров

Трансформеры были представлены в 2017 году и первоначально использовались в нейронном машинном переводе. Например, перевод с английского на французский и наоборот. Было обнаружено, что преобразователи очень хорошо работают при реализации задач обработки естественного языка.

Машинный перевод является частью более широкой области обработки естественного языка (NLP). Было обнаружено, что трансформеры могут превзойти многие тесты НЛП в отношении перевода. Transformers — это первая архитектура машинного обучения, способная генерировать длинные связные тексты, которые имеют смысл от начала до конца. Это делает трансформатор сравнимым с человеком. В своем наиболее продвинутом приложении или производстве Transformers автоматически используется для написания компьютерного кода, например, Github Copilot.

GitHub Copilot (Источник: https://github.com/features/copilot)

Другой — DALL-E2, который генерирует реалистичные изображения из текстовых входов.

The DALL-E2 (Источник: https://openai.com/dall-e-2/)

Еще одно приложение относится к области вычислительной биологии, где трансформаторы использовались для решения многовековой структуры белков. прогноз. Трансформеры также являются многообещающей технологией в области геномики, и примером этого является DNABERT, который использовался для достижения самых современных результатов в задачах генома.

Что делает трансформеры такими особенными?

Трансформеры позволили нам применить трансферное обучение к НЛП. Трансферное обучение — это метод, который позволяет нам брать веса модели, обученной для определенного вида задач, и использовать их для новой задачи, чтобы получить лучший результат. Ранее трансферное обучение применялось только в компьютерном зрении, где модели предварительно обучались на контролируемых данных, ImageNet. Но с появлением трансформеров мы можем применить трансферное обучение к НЛП, даже не нуждаясь в контролируемых данных.

Что такое трансформаторы и как они работают?

Преобразователь — это алгоритм глубокого обучения, работающий на основе механизма внутреннего внимания.

Преобразователи — это нейронные сети, построенные из блоков преобразователя точно так же, как у нас есть блоки свертки для сверточных нейронных сетей (CNN) и блоки долговременной кратковременной памяти (LSTM) для рекуррентных нейронных сетей (RNN) и т. д. Чтобы понять блок преобразователя , нам нужно понять механизм внимания, в основе которого лежит блок-трансформер.

Механизм внимания блока преобразования

Преобразователи используют механизм внимания и созданы для обработки последовательных данных путем последовательного вычисления скрытого состояния для каждого временного шага входной последовательности. Однако, в отличие от RNN, преобразователи не обладают рекуррентной структурой. Это означает, что при наличии достаточного количества данных для обучения механизм внимания может работать лучше, чем RNN.

Механизм внимания трансформера

Из рисунка выше для каждого скрытого состояния в определенное время, h(t)h(t)h(t), мы вычисляем показатель внимания (или взвешенный подсчет) для каждого входных векторов и входной последовательности. Это сообщит скрытому состоянию, сколько внимания нужно уделять тому или иному вводу. Важно отметить, что все входы обрабатываются одинаково. Механизм внимания позволяет нам видеть все входные данные с одинаковой ясностью. Кроме того, вычисление каждого скрытого состояния не зависит от вычисления любого другого скрытого состояния, поэтому внимание может быть распараллелено в графическом процессоре, что делает вычисление весов внимания очень эффективным по времени. Этот механизм не ожидает вычисления какого-либо скрытого состояния перед вычислением другого.

Типичным примером важности механизма внимания является языковой перевод, когда условие необходимо для определения значения данного слова в предложении. Например, в системе перевода с испанского на английский начальное слово английского вывода сильно зависит от первых нескольких слов испанского ввода. В классической модели LSTM это не так: для создания начального слова вывода на английском языке модель принимает только вектор состояния после обработки последнего испанского слова. На практике вся информация, подаваемая в LSTM, плохо сохраняется, и здесь вступает в действие механизм внимания. В механизме внимания декодеру разрешен доступ к состоянию векторов всех испанских входных слов, а не только последнего, и Затем можно узнать вес внимания, который определяет, сколько внимания требуется для каждого вектора состояния Испании.

Базовая конструкция трансформатора

Трансформатор состоит из частей кодера и декодера. Но на самом деле у них есть шесть энкодеров и шесть декодеров. Кодировщики находятся слева, а декодеры — справа. Эта структура показана на рисунке ниже:

Кодер и декодер преобразователя

Кодер и декодер

Кодер преобразователя состоит из слоя самоконтроля (внимание с несколькими головками), который обращает внимание на предложение переданный ему и слой нейронной сети прямой связи. С другой стороны, декодер состоит из двух слоев самоконтроля и слоя нейронной сети с прямой связью. Это показано на рисунке ниже:

Компоненты кодировщика и декодера

Распараллеливание происходит из-за того, как данные передаются в сеть. Все слова предложения передаются в сеть (в частности, в кодировщик) одновременно. Первый шаг внутри слоя само-внимания заключается в том, что все слова предложения сравниваются со всеми другими словами предложения, так что между словами существует связь. На втором этапе нейронной сети прямой связи слова проходят через нейронную сеть прямой связи по отдельности, так что они не обмениваются информацией. Однако нейронные сети с прямой связью, через которые проходят эти слова, одинаковы внутри одного и того же слоя.

Входы и выходы трансформатора

Все входы, которые входят в энкодер или декодер, встроены. Вложения здесь означают, что входные данные преобразуются в список векторов, из которых модель учится. На рисунке ниже показаны вход и выход модели трансформатора.

Входы и выходы энкодера и декодера

Как видно на рисунке выше, позиционные энкодеры добавляются, потому что преобразователь не имеет повторения, то есть модель не может понять, какое из слов должно быть первым или последнее или где в предложении. Поэтому добавляется позиционное кодирование, чтобы убедиться, что есть информация о любом слове, добавленном в модель, сообщающая модели, где слово появляется в данном предложении. Для вывода в конце декодеров добавляются линейный слой и softmax, чтобы вывод можно было преобразовать во что-то значимое для человека. Это выражается в приведенном ниже уравнении: 9{T}}{\sqrt{dk}})V(dk​QKT​)V

Где матрицы QQQ, KKK и VVV определены как матрицы, где i -я строки являются векторами q _i , k _i и v _i соответственно. По сути, один вектор имеет длину, равную количеству слов в словаре, и эти ячейки говорят нам, насколько вероятно, что это слово в этой ячейке проходит через следующее слово в нашей последовательности.

RELATED TAGS

python

nlp

transfer learning

computer vision

CONTRIBUTOR

Onyejiaku Theophilus Chidalu

License: Creative Commons-Attribution-ShareAlike 4.0 (CC-BY-SA 4.0)

What Are Transformers В НЛП и его преимуществах

8 августа 2022 г. 10 августа 2022 г. Аюш СриваставаИИ, Искусственный интеллект, машинное обучение, ИИ и обработка данных

Время чтения: 4 минуты

NLP Transformer — это новая архитектура, предназначенная для последовательного решения задач и простой обработки удаленных зависимостей. Вычисление входных и выходных представлений без использования RNN или сверток, выровненных по последовательности, полностью зависит от собственного внимания. Давайте подробно рассмотрим, что такое трансформеры.

Базовая архитектура

В целом модель Transformer основана на архитектуре кодер-декодер. Кодировщик — серый прямоугольник слева, а декодер — справа. Кодер и декодер состоят из двух и трех подуровней соответственно. Самосознание с несколькими головками, полностью подключенная сеть прямой связи и самосознание кодера-декодера в случае декодеров (называемое многоголовым вниманием) со следующими визуализациями).

Кодер: Кодер отвечает за пошаговое выполнение входных временных шагов и кодирование всей последовательности в вектор фиксированной длины, называемый вектором контекста.
Декодер: Декодер отвечает за пошаговое выполнение временных шагов вывода при чтении из вектора контекста.

Давайте посмотрим, как работает эта установка кодировщика и стека декодера:

1. Словесные вложения входной последовательности передаются первому кодировщику
2. Затем они преобразуются и передаются следующему кодировщику
3. Выходные данные последнего кодера в стеке кодировщиков передаются всем декодерам в стеке декодеров, как показано на рисунке ниже:

Что именно делает этот слой «Самостоятельное внимание» в преобразователе?

Само-внимание в трансформерах

Само-внимание — это новая версия техники внимания. Вместо того, чтобы рассматривать предшествующие скрытые векторы при рассмотрении встраивания слов, само-внимание представляет собой взвешенную комбинацию всех других вложений слов (включая те, которые появляются позже в предложении):

Как реализовано самовнимание :

Шаги:

1. Вложение слов преобразуется в три отдельные матрицы — запросы, ключи и значения — путем умножения вложения слов на три матрицы с выучил веса. Эти векторы обучаются и обновляются в процессе обучения.

2. Рассмотрим это предложение: «действие приводит к результатам». Чтобы рассчитать самосознание первого слова «действие», подсчитайте баллы всех слов во фразе, связанной с «действием». Эта оценка определяет важность других слов при кодировании конкретного слова во входной последовательности.

• Оценка за первое слово вычисляется путем скалярного произведения вектора запроса (q1) с векторами ключей (k1, k2, k3) всех слов
• Затем эти оценки делятся на 8, что равно квадратный корень из размерности ключевого вектора:
• Затем эти оценки нормализуются с помощью функции активации softmax
• Затем эти нормализованные оценки умножаются на векторы значений (v1, v2, v3) и суммируются результирующие векторы для получить окончательный вектор (z1). Это результат слоя внутреннего внимания. Затем он передается в сеть прямой связи в качестве входных данных 9.0172
• Один и тот же процесс выполняется для всех слов

В архитектуре Трансформера самосознание вычисляется независимо друг от друга, не один раз, а несколько раз параллельно. Поэтому его называют многоголовым вниманием. Выходные данные объединяются и преобразуются линейно, как показано на следующем рисунке.

Внимание в архитектуре трансформатора и его работа:

Архитектура трансформатора использует модель внимания, использующую многоголовое внимание на трех этапах (см. рис. 1):

1. Первый — это уровень внимания кодировщика и декодера. Для этого типа слоя запрос берется из слоя перед декодером, а ключи и значения берутся из вывода кодировщика. Это позволяет каждой позиции декодера обращать внимание на каждую позицию во входной последовательности.

2. Второй тип — это уровень самоконтроля, содержащийся в кодере. Этот уровень получает ввод ключа, значения и запроса из вывода уровня перед кодировщиком. Любая позиция кодировщика может получать значения внимания из любой позиции слоя перед кодировщиком.

3. Третий тип декодер самостоятельного внимания. Это похоже на самостоятельный поиск кодировщика, когда все запросы, ключи и значения извлекаются из предыдущего слоя. Декодер с самосознанием может использоваться в любой позиции для обслуживания любой позиции до этой позиции. Будущие значения маскируются (-Inf). Это называется скрытым вниманием к себе.

4. Выход декодера, наконец, проходит через полносвязный слой, за которым следует слой softmax, чтобы сгенерировать предсказание для следующего слова выходной последовательности.

Сравнение с RNN

Архитектура Transformer устраняет зависящий от времени аспект архитектуры RNN, обрабатывая эти аспекты обучения в совершенно отдельной архитектуре. Таким образом, преобразователь имеет столько линейных слоев, сколько слов в самом длинном предложении, но эти слои относительно просты и не зависят от времени, как и в случае RNN.