Как оптимизировать размещение контейнеров в облаке. Какие преимущества дает использование глубокого обучения с подкреплением. Почему важно применять вспомогательные задачи обучения. Как повысить эффективность и снизить задержки при развертывании контейнеров.
Контейнерная виртуализация в облачных вычислениях: преимущества и проблемы
Контейнерная виртуализация стала одной из ключевых технологий в современных облачных вычислениях. Она позволяет эффективно изолировать и развертывать приложения вместе со всем необходимым окружением. Основные преимущества контейнеров:
- Легковесность и быстрое развертывание
- Высокая плотность размещения на физических серверах
- Изоляция приложений и зависимостей
- Портативность между разными средами выполнения
- Масштабируемость и гибкость при построении микросервисных архитектур
Однако эффективное размещение контейнеров в облачной инфраструктуре остается сложной задачей. Требуется учитывать множество факторов:
- Доступные вычислительные ресурсы серверов
- Требования контейнеров к ресурсам
- Сетевые задержки между связанными контейнерами
- Балансировку нагрузки между серверами
- Минимизацию энергопотребления
Как оптимально разместить контейнеры с учетом всех этих ограничений. Традиционные алгоритмы часто не справляются с динамикой облачной среды.
Глубокое обучение с подкреплением для размещения контейнеров
Перспективным подходом к оптимизации размещения контейнеров является применение методов глубокого обучения с подкреплением (Deep Reinforcement Learning, DRL). Основные преимущества DRL в этой задаче:
- Способность обучаться оптимальной стратегии размещения на основе опыта взаимодействия со средой
- Адаптация к динамически меняющимся условиям в облаке
- Возможность учета множества параметров и ограничений
- Масштабируемость на большое количество контейнеров и серверов
Однако прямое применение стандартных алгоритмов DRL не всегда дает удовлетворительные результаты из-за огромного пространства состояний и действий в задаче размещения контейнеров. Требуются дополнительные техники для повышения эффективности обучения.
Архитектура UNREAL-CP для оптимизации размещения контейнеров
В данной работе предлагается новый метод UNREAL-CP (UNsupervised REinforcement learning for Container Placement), основанный на архитектуре актор-критик и использующий вспомогательные задачи обучения. Ключевые особенности UNREAL-CP:
- Использование нейросетевых актора и критика для работы с большим пространством действий
- Две вспомогательные задачи для улучшения балансировки нагрузки
- Оптимизация сквозной задержки и стоимости использования ресурсов
- Эффективное обучение на опыте взаимодействия с облачной средой
Архитектура UNREAL-CP позволяет достичь лучших результатов по сравнению с другими методами DRL для размещения контейнеров.
Вспомогательные задачи обучения для повышения эффективности
Важным элементом предложенного подхода является использование вспомогательных задач обучения. Они позволяют извлечь дополнительную полезную информацию из опыта взаимодействия агента со средой. В UNREAL-CP применяются две вспомогательные задачи:
- Предсказание загрузки CPU серверов после размещения контейнера
- Предсказание загрузки памяти серверов после размещения контейнера
Эти задачи помогают агенту лучше понимать влияние своих действий на балансировку нагрузки в облачной инфраструктуре. Это ускоряет обучение и повышает качество получаемых решений по размещению контейнеров.
Преимущества архитектуры актор-критик для размещения контейнеров
В UNREAL-CP применяется архитектура актор-критик, которая имеет ряд преимуществ для задачи размещения контейнеров:
- Актор отвечает за выбор действий по размещению контейнеров
- Критик оценивает качество выбранных действий
- Возможность работы с непрерывными пространствами действий
- Снижение дисперсии оценок при обучении
- Параллельное обновление параметров актора и критика
Такая архитектура позволяет эффективно обучаться в сложной среде с большим количеством контейнеров и серверов.
Экспериментальная оценка эффективности UNREAL-CP
Для оценки предложенного подхода были проведены масштабные эксперименты на модели облачной инфраструктуры. Основные результаты:
- UNREAL-CP превосходит другие методы DRL на 28.6% по снижению задержки и стоимости развертывания
- Высокая скорость обучения и адаптации к изменениям в среде
- Эффективная балансировка нагрузки между серверами
- Масштабируемость на большое количество контейнеров и серверов
Эксперименты подтверждают преимущества использования вспомогательных задач и архитектуры актор-критик в UNREAL-CP.
Применение UNREAL-CP в реальных облачных средах
Предложенный метод UNREAL-CP может найти применение в различных сценариях управления контейнерными приложениями в облаке:
- Оптимизация размещения микросервисов
- Балансировка нагрузки в кластерах Kubernetes
- Эффективное использование ресурсов в центрах обработки данных
- Минимизация задержек в географически распределенных облачных средах
- Адаптивное управление контейнерами при пиковых нагрузках
UNREAL-CP может стать основой для создания интеллектуальных систем оркестрации контейнеров нового поколения.
Схема подключения лампы ДРЛ через дроссель
Дуговая ртутная люминесцентная или люминофорная лампа чаще всего применяется в освещении открытых площадей, сельскохозяйственных территорий, а также производственных или складских помещений, вне зависимости от их размеров.
Правильная схема подключения лампы ДРЛ – гарантия долгой и беспроблемной работы такого современного осветительного прибора.
Устройство лампы ДРЛ
Основной принцип функционирования, а также непосредственно само устройство ДРЛ-ламп, относительно сложные, но именно это и помогает придавать современным осветительным приборам все необходимые качественные характеристики.
Горелка представлена тугоплавкими и обладающими химической стойкостью прозрачными материалами. Хорошо зарекомендовали себя современное кварцевое стекло или керамическое исполнение устройства. Внутренняя часть заполняется инертными газами с добавлением минимального количества ртути металлического типа.
Схема устройства лампы
В процессе подачи напряжения наблюдается возникновение тлеющего разряда, переходящего через определенный промежуток света в дуговой.
Ограничение тока происходит при помощи сопротивления пускорегулирующих устройств.
Электрическим разрядом обуславливается появление хорошо различимого голубого или фиолетового излучения, возбуждающего свечение слоя люминофора, расположенного с внутренней стороны светопрозрачного баллона лампы.
В процессе горения отмечается сильный нагрев лампы, поэтому такой источник освещения применяется в приборах, оснащаемых термостойкими проводами и высококачественными патронами. Благодаря особому устройству, ДРЛ-лампа обладает высокими показателями световой отдачи, а также характеризуется повышенной устойчивостью к негативным внешним воздействиям.
Стабильная работоспособность сохраняется вне зависимости от внешних температурных показателей.
Стандартная мощность всех выпускаемых на сегодняшний день осветительных ДРЛ-приборов:
- 80Вт;
- 225Вт;
- 250Вт;
- 400Вт;
- 700Вт;
- 1000 Вт.
Средний срок эксплуатации качественного осветительного прибора этого типа от хорошо зарекомендовавших себя производителей составляет 10 тысяч часов.
Некоторые недостатки, которыми характеризуется дуговая ртутная люминесцентная или люминофорная лампа, делают невозможным широкое применение такого источника света в жилых помещениях.
Важно помнить, что в процессе функционирования ДРЛ-лампы интенсивно образуется озон, поэтому в помещениях, освещаемых такими приборами, необходимо обеспечивать достаточную по производительности вентиляционную систему.
Основные функциональные части обычной лампы ДРЛ
Главные элементы современной дуговой ртутной люминесцентной или люминофорной лампы:
- цокольное основание, подключаемое к патрону осветительного прибора;
- кварцевая горелка, являющаяся центральным механизмом осветительного прибора;
- стеклянный баллон, служащий основной защитной оболочкой всех внутренних элементов.
Как и большинство традиционных ламп, ртутно-люминесцентный источник освещения представляет собой стеклянный баллон, в нижней части которого устанавливается цоколь с резьбой. Свечение происходит за счёт наличия ртутно-кварцевой горелки, которая имеет форму трубки и заполняется смесью на основе аргона и ртути.
Четырех-электродные лампы оснащаются основными и дополнительными электродами, которые соединяются с главными катодами посредством противоположных полярностей при наличии дополнительного угольного резистора. Добавочные электроды не только стабилизируют работу осветительного прибора, но также способствуют значительному упрощению процесса зажигания.
Основной функцией цокольной части является прием сетевой электроэнергии посредством точечного и резьбового элемента с контактов патрона, который вмонтирован в осветительный прибор.
На следующем этапе осуществляется передача электрической энергии на электроды.
Внутри кварцевой колбы присутствует пара ограничителей сопротивления, которые включены в одну цепь с дополнительными электродами.
Особенностью внутренней поверхности стеклянной колбы является слой люминофора, который и отвечает за свечение.
При выборе ДРЛ-лампы нужно обращать внимание на параметры, представленные напряжением питания, мощностью, световым потоком, продолжительностью свечения, видом цокольной части, габаритами и общим весом изделия.
Материал для ламп
Конструкцией ртутно-люминесцентного источника освещения предусматривается обязательное наличие стандартной стеклянной колбы, которая выступает в качестве барьера, отделяющего любые внешние неблагоприятные факторы от функциональной части, а также предотвращает их остывание.
Кроме всего прочего, на внутреннюю поверхность баллона наносится тонкий слой люминофора, легко преобразующего ультрафиолетовое излучение в красный спектр свечения.
Объединенные синие, красное и зеленое излучение обуславливают получение в результате традиционного белого свечения.
Схема подключения лампы ДРЛ через дроссель
Одним из основных отличий ДРЛ-ламп от остальных осветительных приборов является подключение к электрической сети посредством пускорегулирующей аппаратуры или ПРА, представленной дросселем. Это стабилизирующее устройство способствует преобразованию номинального сетевого напряжения в пусковое. Отсутствие дросселя спровоцирует практически мгновенное перегорание лампочки при включении.
Схематично такой вариант подключение можно представить в виде последовательного подсоединения дуговой ртутной люминесцентной или люминофорной лампы при помощи дросселя к электрической сети.
Схема подключения лампочки через дроссель
В большинстве своём, все современные и качественные светильники, относящиеся к категории ртутно-люминесцентных ламп, характеризуются наличием уже встроенной пускорегулирующей аппаратуры. Такие модели несколько дороже стандартных светильников.
Бюджетные модели необходимо снабжать дросселем самостоятельно. Любые дроссели функционируют в качестве стабилизатора, а также эффективно корректируют работу осветительного прибора.
Благодаря правильной работе пускорегулирующей аппаратуры, ртутно-люминесцентные лампы в процессе эксплуатации не мигают и работают в непрерывном режиме даже при наличии нестабильного входящего напряжения.
Следует отметить, что дроссель вырабатывает заложенный производителем ресурс в процессе эксплуатации значительно быстрее, чем сам ртутно-люминесцентный светильник, поэтому умение самостоятельно выполнить замену такого пускорегулирующего устройства очень актуально.
Заключение
Столбовые осветительные приборы, относящиеся к категории дуговых ртутных люминесцентных или люминофорных ламп, являются долговечным, очень эффективным и достаточно экономичным оборудованием, которое удачно сочетает в себе мощность и декоративный внешний вид.
Владельцами загородной недвижимости такие современные источники света ценятся очень высоко за возможность получить качественное освещение с минимальными затратами времени и денежных средств.
Видео на тему
Лампа ДРЛ (дуговая ртутная лампа электрическая) » схема подключения, характеристики, устройство, работа. « ЭлектроХобби
Лампа ДРЛ (Дуговая Ртутная Лампа) — дуговая ртутная люминофорная лампа высокого давления. Это одна из разновидностей электрических ламп, что широко используется для общего освещения объёмных территорий таких как заводские цеха, улицы, площадки и т.
д. (где не предъявляется особые требования к цветопередаче ламп, но требуется от них высокой светоотдачи). Лампы ДРЛ имеют мощность 50 — 2000 Вт и изначально рассчитаны на работу в электрических сетях переменного тока с напряжением питания 220 В. (частота 50 Гц.). Для работы лампы необходимо пуско-регулирующее устройство в виде индуктивного дросселя.
Теперь, что касается устройства лампы ДРЛ. Дуговая ртутная лампа (ДРЛ) состоит из трёх основных функциональных частей: цоколь, кварцевая горелка и стеклянная колба.
Цоколь предназначен для приема электроэнергии из сети, по средствам соединения контактов лампы (один из которых резьбовой, а второй — точечный) с контактами патрона, после чего происходит передача переменного электричества непосредственно на электроды самой горелки ДРЛ лампы (дуговой ртутной лампы электрической).
Кварцевая горелка является основной функциональной частью лампы ДРЛ. Она представляет собой кварцевую колбу, у которой по бокам располагаются по 2 электрода.
Два из них основных и два — дополнительные. Пространство горелки заполнено инертным газом «аргона» (для изоляции теплообмена между горелкой и средой) и капелькой ртути.
Стеклянная колба — это внешнюю часть лампы. Внутри неё помещена кварцевая горелка, к которой от контактного цоколя подходят проводники. Из колбы выкачивают воздух и закачивают в ней азот. И ещё один немаловажный элемент, что находится в стеклянной колбе, это 2 ограничивающих сопротивления (подсоединенные к дополнительным электродам). Внешняя стеклянная колба с внутренней стороны покрыта люминофором.
Первые варианты ламп ДРЛ имели только два электрода, что требовало для поджога лампы ДРЛ дополнительное устройство запуска (через высоковольтный импульсный пробой газового промежутка кварцевой горелки). Данный вид ламп был снят с производства и заменён на четырёх электродный аналог, для работы которого нужен только дроссель.
Основные характеристики ламп ДРЛ:
Работа лампы ДРЛ: на лампу подаётся сетевое напряжение, оно подводится к промежутку между основным и дополнительным электродом, что расположены с одной стороны кварцевой горелки и на такую же пару, расположенную на другой стороне горелки.
Вторым промежутком, между которых сосредотачивается сетевое напряжение, это расстояние между основными электродами кварцевой горелки, находящихся на противоположных её сторонах.
Расстояние между основным и дополнительным электродом невелико, это позволяет при подаче напряжения легко ионизировать данный промежуток газа. Ток на данном участке обязательно ограничивается сопротивлениями, стоящие в цепи дополнительных электродов перед входом проволочных проводников в кварцевую горелку. После того как на обоих концах кварцевой горелки произошла ионизация, она постепенно перебрасывается на промежуток между основными электродами, тем самым обеспечивая дальнейшее горение лампы ДРЛ.
Максимальное горение лампы ДРЛ наступает спустя около 7 минут. Это обусловлено тем, что в холодном состоянии ртуть, находящаяся в кварцевой горелки находится в виде капельки или налёта на стенках колбы. После запуска, ртуть под воздействием температуры медленно испаряется, постепенно улучшая качество разряда между основными электродами.
После того как вся ртуть перейдёт в пары (газ), лампа ДРЛ выйдет на номинальный режим работы и максимальную светоотдачу. Также ещё следует добавить, что при выключении лампы ДРЛ повторное включение невозможно, пока лампа полностью не остынет. Это является одним из недостатков ламы, поскольку появляется зависимость от качества электроснабжения.
ДРЛ лампа довольно чувствительна к температуре и поэтому в её конструкции предусмотрена внешняя стеклянная колба. Она выполняет две функции: во-первых, служит барьером между внешней средой и кварцевой горелкой, предотвращая остывание горелки (находящийся внутри колбы азот препятствует теплообмену), а во-вторых, поскольку при внутреннем разряде излучается не весь видимый спектр (только ультрафиолет и зелёный цвет), то люминофор, лежащий тонким слоем на внутренней стороне стеклянной колбы, преобразует ультрафиолет в спектр красного свечения. В результате объединения синего, зелёного и красного излучения образуется белое свечение лампы ДРЛ.
Подключение к электросети четырех электродной лампы осуществляется через дроссель.
Дроссель подбирается в соответствии с мощностью ДРЛ лампы. Роль дросселя — ограничивать ток, питающий лампу. Если включить лампу без дросселя, то она моментально сгорит, поскольку через неё пройдёт слишком большой электроток. В схему подключения желательно добавить конденсатор (не электролитический). Он будет влиять на реактивную мощность, а это сэкономит электроэнергию в два раза.
Дроссель ДРЛ-125 (1.15А) = конденсатор 12 мкф. (не меньше 250 В.)
Дроссель ДРЛ-250 (2.13А) = конденсатор 25 мкф. (не меньше 250 В.)
Дроссель ДРЛ-400 (3.25А) = конденсатор 32 мкф. (не меньше 250 В.)
P.S. Лампа ДРЛ содержит внутри капельки ртути, если разобьется кварцевая колба, то пары ртути развеются в помещении на 25 м.кв. Обращайтесь с лампой ДРЛ осторожно.
Компьютеры, материалы и непрерывность | Схема размещения контейнеров на основе DRL со вспомогательными задачами
- Отправить документ
- Предложить специальный вопрос
Содержание
- Аннотация
Открытый доступ
АРТИКУЛ
Нинчэн Юань
1 Пекинский университет почты и телекоммуникаций, Пекин, 100876, Китай.
2 Китайский институт стандартизации электроники, Пекин, Китай.
3 Центр управления связью, Информационно-телекоммуникационная компания State Grid Henan Electric Power Company, Чжэнчжоу, Китай.
4 Технологический институт Карлоу, Карлоу, Ирландия.
* Автор, ответственный за переписку: Чао Цзя. Электронная почта: .
Компьютеры, материалы и непрерывность 2020 , 64 (3), 1657-1671. https://doi.org/10.32604/cmc.2020.09840
Поступила в редакцию 21 января 2020 г.; Принят 02 апреля 2020 г .; Выпуск опубликован 30 июня 2020 г.
Резюме
Контейнер — это новая технология виртуализации, получившая широкое распространение в
облако для предоставления услуг из-за его легкости, гибкости, изолированности и высокой портативности.
характеристики. Облачные сервисы часто создаются в виде кластеров взаимосвязанных контейнеров.
Из-за случайного поступления услуг и сложной облачной среды это сложно.
для достижения оптимальной схемы размещения контейнеров (СР). Мы предлагаем использовать Deep
Обучение с подкреплением (DRL) для решения проблемы CP, которое может учиться на
опыта взаимодействия с окружающей средой и не опирается на математическую модель или
предварительные знания. Однако прямое применение метода ДРЛ не приводит к удовлетворительному результату.
результат из-за сложных состояний окружающей среды и огромных пространств для действий. В этой статье,
мы предлагаем UNREAL-CP, метод на основе DRL для размещения экземпляров контейнеров на серверах.
при рассмотрении сквозной задержки и стоимости использования ресурсов. Предлагаемый метод
подход, основанный на актерах и критиках, который имеет преимущества при работе с огромными действиями
космос. Более того, идея вспомогательного обучения также включена в нашу архитектуру.
Мы
разработать две вспомогательные обучающие задачи о балансировке нагрузки для улучшения алгоритма
производительность. По сравнению с другими методами DRL обширные результаты моделирования показывают, что
UNREAL-CP работает лучше до 28,6% с точки зрения сокращения задержки и развертывания.
стоимость с высокой эффективностью обучения и скоростью реагирования.
Ключевые слова
Размещение контейнера, глубокое обучение с подкреплением, вспомогательное обучение.
Процитировать эту статью
Н. Юань, К. Цзя, Дж. Лу, С. Го, В. Ли и др. , «Схема размещения контейнеров на основе drl со вспомогательными задачами», Computers, Materials & Continua , vol. 2020. Т. 64, № 3. С. 1657–1671.0059 Эта работа находится под лицензией Creative Commons Attribution 4.0 International License, которая разрешает неограниченное использование, распространение и воспроизведение на любом носителе при условии надлежащего цитирования оригинальной работы.
- Загрузки
- Инструменты цитирования
1970
Посмотреть
1492
Скачать
0
Нравится
Статьи по теме
Поделиться ссылкой
Нормализация вывода и неравномерная выборка
Че Ван, Янцю Ву, Куан Вуонг, Кит Росс Материалы 37-й Международной конференции по машинному обучению , PMLR 119:10070-10080, 2020.
Аннотация
Мы стремимся разработать нестандартные алгоритмы DRL, которые не только превосходят самые современные по производительности, но также являются простыми и минималистичными. Для стандартных эталонных тестов с непрерывным контролем Soft Actor-Critic (SAC), который использует максимизацию энтропии, в настоящее время обеспечивает современную производительность. Сначала мы демонстрируем, что член энтропии в SAC относится к насыщению действий из-за ограниченного характера пространств действий, с учетом этого понимания мы предлагаем оптимизированный алгоритм с простой схемой нормализации или с инвертированными градиентами. Мы показываем, что оба подхода могут соответствовать эффективности выборки SAC без необходимости максимизации энтропии, затем мы предлагаем простой метод неравномерной выборки для выбора переходов из буфера воспроизведения во время обучения. Обширные экспериментальные результаты показывают, что предложенная нами схема отбора проб обеспечивает современную эффективность выборки при выполнении сложных задач непрерывного контроля.
Мы объединяем все наши выводы в один простой алгоритм, который мы называем упорядоченной политикой отключения с акцентом на недавний опыт, для которого мы предоставляем надежный общедоступный код.
Процитировать эту статью
БибТекс
@InProceedings{pmlr-v119-wang20x,
title = {Стремление к простоте и производительности вне политики {DRL}: нормализация вывода и неравномерная выборка},
автор = {Ванг, Че и Ву, Яньцю и Выонг, Куан и Росс, Кит},
booktitle = {Материалы 37-й Международной конференции по машинному обучению},
страницы = {10070--10080},
год = {2020},
редактор = {III, Хэл Дауме и Сингх, Аарти},
громкость = {119},
серия = {Материалы исследования машинного обучения},
месяц = {13--18 июля},
издатель = {PMLR},
pdf = {http://proceedings.mlr.press/v119/wang20x/wang20x.pdf},
URL = {https://proceedings.mlr.press/v119/wang20x.html},
abstract = {Мы стремимся разработать нестандартные алгоритмы DRL, которые не только превосходят самые современные по производительности, но также являются простыми и минималистичными.
Для стандартных эталонных тестов с непрерывным контролем Soft Actor-Critic (SAC), который использует максимизацию энтропии, в настоящее время обеспечивает современную производительность. Сначала мы демонстрируем, что член энтропии в SAC относится к насыщению действий из-за ограниченного характера пространств действий, с учетом этого понимания мы предлагаем оптимизированный алгоритм с простой схемой нормализации или с инвертированными градиентами. Мы показываем, что оба подхода могут соответствовать эффективности выборки SAC без необходимости максимизации энтропии, затем мы предлагаем простой метод неравномерной выборки для выбора переходов из буфера воспроизведения во время обучения. Обширные экспериментальные результаты показывают, что предложенная нами схема отбора проб обеспечивает современную эффективность выборки при выполнении сложных задач непрерывного контроля. Мы объединяем все наши выводы в один простой алгоритм, который мы называем упорядоченной политикой отключения с акцентом на недавний опыт, для которого мы предоставляем надежный общедоступный код.
}
}
Сноска
%0 Документ конференции
%T Стремление к простоте и производительности в DRL вне политики: нормализация вывода и неравномерная выборка
%A Че Ван
%A Янцю Ву
%А Куан Выонг
%A Кит Росс
%B Материалы 37-й Международной конференции по машинному обучению
%C Материалы исследования машинного обучения
%D 2020
%E Хэл Доме III
%E Арти Сингх
%F pmler-v119-wang20x
%I PMLR
%Р 10070--10080
%U https://proceedings.mlr.press/v119/wang20x.html
%V 119
%X Мы стремимся разработать нестандартные алгоритмы DRL, которые не только превосходят самые современные по производительности, но также являются простыми и минималистичными. Для стандартных эталонных тестов с непрерывным контролем Soft Actor-Critic (SAC), который использует максимизацию энтропии, в настоящее время обеспечивает современную производительность. Сначала мы демонстрируем, что член энтропии в SAC относится к насыщению действий из-за ограниченного характера пространств действий, с учетом этого понимания мы предлагаем оптимизированный алгоритм с простой схемой нормализации или с инвертированными градиентами.
