ибп режим повышенной энергоэффективности

ибп режим повышенной энергоэффективности Энергоэффективность

Новые экономичные системы ИБП снижают расход энергии и минимизируют эксплуатационные риски

07 мая 2015 г. | МакФарлейн Роберт | Категория: Обсуждаем статью

Установки эко-ИБП помогут повысить энергоэффективность ЦОДа, а также имеют новую архитектуру, позволяющую быстро реагировать на отключения.

Дата-центры форсируют задачи повышения энергоэффективности без ущерба надежности. Вы хотите узнать, в какой области предстоит самая большая работа? В энергоснабжении.

Источники бесперебойного питания (ИБП) значительно усовершенствованы. Биполярные транзисторы с изолированным затвором (БТИЗ) повышают энергетическую эффективность до уровня 90% и выше, а бестрансформаторная схема добавляет еще 2%. Согласование нагрузки, синфазность и более высокое напряжение, подаваемое на IT-оборудование, также работают на эту задачу.

Любой был бы рад сэкономить $25 000 в год на счетах за электричество с помощью высокоэффективных ИБП, но для многих операторов сроки возврата инвестиций представляют собой проблему. Если взять ИБП на 500 кВт, то повышение эффективности на 2 или 3% будет означать, что окупиться такое вложение сможет в течение двух, если не трех десятилетий. Новые топологии ИБП обещают высокую энергоэффективность, снижая потребления электричества и делая более привлекательной идею модернизации парка ИБП.

Экономичные системы ИБП – также их называют энергосберегающие системы, с режимом экономии или эко-режимом – питают IT-оборудование от сети общего пользования до тех пор, пока этот источник не прекращает снабжение, либо пока напряжение не падает ниже установленного предела. И только тогда включаются в работу аккумуляторы. Звучит устрашающе? Не обязательно.

«Если работа в эко-режиме не ставит под угрозу выполнение требований к питанию критической нагрузки в то время, как входная мощность на ИБП находится за пределами допустимых значений, и мы можем продемонстрировать немедленный переход из эко-режима к аккумулятору (инвертору), то эта система оправдает наши ожидания от работы ИБП», — говорит Эд Рафтер, вице-президент по технологиям Uptime Institute, организации, которая занимается сертификацией надежности и резервирования дата-центров. Он добавляет, что «есть и другие нюансы, которые необходимо принять во внимание».

Опции эко-ИБП

Существует три общепризнанных технологии ИБП: источники с двойным преобразованием энергии, линейно-интерактивные ИБП, не зависящие от напряжения (VI) и ИБП резервного типа (standby). Системы ИБП с двойным преобразованием, не зависящие от напряжения и частоты, считаются наиболее надежными, но в лучшем случае их эффективность достигает 96%.

Многие эко-ИБП представляют собой довольно сложные адаптации вариантов линейно-интерактивных ИБП или ИБП резервного типа. Некоторые эко-ИБП конфигурируются как VI-системы с двойным преобразованием энергии, у которых переключатель байпаса обычно выключен.

Линейно-интерактивные VI-ИБП имеют контролируемое выходное напряжение, но ту же частоту на выходе, что и на входе. В результате их эффективность достигает 98%.

ИБП резервного типа имеет инвертор, который не работает до тех пор, пока не прекратится подача энергии от внешнего источника. Эко-система ИБП, зависящая от напряжения и частоты (VDF), или ИБП резервного типа держат биполярные транзисторы с изолированным затвором наготове, чтобы инвертор мог начать подавать мощность через 2 мс после активации. Эти архитектуры позволяют достичь эффективности 99%.

Риски и проблемы

Пользователи сталкиваются с двумя проблемами при работе с эко-ИБП: аномалии внешней линии энергоснабжения достигают IT-оборудования, а стабильная подача энергии начинается достаточно быстро, чтобы обеспечить бесперебойную работу серверов при сбое энергоснабжения. Проектировщики ИБП предприняли значительные шаги на пути к устранению рисков.

Аномалии не должны волновать, когда система работает в режиме «эко», особенно если у вас развитая, зрелая энергетическая инфраструктура. Эко-ИБП имеют фильтры и должны использовать устройства защиты от колебаний на контуре байпаса для предотвращения резких скачков и провалов напряжения на линии. ИБП, основанные на топологии VI, дают более надежную защиту от проблем линии, нежели VDF- системы. Для местности с ненадежным энергоснабжением вряд ли подойдет эко-ИБП. В других местах при хорошо спроектированной системе подверженность колебаниям должна быть минимальной, и потенциальная экономия будет весьма существенна.

Трансформаторы теряют около 2% своей мощности, поэтому эко-ИБП не используют трансформаторы. Без трансформатора электрическая схема должна включать защиту от тока короткого замыкания: короткие цепи, которые заставляют ток (амперность) внезапно повышаться.

Время восстановления системы ИБП включает множество вариаций. Конденсаторы питания IT-нагрузки накапливают мощность, которая идет с короткими перерывами (в среднем 8,3 мс). Контуры датчика должны выявлять проблемы во входящем энергоснабжении и открывать переключатель байпаса – и включать инвертор в VDF- системе — до того, как полная мощность пойдет на IT-оборудование. Если ИБП быстро восстанавливает стабильную подачу питания, IT-оборудование должно продолжить работу в нормальном режиме – однако гарантии нет. Всем электрическим системам требуются время для стабилизации, когда они неожиданно подвергаются ударной нагрузке полной мощности, и это добавляет миллисекунды (и более) к общему времени восстановления.

Старые конденсаторы могут оказаться не полностью заряженными, что уменьшит время работы в переходный период. Эко-ИБП переключается на аккумулятор, когда напряжение выйдет за рамки допустимого, и это может быть от +10% до -15%, поэтому VDF-ИБП дают пониженное напряжение до тех пор, пока оно не вернется в пределы нормы. Даже новые конденсаторы могут не зарядится полностью при снижении напряжения, например, при провалах подаваемой мощности, и это также уменьшит время автономной работы.

В редких случаях, когда совпадут сразу несколько факторов, применение эко-ИБП может вполне объяснимо вызвать разрушение серверов. Это – плата за достижение максимальной энергоэффективности.

«Опытным путем мы поняли, что использование этих эко-конфигураций действительно представляет некоторый риск», — говорит Рафтер. «И если смотреть непредвзято – они и должны представлять риск. Ничего не дается даром, даже эко-режим».

Восстановление магистрального энергоснабжения

Нагрузка на аккумулятор – проблема любого ИБП, ведь использование и повторная зарядка укорачивает срок службы батареи. Топология VDF не подвергает аккумулятор стрессу до тех пор, пока не случается переключение, но системы VI могут, потому что инвертор всегда задействован. Хорошо спроектированная система VI получает дополнительную мощность от выпрямителя без разрядки батареи до тех пор, пока не прекратится собственно подача энергии.

Когда подача энергии возобновляется (от магистрали или от генератора), система, как правило, остается нестабильной в течение нескольких секунд. Магистраль может отключаться и включаться по нескольку раз. Эко-ИБП должна сама решить, когда переключиться обратно на байпас, поэтому она обычно имеет встроенное логическое устройство задержки и мониторинга для предотвращения возврата к магистральному питанию раньше срока. Пока аккумулятор не разрядится, это мало чем отличается от ИБП с двойным преобразованием.

Увеличение времени работы аккумулятора не поможет. Без наличия генератора, который будет поддерживать системы охлаждения, и аккумуляторы, и ИБП перегреются.

Действительная эксплуатационная эффективность

Реальная эффективность эко-ИБП доказана статистически и учитывает топологию ИБП, надежность магистрального энергоснабжения и условия эксплуатации ЦОДа. Поэтому производители на самом деле не могут указать точную цифру. Эффективность системы, построенной на топологии VDF, зависящих от напряжения и частоты, может достигать 99% в эко-режиме. Другая система, на архитектуре VI покажет чуть меньшую эффективность из-за незначительного потребления инвертора. Один производитель ИБП заявляет о 98.3% независящих систем – всего на 0.7% ниже.

Реальный критерий – это фактическое время работы в эко-режиме. Одна установка показала работу 1050 часов в режиме двойного преобразования из общего числа работы 21 000 часов – то есть, 95% работы в эко-режиме. Если эко-режим эффективен на 99%, а двойное преобразование – на 95%, то фактическая эффективность составила 98,79%.

Один дата-центр из сферы финансового сектора работает на двойном преобразовании в течение критических дневных часов и в эко-режиме по ночам. Такая конфигурация сокращает экономию, но максимизирует надежность в течение наиболее критического времени суток.

Скоро вы увидите эко-режим на любом новом ИБП. Разберитесь, когда и как его использовать в вашем дата-центре: сколько он реально экономит, вы сможете узнать лишь по факту использования спустя некоторое время.

Источник: www.searchdatacenter.com

Теги: ИБП, расход энергии, эко-ИБП

Карбид кремния позволяет повысить КПД и удельную мощность ИБП с двойным преобразованием

23 ноября 2021

ибп режим повышенной энергоэффективности

Построение источников бесперебойного питания с двойным преобразованием, широко используемых в современных хранилищах данных, на базе карбид-кремниевых MOSFETs производства Wolfspeed позволяет уменьшить мощность потерь в них до 40%, а также значительно снизить занимаемый ими объем и стоимость комплектующих.

Повышенные требования к уровню энергоэффективности центров обработки данных приводят к ужесточению требований к источникам бесперебойного питания (ИБП), ведь они обеспечивают прикладное информационное оборудование электрической энергией 24 часа в сутки и семь дней в неделю. Поскольку большинство ИБП, используемых для этих задач, строятся по технологии двойного преобразования, то от их параметров напрямую зависит как количество используемой энергии, так и качество ее потребления. Таким образом, улучшение характеристик ИБП является ключевым условием повышения энергоэффективности большинства коммерческих проектов, связанных с ИТ-сферой.

Особенности ИБП с двойным преобразованием

ИБП с двойным преобразованием содержат два основных преобразовательных узла: выпрямитель и инвертор (рисунок 1). В нормальном режиме работы входное переменное напряжение вначале преобразуется с помощью выпрямителя в постоянное, а затем с помощью инвертора – снова в переменное. Аккумуляторная батарея, содержащая аварийный запас энергии, подключается к промежуточной шине постоянного напряжения с помощью дополнительного двунаправленного преобразователя, обеспечивающего согласование напряжений и защиту аккумулятора. Такой принцип построения, во-первых, обеспечивает наивысшую скорость срабатывания ИБП, поскольку при аварии в системе электроснабжения инвертор начинает сразу же использовать энергию, накопленную в аккумуляторе, а во-вторых, устраняет все отклонения входного напряжения как по величине, так и по форме, в том числе обеспечивает эффективное подавление высокочастотных помех, присутствующих в сети.

Основным недостатком ИБП этого типа является двойное преобразование всей электрической энергии, потребляемой оборудованием, на каждом этапе которого возникают потери. Из-за этого у ИБП с двойным преобразованием КПД обычно меньше, чем у ИБП других типов. Кроме того, от формы тока, потребляемого выпрямителями, напрямую зависит коэффициент мощности всей системы, поэтому не зря компания Wolfspeed обозначает эти узлы как «Active Front End» (AFE), подчеркивая, что этот узел должен еще и обеспечивать синусоидальную форму потребляемого тока.

Рис. 1. Структурная схема ИБП с двойным преобразованием

Рис. 1. Структурная схема ИБП с двойным преобразованием

Силовые части выпрямителя и инвертора практически одинаковы. И в том, и в другом узле используются три полумостовых каскада – по одному на каждую фазу. Основная разница заключается в принципах управления. Для выпрямителя ключевым контролируемым параметром является форма потребляемого тока, в то же время инвертор должен как обеспечивать генерацию стабильного синусоидального выходного напряжения, так и ограничивать выходной ток при возможных авариях в цепи нагрузки. Двунаправленный преобразователь постоянного напряжения обычно состоит из двух полумостовых каскадов и необходим для согласования напряжения промежуточной шины постоянного тока с напряжением аккумуляторной батареи.

Читайте также:  счетчик энергоэффективности

Сравнительный анализ ИБП на различной элементной базе

В качестве опорной точки рассмотрим одну из лучших конструкций ИБП двойного преобразования на основе кремниевых IGBT (рисунок 2). В этой системе для того, чтобы достичь компромисса между физическими размерами и приемлемой величиной потерь, частоту переключений IGBT пришлось снизить до 8 кГц. Но даже при использовании столь низкой частоты преобразования для охлаждения силовых транзисторов потребовались радиаторы достаточно большого размера вместе с комплектом мощных вентиляторов для их обдува.

Мощность потерь в полупроводниковых компонентах выпрямителя на основе кремниевых IGBT достигает 1,1 кВт. При таком уровне тепловыделения кристаллы транзисторов и диодов разогреваются до температур, соответственно, 130 и 140°С при температуре корпуса модуля 40°С. Однако для того, чтобы достичь таких температур, требуется система принудительного охлаждения объемом приблизительно 6,4 л.

Рис. 2. Силовая часть ИБП с двойным преобразованием на основе кремниевых IGBT

Рис. 2. Силовая часть ИБП с двойным преобразованием на основе кремниевых IGBT

Не лучше обстоит дело и с преобразователем постоянного напряжения. Общие потери в каждом из модулей этого узла достигают 590 Вт. При таком уровне тепловыделения температура диодов в силовой части достигает 75°С, в то время как кристаллы IGBT разогреваются до 136°С. Из-за этого для снижения температуры данных полупроводниковых элементов требуется система принудительного охлаждения объемом около 3 л. Использование столь низкой частоты переключений привело также и к увеличению размеров реактивных элементов преобразователя. Например, для работы на такой частоте потребовался дроссель с индуктивностью 100 мкГн и объемом 1,9 л, потери в котором достигают 182 Вт, а также блок фильтрующих конденсаторов с общей емкостью 2,32 мФ, занимающий в корпусе ИБП объем около 3,6 л.

ИБП с двойным преобразованием, построенный на основе карбид-кремниевых MOSFET, имеет практически такую же схему силовой части, как и при использовании кремниевых IGBT (рисунок 3). Однако лучшие характеристики приборов на основе карбида кремния позволили увеличить частоту переключения транзисторов до 25 кГц. Но даже при повышенной частоте энергетические характеристики ИБП на карбид-кремниевой основе оказываются лучше, чем при использовании традиционных кремниевых IGBT. В частности, замена в выпрямителях ИБП кремниевых IGBT на карбид-кремниевые MOSFET позволила:

  • уменьшить потери в полупроводниковых компонентах до 662 Вт;
  • увеличить рабочую температуру кристаллов приблизительно до 164°С при той же температуре поверхности модулей (40°С) (карбид-кремниевые приборы могут работать при температуре кристаллов до 600°С, поэтому, в отличие от кремния, максимальная температура транзисторов и диодов из карбида кремния ограничена только характеристиками корпусов, в которых они установлены, обычно 175°С);
  • уменьшить размеры полупроводниковых модулей за счет уменьшения общего  количества кристаллов, поскольку MOSFET, в отличие от IGBT, имеют встроенные антипараллельные диоды;
  • уменьшить размеры системы принудительного охлаждения до 3,7 л на модуль за счет меньшего уровня потерь и повышения температуры кристаллов.

Рис. 3. Силовая часть ИБП с двойным преобразованием на основе карбид-кремниевых MOSFET

Рис. 3. Силовая часть ИБП с двойным преобразованием на основе карбид-кремниевых MOSFET

Не менее эффективным оказалось и использование карбид-кремниевых MOSFET в преобразователях постоянного напряжения. Поскольку каналы MOSFET, в отличие от IGBT, способны пропускать ток в обоих направлениях, то при построении преобразователя на этой элементной базе можно использовать технологию синхронного выпрямления. В этом случае обратный ток каждого силового ключа протекает не через антипараллельные диоды, как в случае использования IGBT, а через каналы MOSFET с более низким сопротивлением, что приводит к значительному снижению величины статических потерь. В конечном итоге замена в преобразователе постоянного напряжения кремниевых IGBT на карбид-кремниевые MOSFET позволила:

  • значительно уменьшить потери в полупроводниковых приборах – до 284 Вт в одном модуле;
  • увеличить температуру кристаллов MOSFET до 143°С при температуре внешней поверхности корпуса модуля 40°С;
  • уменьшить объем, занимаемый системой принудительного охлаждения, до 1,9 л;
  • уменьшить, за счет перехода на более высокую частоту переключений, индуктивность силовых дросселей до 130 мкГн, в результате чего их объем уменьшился до 1,3 л, а потери – до 137 Вт;
  • уменьшить, также за счет повышения частоты переключений, емкость силовых конденсаторов до 740 мкФ, в результате чего объем, занимаемый ими, теперь равен всего 1,2 л.

Кроме того, переход на более высокие частоты позволил заменить в силовых цепях электролитические конденсаторы пленочными, что привело к дополнительному увеличению уровня надежности и срока службы ИБП.

В конечном итоге, поэлементное сравнение двух ИБП одинаковой мощности (рисунок 4), один из которых реализован на основе традиционных кремниевых IGBT, а второй – на основе карбид-кремниевых MOSFET-модулей семейства XM3 производства компании Wolfspeed, показывает убедительное преимущество нового полупроводникового материала. В частности, построение силовой части на основе карбид-кремниевых MOSFET позволяет:

  • уменьшить мощность потерь в полупроводниковых компонентах на 40%, в результате чего объем, занимаемый системой их принудительного охлаждения, уменьшился на 42%, а ее стоимость – на 43%;
  • уменьшить размеры силовых дросселей на 37%, потери в этих элементах – на 20%, а их стоимость – на 23%;
  • уменьшить объем, занимаемый силовыми конденсаторами, на 67%, а их стоимость – на 66%.

Рис. 4. Сравнение размеров элементной базы для построения ИБП с двойным преобразованием на основе кремниевых и карбид-кремниевых полупроводниковых приборов

Рис. 4. Сравнение размеров элементной базы для построения ИБП с двойным преобразованием на основе кремниевых и карбид-кремниевых полупроводниковых приборов

Преимущества SiC на системном уровне

Кроме обеспечения высокого значения КПД, в число основных функций ИБП входят хранение необходимого запаса энергии, обеспечение бесперебойного электроснабжения питаемого оборудования напряжением требуемого качества, в том числе – устранение проблем, связанных с отклонением амплитуды и формы входного напряжения, а также формирование синусоидального потребляемого тока для обеспечения высокого значения коэффициента мощности. Кроме этого, ИБП должен иметь минимально возможные размеры, поскольку от этого непосредственно зависит, например, стоимость арендной платы помещения, в котором он установлен. Таким образом, увеличение КПД и коэффициента мощности ИБП приведет к уменьшению счетов на электроэнергию (при использовании того же информационного оборудования), увеличение удельной мощности – либо к уменьшению арендной платы за счет потребности в помещении меньшего размера, либо к улучшению качества предоставляемых сервисов, например, за счет установки дополнительных аккумуляторов в освободившийся объем.

В данном случае построение ИБП мощностью 200 кВт на основе карбид-кремниевых силовых модулей XM3 производства компании Wolfspeed позволит уменьшить общую стоимость системы на 35%, а уровень потерь – на 38% по сравнению с ИБП такой же мощности, выполненным на основе кремниевых IGBT. Это означает, что практическое использование системы на основе карбид-кремниевых приборов приведет к ежегодному уменьшению энергопотребления на 25,91 МВт∙ч, что при стоимости электроэнергии 0,1 доллара за киловатт-час эквивалентно 2591 долларам.

Следует отметить, что переход на карбид-кремниевую элементную базу позволяет повысить и качество выходного напряжения. Результаты моделирования напряжения на промежуточной шине постоянного тока (рисунок 5) показывают, что при резком изменении тока нагрузки схеме управления ИБП на основе кремниевых IGBT необходимо приблизительно 16,4 мс для стабилизации этого напряжения. Причиной столь медленной реакции во многом является низкая частота переключений (8 кГц), а ИБП на основе карбид-кремниевых модулей, переключающихся с частотой 25 кГц, реагируют на подобное событие практически в три раза быстрее – за 4,9 мс.

Рис. 5. Результаты моделирования напряжения на промежуточной шине постоянного тока при изменении тока нагрузки ИБП с 10% до 100%

Рис. 5. Результаты моделирования напряжения на промежуточной шине постоянного тока при изменении тока нагрузки ИБП с 10% до 100%

Оценить эти и другие положительные свойства карбид-кремниевых технологий можно на основе опорного проекта CRD250DA12E-XM3, содержащего комплект плат, образующих полноценный трехфазный ИБП с максимальной мощностью 250 кВт. Выходной ток каждой фазы предлагаемого ИБП достигает 300 А (действующее значение), а напряжение промежуточной шины постоянного тока равно 900 В (максимальное значение). Несмотря на повышенную выходную мощность, вес этого устройства не превышает 6,2 кг, а его объем – 9,3 л. Более подробную информацию об этом проекте, в том числе об особенностях его заказа, можно получить в любой момент, связавшись со специалистами компании Wolfspeed или ее дистрибьюторов.

Список источников

Перевел Александр Русу по заказу АО Компэл

Преимущества

  • Высокая энергоэффективность, до 96%
  • Искажения входного тока, THDi<4%
  • «Холодный старт» (Запуск от АКБ)
  • Многоуровневая защита: Защита от перегрева (8 температурных сенсоров), Защита от перегрузки, Защита АКБ от глубокого разряда, Контроль отказа вентиляторов охлаждения, Защита от короткого замыкания по выходу
  • Четыре встроенных автоматических выключателя, обеспечивающих полную защиту при возникновении аварийных ситуаций
  • Интеллектуальное управление зарядом АКБ, обеспечивающее максимальный срок службы батарей
  • Дружественный интерфейс пользователя, ЖК-дисплей высокого разрешения
  • Параллельное подключение до 8-ми ИБП

Режимы работы ИМПУЛЬС ФОРА 3310

Данный напольный ИБП относится к типу Онлайн с двойным преобразованием и может работать в следующих режимах:

  • Нормальный режим
  • Режим АКБ
  • Режим байпаса
  • Сервисный режим (механический байпас)
  • Экономичный режим (ECO)
  • Режим автоматического перезапуска
  • Режим частотного преобразователя.

Нормальный режим

Инвертор постоянно питает критичную нагрузку переменного тока. Выпрямитель/зарядное устройство получает питание от входной сети и подает постоянный ток на инвертор, одновременно заряжая батареи в бустерном или плавающем режиме.

Режим АКБ

В случае отключения питания на входе или выходе параметров входной сети за допустимые пределы ФОРА 3310 кВА автоматически переключится в режим работы от батарей. Инвертор при этом продолжает питать нагрузку, используя энергию АКБ, переключение в данный режим происходит без перерыва в электропитании нагрузки. После восстановления входной сети ИБП автоматически возвращается в «Нормальный режим».

Режим байпаса

Если перегрузочная способность инвертора будет превышена в нормальном режиме, или по любым другим причинам инвертор выйдет из строя, нагрузка будет автоматически переключена на питание по цепи статического байпаса. При этом, если выход инвертора и вход байпаса синхронизированы между собой, переключение произойдет безе перерыва питания нагрузки. Если инвертор и вход байпаса не синхронизированы, при переключении возможен перерыв в питании нагрузки длительностью не более \x{00be} одного периода – 15 миллисекунд при 50 Гц, и 12,5 миллисекунд при 60 Гц. Пауза необходима для того, чтобы избежать броска тока при переключении несинхронизированных источников питания. Переключение в режим байпаса так же можно осуществить в ручном режиме через панель управления ИМПУЛЬС ФОРА 3310.

Сервисный режим (механический байпас)

В сервисном режиме питание нагрузки осуществляется от входа байпаса через цепь механического (сервисного ручного) байпаса. Это позволяет производить обслуживание и ремонт ФОРА 3310 кВА без отключения нагрузки.

Экономичный режим (ECO)

Данный режим работы используется для повышения энергоэффективности ИБП. При этом нагрузка получает питание через цепь статического байпаса, инвертор находится в дежурном режиме. При отказе входной сети ИМПУЛЬС ФОРА 3310 автоматически переключается в Режим АКБ.

Режим автоматического перезапуска

Продолжительный сбой в питающей сети переменного тока может привести к разряду батарей. Инвертор отключится, когда напряжение батарей достигнет минимального порога разряда (EOD). ФОРА 3310 кВА может быть настроен на «Режим автоматического запуска после EOD». ИБП запускается через некоторое время, после восстановления входной питающей сети переменного тока. Параметры режима и время задержки настраиваются сервисным инженером.

Режим преобразования частоты (стабилизатора)

При установке ИБП в режим преобразования частоты, ИБП способен независимо от частоты входной сети генерировать стабильное выходное напряжение переменного тока фиксированной частоты (50Гц или 60Гц, в зависимости от настройки). В данном режиме линия статического байпаса отключена и заблокирована.

Установка ИБП ИМПУЛЬС ФОРА 3310

  • ИБП Фора3310 кВА рассчитан для установки и эксплуатации внутри помещений. Охлаждение конструкции обеспечивается встроенной системой принудительной вентиляции. Поэтому при установке необходимо обеспечить достаточное свободное пространство для беспрепятственной циркуляции воздуха.
  • Размещать бесперебойник нужно вдали от источников воды, высокой температуры, горючих газов, агрессивных сред, пыли, прямых солнечных лучей. Также следует избегать установки в среде с электропроводной пылью.
  • Оптимальная температура воздуха для аккумуляторов составляет 20-25 C. Эксплуатация в условиях повышенной температуры снизит срок службы батарей. При температуре ниже 20 C снижается емкость батареи. В конце процесса заряда батарея может генерировать небольшой объём газообразного водорода и кислорода. Убедитесь, что циркуляция свежего воздуха в месте установки АКБ соответствует требованиям стандарта EN50272-2001.
  • При использовании вместе с ИМПУЛЬС ФОРА 3310 внешних батарейных шкафов необходимо, чтобы выключатели (или предохранители) располагались как можно ближе к батареям, а кабельные линии имели минимальную длину.
Читайте также:  центр энергоэффективности рязань

Современные ЦОДы способны обеспечить PUE на уровне 1,5 или ниже — это стало возможным за счет целого ряда улучшений.

Центры обработки данных — это фундамент цифровой экономики, однако для их работы требуется огромное количество энергии. Стараясь сделать цифровую трансформацию более экологичной, необходимо в первую очередь правильно проектировать ЦОДы и использовать энергоэффективные компоненты ИТ-инфраструктуры. Ключевую роль в решении этой задачи играют SSD.

В последние годы заметно вырос спрос на центры обработки данных, что можно объяснить цифровой трансформацией и растущей популярностью облачных сервисов. Соответственно, количество ЦОДов растет, а существующие объекты продолжают расширяться. Едва ли эта тенденция пойдет на спад, ведь «Интернет вещей» тоже стремительно развивается, в результате чего в ближайшие годы мы можем ожидать взрывного роста объема данных, для обработки которых потребуется еще более продвинутая цифровая инфраструктура.

И, хотя развитие цифровых технологий, благодаря которому появляются новые продвинутые продукты и услуги, явление в основном позитивное, у него есть и отрицательная сторона — растущее потребление энергии, что не только увеличивает расходы, но также осложняет борьбу с климатическими изменениями и продвижение к устойчивому развитию. По данным Borderstep Institute, только за прошлый год центры обработки данных в Германии потребили 16 млрд киловатт-часов — на целый миллиард больше, чем в 2019-м[1].

Впрочем, судя по рекордно низким показателям PUE (power usage effectiveness), ЦОДы стали заметно эффективнее: этот коэффициент обозначает общий объем энергопотребления по отношению к энергетической потребности ИТ-инфраструктуры. Другими словами, насколько эффективна базовая инфраструктура, в том числе системы охлаждения и насосы, ИБП и аккумуляторы. Современные ЦОДы способны обеспечить PUE на уровне 1,5 или ниже — это стало возможным за счет целого ряда улучшений, в том числе оптимизации систем охлаждения, широкого применения вторичного тепла, продвинутых ИТ-компонентов, которые больше не требуют экстремального охлаждения помещений, а также правильно настроенных трансформаторов тока. В современных ЦОДах более двух третей энергии потребляют ИТ-системы.

Таким образом, хотя 10 млрд киловатт-часов из упомянутых 16 составляют львиную долю потребления в центрах обработки данных в 2020 году, теперь оборудование куда совершеннее: по данным Borderstep Institute, с 2010 года энергопотребление в ЦОДах выросло на 75%, а производительность – в восемь раз. Чтобы добиться этого, производители ИТ-оборудования активно вкладывались в техническую модернизацию. А кроме того, ужесточились правовые нормы в этой сфере — например, недавний регламент ЕС 2019/424 устанавливает минимальный уровень эффективности для источников питания в серверах и системах хранения.

Выше производительность с прежним бюджетом мощности

Серверы, системы хранения и сетевые компоненты в ЦОДах работают в комплексе, поэтому зависят друг от друга в плане затрат мощности. Растущие объемы данных приводят к увеличению энергопотребления не только хранилищ, но также серверов и сети, ведь данные необходимо передавать и обрабатывать. Работа над сбережением энергии исключительно в системах хранения возможна, только когда речь идет об архивных данных, однако усложняется их регулярной валидацией, при которой задействуются остальные ИТ-компоненты. Поэтому операторы ЦОДов выделяют бюджет мощности на стойку, который распределяется между отдельными потребителями.

Однако, если речь идет о развертываниях с действительно высокими потребностями в памяти, очень важно вдумчиво подойти к планированию эффективности хранилищ, ведь каждый ватт, не использованный в эксплуатации, будет доступен для других систем в стойке. За счет энергоэффективного хранилища стойка обеспечит более высокий уровень производительности с прежним бюджетом мощности.

SSD не настолько экономные, но…

Теоретически SSD требуют меньше энергии, чем жесткие диски, ведь они не имеют механических компонентов. Однако, поскольку на SSD возлагаются определенные операции, например управление ячейками памяти и обновление состояний памяти для обеспечения готовности к использованию, во время простоя они потребляют столько же энергии, сколько и жесткие диски, а вот в режиме эксплуатации – наоборот, гораздо больше. Например, если текущий PCIe-накопитель четвертого поколения от KIOXIA в активном состоянии потребляет до 21 Вт, то жесткий диск корпоративного уровня с 7200 оборотами в минуту требует вдвое меньше.

Впрочем, здесь не учитывается производительность этих носителей. Расхода 8–12 Вт жесткого диска хватает лишь на несколько сотен IOPS, в то время как SSD достигает показателя 1,4 млн IOPS. Это означает, что в активном состоянии последний гораздо энергоэффективнее.

Энергоэффективность центров обработки данных. Рис. 1

Более того, SSD предоставляют данные гораздо быстрее, поэтому для обработки определенной рабочей нагрузки им нужно заметно меньше времени при максимальном расходе энергии. Например, KIOXIA CM6 передает данные на скорости 6900 Мбайт/c, то есть на файл объемом 500 Гбайт уходит 72 секунды: при максимальном расходе мощности в 21 Вт это соответствует 0,4 Вт∙ч, тогда как фактическое энергопотребление для последовательных операций чтения несколько ниже. С другой стороны, жесткому диску на передачу 500 Гбайт потребуется около 28 минут: при расходе 9 Вт это 4 ватт-часа. Таким образом, SSD в десять раз более энергоэффективен.

Однако по-настоящему серьезным преимуществом является прямой доступ. Если стандартный жесткий диск корпоративного уровня обеспечивает около 250 IOPS, то SSD от KIOXIA достигает 1,4 млн IOPS — в 2400 раз выше.

Качественное охлаждение в новых формфакторах

Благодаря своей высокой производительности SSD заметно эффективнее и в плане охлаждения. Подтверждено, что SSD новейшего поколения с поддержкой PCIe имеет более высокие требования к охлаждению во время эксплуатации при полной нагрузке, чем жесткий диск за тот же период времени. Однако для передачи файла или определенного количества IOPS жесткому диску понадобится гораздо больше времени, что означает более продолжительный период охлаждения и более высокие требования к системе охлаждения.

В дополнение к перечисленнному передовые SSD корпоративного уровня всё чаще предлагаются в формфакторе EDSFF, позволяющем обеспечивать улучшенный доступ охлаждающего воздуха к модулям флеш-памяти по сравнению с классическим формфактором 2,5 дюйма. Благодаря чему лучше распределяется вторичное тепло, что повышает эффективность охлаждения. И это соответствует стратегии ЕС, призванной сделать центры обработки данных нейтральными для окружающей среды к 2030 году[2].


[1] https://www.borderstep.de/publikation/hintemann-r-2021-rechenzentren-2020-cloud-computing-profitiert…

Бережливые ИБП

Еще вчера многие считали, что поскольку в России электричество дешевое, то и забивать голову всякими изысками, связанными с его экономией, не стоит. Сегодня же вопросы экономии выходят на первый план. Все чаще специалисты интересуются способами энергосбережения при использовании ИБП большой мощности, возможностями оптимизации их КПД и целесообразностью применения экономичных режимов.

Наиболее остро вопросы энергосбережения стоят именно при использовании ИБП большой мощности. Почему? Во-первых, чем больше мощность системы бесперебойного электропитания, тем больше киловаттов (а значит, и рублей) сэкономит компания при повышении КПД на каждый процент. Во-вторых, мощные ИБП, как правило, основаны на онлайновой схеме с двойным преобразованием, которая характеризуется значительно большими потерями, чем офлайновая и линейно-интерактивная схемы, применяемые в ИБП малой мощности.

Напомню, что офлайновые ИБП в штатном режиме работы (когда характеристики входного напряжения укладываются в заданные пределы) подключают нагрузку через фильтр непосредственно к внешней электросети. Как только характеристики выходят за допустимые пределы, нагрузка переключается на питание от аккумуляторной батареи. Линейно-интерактивные ИБП отличаются от офлайновых наличием стабилизатора входного напряжения. Он обеспечивает корректировку напряжения в сторону его повышения или понижения и потому гарантирует нормальное питание нагрузки без привлечения батареи при более значительных просадках и всплесках напряжения внешней электросети.

Онлайновые ИБП работают принципиально по-иному: они преобразуют поступающее на вход переменное напряжение в постоянное (это делает выпрямитель), а затем постоянное напряжение – снова в переменное (инвертор). Такое двойное преобразование, с одной стороны, практически полностью ограждает нагрузку от любых искажений, имеющих место во внешней сети, но с другой – снижает КПД.

Несколько процентов до идеала

Последним значимым шагом в области совершенствования элементной базы ИБП, приведшим к существенному увеличению КПД онлайновых систем, стал состоявшийся несколько лет назад переход на IGBT-транзисторы. До этого основные силовые узлы ИБП (выпрямитель и инвертор) строились на базе кремниевых тиристоров. Эти надежные и относительно дешевые полупроводниковые элементы способны работать с большими токами и напряжениями, выдерживая продолжительную нагрузку и импульсные воздействия. Однако они обладают меньшим быстродействием по сравнению с IGBT-транзисторами, а значит, хуже приспособлены к работе с нелинейной нагрузкой. Особенности коммутации тиристоров таковы, что они очень хорошо подходят для построения выпрямителей, но инверторы на тиристорах требуют сложных схем управления для включения и выключения этих элементов. Кроме того, силовые узлы на тиристорах, как правило, более громоздкие и шумные, чем узлы, построенные на IGBT-транзисторах.

На рынке еще представлены старые модели ИБП с тиристорными выпрямителями. КПД таких устройств в среднем находится в диапазоне от 90 до 92%. Что же касается КПД современных систем, построенных на базе IGBT-транзисторов, то он составляет 93–96%. Однако какого-либо дальнейшего его увеличения за счет улучшения схемотехники ИБП в ближайшее время не предвидится.

«До абсолютного (недостижимого!) значения – 100% – осталось не так много: около 4%. Думаю, серьезного прорыва здесь не будет, хотя, несомненно, все производители продолжат борьбу за повышение КПД, ведь высокий КПД – это не только снижение прямых потерь, но и экономия средств, которые тратятся на дополнительное охлаждение источников», – говорит Сергей

Щербаков

, руководитель системных инженеров московского офиса компании APC by Schneider Electric.

«Сегодня практически все производители ИБП строят свои решения на сходной элементной базе, и каждый элемент имеет собственный КПД. Поэтому “изобрести вечный двигатель” при текущей элементной базе и наработанных схемотехнических решениях или “выдавить” еще пару процентов весьма затруднительно», – считает

Олег Соколов

, специалист компании Powercom.

При первом взгляде на любой ИБП большой мощности кажется, что софта тут немного, главное – железо. Однако сегодня, когда многие «железные» способы повышения КПД исчерпаны, важнее становится оптимизация программного обеспечения.

Константин Соколов

из компании «Абитех», представляющей в России ИБП фирмы GE Digital Energy, среди возможностей повышения КПД называет доработку управляющего ПО и повышение эффективности алгоритмов управления. Касаясь же аппаратной части, он отмечает изменение компоновки силового блока современных ИБП, который оптимизируется для улучшения теплового режима. В мощных устройствах начинают применять системы водяного охлаждения транзисторов инвертора, что позволяет сохранить компактность блоков, снизить потери на переключение и уменьшить акустический шум.

Когда загрузка невелика

КПД источников бесперебойного питания зависит от многих факторов, один из основных – уровень загрузки. Понятно, что на практике ИБП почти никогда не загружены на 100%. Источники предыдущих поколений характеризовались существенным снижением КПД при уменьшении уровня загруженности. Ряд последних моделей мощных ИБП ведущих производителей построен таким образом, что КПД достигает максимума при работе в диапазоне загрузки 0,5–0,75 (см. таблицу). Это обеспечивается оптимизацией режимов работы транзисторов инвертора (в основном благодаря применению более совершенных алгоритмов управления) и регулированием производительности различных систем ИБП (снижением скорости вращения вентиляторов охлаждения или их частичным отключением и т.п.).

Читайте также:  энергоэффективность медицинских учреждений

КПД некоторых ИБП при разной загрузке*, %

Фирма/модель ИБП

Уровень загрузки

0,25

0,5

0,75

1

APC/Galaxy 7000  (250–300 кВА)93,6Н/д94,5Н/д
Chloride/80-Net  (120 кВА)94959595
Eaton/9395 (275 кВА)93,595,095,495,2
Emerson/Liebert/
Hipulse E (800
кВА)
92,4**93,5**93,0**92,0**
Gamatronic94959594,7
GE Digital Energy/SG (300 кВА)Н/д94,293,993,3
Socomec/Green Power  (120 кВА)94,5***95,8***95,8***95,5***
*Данные производителей.

**Минимальное гарантированное значение, соответствующее самой неблагоприятной комбинации случайных факторов.

***Показатели подтверждены TÜV SÜD.

Чем меньше КПД источника зависит от уровня загрузки, тем гибче возможности его применения при сохранении высокой эффективности. Особенно это важно при построении параллельной системы. Как отмечает

Андрей Вотановский

, технический специалист компании Emerson Network Power/Liebert, для создания максимально эффективной параллельной системы необходимо очень точно выбирать мощности составляющих ее подсистем: чем лучше будет подобрана мощность, тем выше эффективность системы в целом. Он считает, что КПД при изменении загрузки снижается меньше у источников бесперебойного питания, построенных по бестрансформаторной технологии с выпрямителем на IGBT-транзисторах.

Ряд производителей предлагают специальные средства для повышения эффективности работы параллельных систем. Так, например, программный комплекс Argus компании GE Digital Energy позволяет реализовать параллельную систему на базе ИБП серии SitePro или SG с автоматическим отключением ИБП при снижении нагрузки с сохранением заданного уровня резервирования. За данную технологию энергосбережения – IEM (Intelligent Energy Management) – разработчики были удостоены премии ETA от Швейцарского союза по потреблению электроэнергии (Verband Schweizerische Elektrizitatswerke).

Специалисты компании Socomec предлагают для комплексов из нескольких включенных в параллель ИБП режим Energy Saver. При его использовании в каждый конкретный момент времени работают только те ИБП, которые нужны для питания нагрузки, а остальные находятся в режиме ожидания. Когда потребляемая нагрузкой мощность возрастает, необходимый для выдачи дополнительных киловаттов ИБП мгновенно включается в работу. В Socomec считают, что этот режим идеально подходит для нагрузок, подверженных частым изменениям потребляемой мощности.

Еще один вариант, который позволяет добиться высокого КПД системы, – применение модульных ИБП. В этом случае максимальная загрузка ИБП обеспечивается путем поэтапного увеличения числа модулей. Например, как поясняет С. Щербаков из АРС, в модульной системе на 144 кВА в качестве избыточного может служить силовой модуль мощностью 16 кВА – это немногим более 10% мощности системы и не оказывает существенного влияния на КПД. Если же устанавливать в параллель две системы по 144 кВА, то для обеспечения резервирования необходимо, чтобы нагрузка каждой из них составляла порядка 70 кВА – 50% максимальной нагрузки. Если используемые ИБП не гарантируют высокий КПД при такой, половинной, загрузке, то эффективность комплекса существенно снизится.

Экорежим

Большинство современных онлайновых ИБП поддерживают экономичный режим, когда электроэнергия с входа ИБП через электронный байпас поступает непосредственно на выход (в этом случае источник работает фактически по офлайновой схеме). Но на практике его используют довольно редко, опасаясь возможной потери нагрузки при переключении с экорежима в режим двойного преобразования.

По мнению А. Вотановского из Emerson/Liebert, эти опасения во многом преувеличены, но небеспочвенны. Главная их причина – низкое качество питающих сетей, в результате чего ИБП может очень часто переключаться из экорежима в режим двойного преобразования и обратно. Каждое такое переключение связано хотя и с минимальным, но переходным процессом, поэтому многие заказчики отказываются от экономии, чтобы не подвергать ценную нагрузку даже гипотетической опасности. С технической точки зрения блоки питания ИТ-нагрузки, соответствующие европейским стандартам, должны компенсировать столь малые переходные процессы без каких-либо последствий для нагрузки.

При работе в экорежиме ИБП Emerson/Liebert подают питание на нагрузку через статический (электронный) байпас. Пока параметры сети находятся в заданных пределах, сетевое напряжение в этом режиме фильтруется пассивными фильтрами, а аккумуляторные батареи имеют возможность заряжаться. При возникновении каких-либо проблем с питанием источник немедленно возвращается в режим двойного преобразования. Быстрота переключения гарантируется высокоскоростным DSP-процессором, отвечающим за работу системы.

Частое переключение режимов ИБП при сильных колебаниях напряжения в сети называет в качестве причины отказа от использования экорежима и К. Соколов из компании «Абитех». Он считает, что этот режим не представляет опасности для работы нагрузки, допускающей колебания величины напряжения ± 10% и частоты ± (4–6)%. Специалист «Абитеха» приводит характеристики ИБП фирмы GE Digital Energy серий SitePro и SG: в них длительность переходного процесса в момент переключения с байпаса на инвертор составляет менее 2 мс, а прерывания питания нагрузки не происходит вообще, поэтому при их использовании опасения потери нагрузки неоправданны.

Об отсутствии какого-либо перерыва в питании нагрузки при переключении между режимами ИБП компании Chloride говорит ее менеджер

Анатолий Маслов

. Эта компания предлагает запатентованный адаптивный алгоритм, который учитывает множество параметров отказов входной сети за большой период времени (периодичность отказов, их длительность и др.). ИБП работает по байпасной или по инверторной линии в зависимости от результатов анализа качества сетевого питания, однако даже при работе по байпасной линии инвертор не выключается. Но, несмотря на эффективность данного алгоритма, в случае сильно искажающих нагрузок А. Маслов рекомендует использовать режим с двойным преобразованием.

В ИБП компании Socomec для экономичной работы реализовано несколько режимов. При работе в экорежиме время переключения в режим двойного преобразования – около 15 мс. Экорежим оправдан при подключении менее требовательных потребителей или в периоды, когда не требуется постоянное электропитание, например ночью. КПД источника в данном режиме – порядка 98%, а его недостатки – уже упомянутое время переключения и прохождение высших гармоник, генерируемых в питающей сети нелинейными нагрузками. Эти недостатки отсутствуют при работе в режиме Always on: в этом случае инвертор продолжает работать (значит, перерыва при переключении не возникает), выступая также в роли активного компенсатора гармоник. В результате на нагрузку поступает синусоидальный ток.

Покупать дорогостоящий ИБП для того, чтобы использовать его затем в режиме электронного байпаса, не совсем разумно, считает С. Щербаков из АРС. Связано это, в частности, с тем, что при работе через электронный байпас не будет осуществляться полная «очистка» входного напряжения, как это происходит при двойном преобразовании. Специалист АРС объясняет, что переключение ИБП этой компании из режима электронного байпаса в режим двойного преобразования означает включение инвертора, которое может сопровождаться пусть небольшим, измеряемым миллисекундами, но перерывом в электропитании. Более того, инвертор моментально загружается с 0 на 80–90% (если загрузка ИБП полная), что чревато провалом напряжения (до 5%) и может повлиять на работу нагрузки. В некоторых моделях ИБП компании АРС (MGE Galaxy) непрерывность переключения из обычного режима в режим электронного байпаса и обратно обеспечивается специальным алгоритмом синхронизации совместной работы байпасного и инверторного статических переключателей.

По словам

Дениса Андреева

, руководителя департамента ИБП компании Landata – дистрибьютора оборудования фирмы Eaton, выпускаемые ею в настоящее время ИБП имеют очень высокий КПД, поэтому не нуждаются в экорежиме. «Ранее ИБП Eaton серии 9150 (мощностью 8–15 кВА) и 9305 (8–80 кВА) поддерживали такой режим, но сегодня в российских условиях мы его практически не используем. Одна из главных причин – отсутствие полной защиты нагрузки в этом режиме. Да и качество напряжения в России довольно низкое, поэтому частые переключения между режимами способны привести к досрочному выходу из строя ИБП», – отмечает он.

К числу производителей, не поддерживающих экорежим, относится иизраильская компания Gamatronic. Учитывая тот факт, что большинство блоков питания современного оборудования имеют время удержания (hold up time) не менее 15 мс,

Арье Зафранский

, инженер-разработчик Gamatronic, допускает возможность применения этого режима. Но поскольку на практике встречается и более чувствительное оборудование, компания предлагает ориентироваться на схему с двойным преобразованием.


  


Производители ИБП уже предлагают немало энергосберегающих опций, и есть все основания полагать, что в ближайшее время развитие этих возможностей станет основным направлением их НИОКР. Выбор и грамотное использование экономичных функций во многом зависит от четкого ранжирования возможностей и потребностей разного оборудования. Скажем, низкоприоритетные системы вполне можно «посадить» на экорежим, тогда как критически важные оставить только на двойном преобразовании, запретив обслуживающим их ИБП переходить на экономичный вариант. Такой подход позволит сэкономить средства, гарантировав высокую степень готовности наиболее важной
аппаратуры.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!

Что учитывать при выборе источника бесперебойного питания

image

Источник бесперебойного питания важный элемент при построении сложных систем, где нужна гарантия безопасности от непредвиденных перебоев в энергоснабжении и других проблем в электросети. Под катом расскажем о том, какие критерии необходимо учесть при выборе ИБП.

Сейчас рынок забит множеством устройства отличающихся, как ценником, так и качеством. Разобраться во всем этом многообразии невероятно сложно. Если же бюджет ограничен, то нужно подходить к выбору максимально ответственно. Поэтому для начала стоит ответить себе на несколько вопросов:

— Насколько ответственное оборудование вы собираетесь защищать?

— Какое время автономной работы оборудования в случае пропадания напряжения будет оптимальным?

Дабы ответить на поставленные вопросы стоит разобраться с тем какие классы ИБП сейчас существуют, и определиться с основными критериями, которые нужно учитывать при выборе ИБП.

Классы ИБП

Классы, представленных на рынке ИБП, отличаются друг от друга поведением в разных режимах работы и схематикой. Выделяют:

— Резервные или off-line ИБП (BackUp),
— Линейно-интерактивные ИБП (Line-interactive),
— ИБП с двойным преобразованием (on-line, double-conversion).

Off-Line ИБП считаются наиболее простыми и неприхотливыми. В нормальном режиме работы от сети электричество поступает на вход такого “бесперебойника, а после транзитом подается на основную нагрузку. При возникновении неполадок сети (перепадов и потерь напряжения) ИБП автоматически переходит на работу от аккумулятора.

Недостатки такой схемы работы — это длительное переключение питания на аккумуляторы (от 4 до 10 миллисекунд). Кроме того при работе ИБП от аккумулятора на оборудование подается не привычный для сети синус, а аппроксимированный синус.

image

Следующий класс источников бесперебойного питания Line-interactive не имеет кардинальных отличий от схемы Off-line. В случае аварии питание также переключается на аккумулятора, а затрачивается на это аналогичные (от 4 до 10 миллисекунд). На выходе также получается аппроксимированный синус.

Однако в ИБП этого класса на входе присутствует трансформатор, благодаря которому удается компенсировать те самые перепады напряжения. Стоит подчеркнуть, что ИБП класса Off-line и Line-interactive не предназначены для подключения ответственного оборудования.

image

При подключении ответственного оборудования рекомендуется использовать ИБП с двойным преобразованием (double conversion) или On-line ИБП. Работа таких источников бесперебойного питания устроена так, что входящее напряжение выправляется благодаря выпрямителю. После этого инвертор преобразует постоянное напряжение в переменное. При такой схеме аккумуляторы подключены к выходу выпрямителя и входу инвертора, что обеспечивает мгновенный переход (0 миллисекунд) к работе от аккумулятора.

image

Оцените статью
GISEE.ru - Официальный сайт
Добавить комментарий