Требования к сетевому оборудованию

На каждом физическом узле (сервере) AIC должно быть установлено не менее 2-х двух-портовых 10 ГБит Ethernet-адаптеров, предназначенных для передачи управляющего трафика и трафика виртуальных машин.

В каждом сервере должен быть установлен BMC (Base Management Controller) контроллер с поддержкой технологии IPMI (Intelligent Platform Management Interface). Один порт Ethernet BMC контроллера должен быть доступен для подключения к выделенной сети управления.

Примеры реализации BMC для различных производителей серверного оборудования:

Производитель	Технология на основе IPMI
Cisco	IMC — Integrated Management Controller
DELL	iDRAC — Integrated Dell Remote Access Card
HP	iLO –– Integrated Lights-Out
IBM	IMM –– Integrated Management Module
Lenovo	IMM –– Integrated Management Module
Oracle	ILOM –– Integrated Lights Out Manager
Supermicro	SIM –– Supermicro Intelligent Management
Yadro	OpenBMC –– Open Base Management Controller

Для обеспечения отказоустойчивости в системе применяется агрегация линков с использованием протокола LACP (Link Aggregation Control Protocol). При этом необходимо использовать 2 коммутатора, распределяя линки агрегатов между ними.

Рекомендуется выделить отдельный коммутатор(ы) для сетей IPMI. Достаточная скорость интерфейсов — 1 Гбит/с.

На отдельные коммутаторы рекомендуется вынести сети доступа к системам хранения данных (СХД) — Ceph External/Storage и Ceph Internal.

Количество портов используемых коммутаторов определяется доступностью оборудования и экономической целесообразностью. Разумно заложить портовую емкость с учетом планируемого развития AIC.

При использовании внешних iSCSI (Internet Small Computer System Interface) хранилищ требуется установка дополнительных Ethernet-адаптеров для сети передачи данных. Рекомендуемое минимальное количество портов для подключения к iSCSI хранилищу –– 2. Рекомендуемая минимальная скорость подключения –– 10Гбит/с на порт.

При использовании программно-определяемой СХД, такой как Ceph, требуется установка дополнительных Ethernet-адаптеров для сети передачи данных. Рекомендуемое минимальное количество портов для подключения к хранилищу –– 2. Рекомендуемая минимальная скорость подключения –– 10Гбит/с на порт. Для высоконагруженных систем рекомендуемая скорость подключения — 40Гбит/с.

При высоких требованиях к производительности СХД может потребоваться оборудование более высокого класса производительности.

Предупреждение

Не допускается передача данных сети хранения (iSCSI, Ceph и пр.) по сетевым интерфейсам, используемым для передачи управляющего трафика и трафика виртуальных машин.

Все подключения, кроме подключения в BMC выполняются с использованием 2-х интерфейсов в режиме bonding. Для повышения производительности и отказоустойчивости необходимо использование протокола LACP. Интерфейсы должны быть подключены попарно к отдельным коммутаторам.

Со стороны сетевого оборудования требуется поддержка следующих протоколов и технологий:

• 802.1q (VLAN — Virtual Local Area Network) — используется для создания логических сетей внутри физической сети. Позволяет разделить большую сеть на несколько небольших, каждая из которых может быть настроена для определенных приложений или сервисов. Это позволяет эффективно управлять трафиком и обеспечивать безопасность данных;

• VXLAN (Virtual eXtensible Local-Area Network) — технология инкапсуляции исходных Ethernet кадров в IP/UDP пакеты. Используется для создания логических сетей поверх существующей высокоскоростной IP сети ЦОД либо нескольких ЦОД с целью обеспечения сетевой связности конечных сетевых устройств на втором уровне модели OSI. VXLAN позволяет создать до 16 миллионов логических сетевых сегментов по сравнению с технологией 802.1q (VLAN), где количество сегментов не может превышать 4096. Может потребоваться при развертывании AIC в режиме федерации или в случае необходимости построения комплексной сети;

• VRRP (Virtual Router Redundancy Protocol) — используется для обеспечения отказоустойчивости и высокой доступности в сетях. Он позволяет создать виртуальный маршрутизатор, который объединяет несколько физических маршрутизаторов в единую систему. Если один из физических маршрутизаторов выходит из строя, VRRP автоматически переключает трафик на другой маршрутизатор, обеспечивая непрерывность работы сети. Протокол VRRP также позволяет управлять конфигурацией маршрутизаторов и обновлять их в режиме реального времени. Поддержка VRRPможет потребоваться при разворачивании сервисов в высокодоступной (HA–HighAvailable) конфигурации;

• BGP (Border Gateway Protocol) — используется при создании AIC, состоящей из нескольких зон доступности (availability zone). Позволяет обеспечить эффективное распределение трафика между различными облачными ресурсами и дата-центрами. Также используется для обеспечения высокой доступности и отказоустойчивости облачной инфраструктуры. Например, если один из дата-центров выходит из строя, BGP автоматически перенаправляет трафик на другие доступные дата-центры, что позволяет минимизировать время простоя и обеспечить непрерывность работы приложений;

• MP-BGP (многопротокольный BGP) — протокол динамической маршрутизации с поддержкой EVPN адресации, используемой в VXLAN сетях для распространения маршрутной информации. Также используется для обеспечения высокой доступности и отказоустойчивости сети облачной инфраструктуры за счет анонса и получения маршрутной информации по нескольким линиям связи и возможности автоматического переключения маршрутов в случае сбоев. Например, если один из дата-центров выходит из строя, BGP автоматически перенаправляет трафик на другие доступные дата-центры, что позволяет минимизировать время простоя и обеспечить непрерывность работы приложений;

• STP (Spanning Tree Protocol) –– используется для приведения сети Ethernet с множественными связями к древовидной топологии. Происходит это путем автоматического блокирования ненужных в конкретный момент времени для полной связности портов. Если в сети используется STP, сетевое оборудование должно поддерживать этот протокол для предотвращения петель в топологии;

• LACP (Link Aggregation Control Protocol) — используется для агрегации сетевых интерфейсов (портов), сетевое оборудование должно поддерживать LACP;

• QoS (Quality of Service) — Если важна приоритетность трафика, сетевое оборудование должно поддерживать QoS-механизмы для управления пропускной способностью и задержкой;

• VRF — технология, позволяющая на базе одного физического маршрутизатора создать несколько виртуальных. У каждого виртуального маршрутизатора можно определить свой набор сетевых интерфейсов, таблицу маршрутизации и прочие параметры. Используется для логического и административного разделения сетей на третьем уровне модели OSI;

• PIM — семейство протоколов, используемых для построения маршрутизации многоадресных (мультикаст) IP-пакетов. Используется в сетях VXLAN для распространения broadcast, unknown-unicastи multicast трафика;

• OSPF (Open Shortest Path First) или IS-IS — протоколы динамической маршрутизации, используемые для распространения маршрутной информации и нахождения кратчайшего либо наиболее приоритетного пути прохождения IP-пакетов от источника до назначения.

Примечание

Вопрос организации сети требует отдельного проектирования.