Аренда блока IPv4-адресов на текущий момент - самый простой и быстрый способ получить возможность вывода своих ресурсов в сеть Интернет.

Цена на аренду блока адресов находится на уровне 24 тыс руб/мес. включая НДС.

Причем важно отметить - аренда подсети возможна как из блока крупного оператора, так и малой независимой сети минимального размера (/24 или 256 адресов). 

Важно учесть, что аренда из крупного блока вполне возможно будет сопровождаться необходимостью покупки других услуг (покупки трафика, необходимости размещения в дата-центре или покупки облачных ресурсов). Для крупного оператора гораздо интереснее «догрузить» клиента хорошим списком дополнительных услуг с высокой маржинальностью.

Скорее всего, в случае аренды сети из блока вы не сможете анонсировать эту сеть независимо от её владельца, например, с другими аплинками. Проговаривайте и проверяйте этот аспект ДО заключения договора аренды.

Аренда сетей у розничных, небольших операторов выглядит как более опасный, но на самом деле, вполне может оказаться более выгодным:

• Без навязанных дополнительных услуг

• Малые операторы строят бизнес именно на этой услуге, то есть будут стараться её поддерживать максимально долго

• Вполне могут оказать дополнительные консультации, без дополнительной оплаты: настройка нужных объектов в RIPE, советы по сетевому взаимодействию, советы по опыту работы в глобальной сети.

Как долго ещё будут требоваться IPv4 адреса?

Видимо, ещё довольно долго. 

Основная проблема - вы не можете отключить IPv4 адреса пока не сформирована критическая масса клиентов на IPv6 адресах. 

Если внимательно посмотреть статистику Google:

https://www.google.ru/intl/en/ipv6/statistics.html

можно заметить, что переход на IPv6 стал замедляться, но при этом сейчас в мире - чуть менее половины клиентов могут работать с IPv6 (45%). «Чуть менее половины» - это примерно каждый второй посетитель сайта может работать с IPv6, то есть половина - нет.

Готовы вы потерять половину посетителей своих ресурсов? Ну, решайте сами.

Критическая масса, видимо, возникнет, когда будет хотя бы 80-85% пользователей на IPv6. 

Ещё раз обратите внимание на график - с июля 2023 года переход фактически остановился.

Думаю, что с точки зрения перехода на IPv6 пространство впереди нас ждёт самый сложный период. Быстро не будет.

Сети связи - одна из самых старых в IT-сфере областей и литературы по теме есть великое множество.

Но что именно почитать в качестве системного подхода?

Сайты производителей (Cisco, Juniper) читать сложно - слишком много информации, и всё про настройку и частные случаи. Документы (стандарты) RFC - ещё хуже, база, но слишком сложная для восприятия.

Есть издательство, стоящее особняком - Cisco Press. Их литература по сетям, считаю, - наиболее систематизированная, понятная, логичная, фундаментальная.

Сайт CiscoPress.com (из РФ сейчас недоступно)

Издательство - альянс производителя оборудования Cisco Systems и крупнейшего издательства учебной литературы Pearson, авторизованное издание Cisco.

Cisco Press издаёт как общую (базовую, фундаментальную) литературу по теме, так и специализированную - для подготовки непосредственно к экзаменам Cisco.

Разумеется, лучше читать на языке оригинала.

Но существуют и их книги на русском языке - в начале 2000х издательство выпускало переведенные на русский язык книги Cisco Press. Сейчас их можно найти на Avito или барахолках, но однозначно - книги до сих пор не потеряли свою ценность.

Технологии изменились не слишком сильно, книги по основам сетевых технологи актуальны до сих пор.

Да, бесспорно, книги для подготовки к экзаменам Cisco, изданные в 2002 году, сейчас уже совершенно потеряли свою актуальность и по ним подготовиться к сдаче экзамена уже просто не получится - экзамен с тех пор слишком сильно изменился.

Но книги по базовым технологиям актуальны и на сегодняшний день.

Как минимум, вот эти две:
- Создание масштабируемых сетей Cisco., 2002, ISBN 5-8459-0307-6
- Руководство по технологиям объединённых сетей 3-е издание, 2002, ISBN 5-8459-0228-2

Ищите на барахолках. Это не только библиографическая редкость, но и вполне доходчивые книги по сетевым технологиям.

TeleGeography (by telecomEgypt)

Каждый год рисуют красивую карту в разных вариантах. В 2024 актуальная Submarine Cable Map 2024

FiberAtlantic.com

Удобная искалка по названию кабельной линии + информация о владельцах.

Submarine Cable Map

Undersea Telecommunication Cables

Карта на базе Google Maps.
Не знаю чьё авторство. Можно посмотреть конкретные кабельные системы поверх карт Google.

Undersea Telecommunication Cables

Uptime Institute

Uptime Institute - независимая коммерческая организация, занимающаяся исследованиями в области дата-центров, разработкой стандартов, обучением специалистов, аудитом и сертификацией дата-центров в области надежности и отказоустойчивость. Основана и штаб-квартира - США, 1993г.

Аудит и аттестация производится на основании Tier Standard - системы классификации, определяющей уровни надежности дата-центра.

Надо отметить, что сертификация дата-центра НЕ ГАРАНТИРУЕТ полную отказоустойчивость. Она лишь показывает, что при проектировании дата-центра были максимально учтены все рекомендации по его надежности. Таким образом, мы говорим о том, что “сертифицированный ЦОД имеет меньшую (много меньшую) вероятность отказа, чем не-сертифицированный”.

Отказать может и сертифицированный ЦОД. При этом ЦОД без сертификата может работать много лет без единого сбоя. Во многом, это вопрос вероятности.

Уровни и этапы сертификации Tier

Всего существует четыре уровня надежности Tier (от I до IV) и в каждом из них - три этапа (Milestone) - Design Documents, Constructed Facility, Operational Sustainability.

То есть дата-центр Tier III может быть аттестован по трём этапам.

Уровни Tier

Каждый следующий уровень включает в себя требования всех предыдущих.

Tier I - низший уровень. Выделенное пространство (серверная комната), кондиционер для охлаждения, ИБП, дизель-генератор. Выключение любого одного устройства (ИБП, кондиционер, распределительный щит,…) - ведёт к полной остановке работы. Если технически имеется несколько однотипных устройств (например, кондиционеры), то при выключении одного кондиционера мощности оставшихся недостаточно для нормальной работы. Обслуживание без отключения IT-нагрузки невозможно.

Tier II - есть избыточные компоненты, повышающие надежность и дающие возможность проведения технического обслуживания и работ по повышению запаса прочности. Например, дублирующий кондиционер или второй ИБП, способные полностью взять на себя полную нагрузку. Но, например, при этом только один дизель-генератор. Обслуживание каждого отдельного элемента не влияет на работу IT-нагрузки. Требует отключения IT-нагрузки при выполнении некоторых процедур обслуживания.

Tier III - дата-центр не требует никаких отключений IT-нагрузки для обслуживания или замены каждого отдельного компонента инженерных систем. Отказ компонента полностью покрывается избыточной мощностью других компонентов.

Tier IV - к Tier III добавляется концепция устойчивости инфраструктуры. То есть, при возникновении проблем с какой-то частью инфраструктуры (даже не отдельного её компонента), вся инфраструктура продолжает работать и выполнять свои функции. Можно говорить о полном дублировании всех инженерных систем.

Сертификация по уровням Tier I , Tier II не проводится, хотя это возможно. UptimeInstitute готов это сделать. Вопрос стоимости. Главное чтобы коллеги не засмеяли.

Наиболее популярный уровень - Tier III, так как он выполняет все необходимые функции для обеспечения бесперебойной работы всего оборудования.

Tier IV - наивысший (на сегодняшний день, начало 2024 года) уровень надежности. Адресован крупным корпоративным клиентами, банкам, биржам, финансовым организациям и тд.

Разумеется, строительство дата-центра каждого следующего уровня дороже предыдущего. И, кажется, что кратно дороже.

Как ни странно, строительство ЦОД уровня Tier IV всего лишь на 10-20% дороже по отношению к Tier III.

Этапы сертификации

Design Documents - сертификация проекта. Проще говоря - проверка бумаги. Оценка того, насколько нарисованный проект соответствует требованиям Tier по отказоустойчивости.
Дорогой, сложный процесс, итерационный для устранения замечаний. Однако, это всего лишь оценка проекта. Ещё ни один гвоздь может быть не вбит, ни одна лопата не воткнута в землю, а сертификат уже есть.

Constructed Facility - проверка соответствия того, что построено, тем проектам, которые прошли этап Design Docs. Это реальные проверки физического оборудования, тестирование под нагрузкой как все переключения должны отрабатывать и тд. Можно выполнить и с “живыми клиентами”, но лучше до первого заселенца - на случай, если что-то пойдёт не так. Проверять будут многократными переключениями.

Operational Sustainability - проверка того, как эксплуатируется то, что было построено и проверено, на основании проектной документации, прошедшей сертификацию. Проверка проектов, инструкций, журналов как для обычного режима эксплуатации, так и для аварийных режимов. Проверка знаний и натренированности дежурных, инженеров, менеджеров, руководителей дата-центра, их способности обеспечивать беззбойную эксплуатацию. Высший пилотаж.

НЕ ПУТАТЬ с уровнями интернет-операторов! Оператор TIER I - это высший уровень оператора связи - магистральный операторов мирового масштаба. Тут всё ровно наоборот. Но и это не про надёжность.

Допустимое время простоя в часах и процентах

Я уже писал статью о том, что хвалёная надежность “три девятки”, то есть 99,999% - выглядит внушительно. С другой стороны, это абсолютно легитимная возможность вообще не работать примерно 1 час в год (51 минуту). Расчёты тут.

До 2008 года использовались показатели надежности в процентах и часах (минутах) допустимого простоя в год:

Однако, с 2008 эти параметры не используются, так как не отражают реальной сути термина “надежность” и “отказоустойчивость” для дата-центра. Например, дата-центр уровня Tier III вообще не подразумевает безнаказанно выключаться на полтора часа в год.

Кратковременный (относительно) сбой системы электроснабжения дата-центра Гознак 30 ноября 2023 года привел к восстановительным работам на VK-облаке, длительностью почти неделю.

Один раз мигнуть электричеством на несколько секунд = неделя работы админам и ещё несколько недель менеджерам.

Обратная сторона этих данных - как бы официальное разрешение для дата-центра Tier III отключаться на полтора часа в год, а для Tier IV на 26 минут. В реальности дата-центр не должен отключаться вообще никогда.

С 2008 года нельзя ссылаться на время простоя сертифитированного по Tier дата-центра как на допустимое. Забудьте.

Как проверить

1. Сайт UptimeInstitute.com, раздел Awards (проще сразу гуглить UptimeInstitute Awards - на сайте сложно найти) - список всех дата-центров, прошедших сертификацию Tier.

2. Запросить документы у самого дата-центра. В документах должно быть явно указано когда именно проводилась сертификация, и что именно было аттестовано (вплоть до номера зала).

При некоторых обстоятельствах в общем списке можно не найти нужный вам дата-центр - некоторые ЦОДы в общем списке скрываются. Тогда попросите прислать прямую ссылку. Если сертификат есть, то прямая ссылка быть должна.

Кстати, на сайте UptimeInstitute.com публикуются не только результаты аттестации дата-центров, но также и список специалистов (инженеров, администраторов, управленцев), прошедших обучение и сдавших экзамены Институту.

Жульничество

1. Сертификат выдаётся строго на тот ЦОД, и даже на тот машинный зал, который был представлен к аттестации. Частая история - построить один зал, его сертифицировать, а потом построить ещё несколько “по шаблону”. Так вот, сертифицированным будет только первый зал.
   Причина проста - стоимость. Сертификация каждого следующего зала - это время, деньги, работа инженеров.
   Если вы просите подтверждающие документы, просите точно указать какой именно зал имеет сертификат.

2. Аттестация не того этапа. Сравнивайте обещания (какой именно этап сертификации) и что написано в документах.
   Если говорят, что “сертифицирован по Tier III” - спрашивайте какой этап (проектная документация, реализация, процессы эксплуатации) и сравнивайте с тем, что написано в документах.

3. “Соответствует требованиям Tier III”. То есть, сертификата нет, но ЦОД “соответствует”. Так вот НЕ соответствует. Если официального подтверждения нет, то правильно говорить “мы искренне надеемся, что соответствует, но никто это не проверял”.

4. Дробные уровни. Например Tier II+. Или Tier 2.5. Это прямой обман. Стандарты сертификации Tier прямо запрещают указывать промежуточные, дробные уровни, повышающие коэффициенты и тд. Если вам пытаются такое продать - это прямой обман и нарушение стандартов.
   Сертификат выдаётся по уровню самой слабой, ненадёжной системы ЦОДа. Именно самое “слабое звено” определяет общий уровень Tier.

Процесс сертификации Tier - не просто осмотр или консультация. Это долгий (несколько месяцев), тяжелый труд инженеров, глубокие проверки, несколько этапов устранения замечаний и совершенно негарантированный результат.

Поверьте, те кто прошёл эту сертификацию - будет гордиться своим достижением.

Зачем

Федеральный Закон 31.07.2023 № 406-ФЗ вносит изменения в закон “О связи” и закон “Об информации, информационных технологиях и о защите информации”, начинает действовать с 1 декабря 2023 года.

Суть: существующих хостинг-провайдеров надо пересчитать путём их самостоятельного добавления в реестр хостинг-провайдеров (РХП), новые будут проходить довольно сложную процедуру запуска. Реестр запускается 1 декабря 2023, до 15 декабря все хостинг-провайдеры должны самовнестись.

Кому надо

Всем компаниям, которые предоставляют услуги хостинга. Не только тем, кто размещает сайты (это самое простое), но вообще всем, кто предоставляет свои вычислительные мощности (ресурсы) для других клиентов - виртуальные машины, облака, докеры, базы данных, место на дисках - все.

Аналогично СОРМу, не важно с кем вы работаете - с физическими, юридическими лицами, индивидуальными предпринимателями - никакой роли это не играет. Предоставили кому-то мощности - всё, вы хостер, поздравляю.

Даже если вы очень маленькая компания и предоставляете три вирталки с 1с-кой на своём сервере трём другим компаниям, я бы всё равно рекомендовал зарегистрироваться в качестве хостинг-провайдера. Причины:

• сейчас вы можете относительно просто пройти эту процедуру, потом запустить хостинг будет сложнее;

• не понравится - скажете, что прекратили такую деятельность, услуги не оказываете;

• вы же планируете развиваться дальше?

Где регистрироваться

Портал заявителей Роскомнадзора тут: https://service.rkn.gov.ru

Непосредственно раздел для регистрации хостинга тут: https://service.rkn.gov.ru/monitoring/rph

Инструкция по заполнению заявки тут: https://service.rkn.gov.ru/docs/manualRhp.pdf

Если что-то не получается - пишите на мыло поддержки help_rhp@noc.gov.ru. Это мыло есть в инструкции, но кто ж до конца читает-то?!

Вход в портал для заполнения заявки - через ЭЦП организации или через ЕСИА.

Что нужно подготовить

При заполнении данных вам потребуется:

• адрес расположения ваших вычислительных ресурсов + геокоординаты

• адрес подключения интернета + геокоординаты

• диапазон IP-адресов, используемых для хостинга

• номер автономной системы (если пользуетесь адресами провайдера спросите у него номер или посмотрите в RIPE)

• данные сколько у вас вычислительных ресурсов: штук ядер процессоров, штук гигов оперативной памяти, штук гигов дискового пространства

• номер договора и дата заключения с аплинком (провайдером интернета)

Вроде бы, основное всё.

Перед началом заполнения прочитайте инструкцию от начала до конца - будет легче заполнять.

Процесс заполнения

Первый раз это должно занять что-то около часа. Пока разберетесь, пока заполните, пока научитесь ошибки искать.

Если в каком-то поле выскакивает ошибка (например, в координатах) - попробуйте убрать знаки препинания, спец-символы и тд.

Рекомендация: после заполнения каждого блока в карточке нажимайте “сохранить”. Так проще искать ошибки и меньше заполнять по второму разу.

Для доступа к разделу заявлений нужно пользователю портала добавить права “Реестр провайдеров хостинга”. Без этого не поедет. Возможно, надо будет выйти, потом снова авторизоваться.

Дальше в карточку и вперед заполнять.

На самом деле, в официальной инструкции всё довольно понятно описано, по шагам.

Ошибки портала

Да, регулярно и с удовольствием оно падает:

Ждёте пол-часа и пробуете снова. Или пишете в поддержку.

Либо вот такое:

Скорее всего, тут ошибка в каком-то из блоков. Именно поэтому лучше всего нажимать “Сохранить” после заполнения каждого блока. Или пишите в поддержку.

После заполнения нажимаете “отправить на проверку”. Должно отобразиться что-то типа “на проверке с такого-то времени”.

Как будто пока всё.

На 04 декабря 2023 Роскомнадзор похвастался, что одобрено аж 16 заявок, а ещё 40 начали заполнение (то есть, видимо, надо считать, что заявки были отправлены на проверку, а затем возвращены на доработку. Немного, прямо скажем…

Проблема.

В последние годы фиксировалась крайне высокая активность колл-центров, специализировавшихся на вымогательстве денег и других преступлениях. Термин «телефонные мошенники» уже стал обыденным, причем справиться с этим явлением не получалось никакими методами. Даже, казалось бы, самые «подготовленные» граждане нередко становились жертвами (Мошенники выманили у сотрудника Казначейства России 14,5 млн рублей)

Суть в том, что борьба с мошенниками осложнялась двумя вещами:

1. Технически в России можно было выполнить подключение к сетям операторов телефонной связи и выполнять исходящие звонки с номеров любого другого российского оператора. Это проблема подмены номера. Технически существовали средства запрета вызовов с любых номеров, но они применялись крайне редко.

2. Некоторые, в том числе крупные операторы связи в РФ считали, что прибыль важнее, чем борьба с мошенничеством и поэтому часто закрывали глаза на  нелегитимный телефонный трафик.

В обоих случаях найти мошенников было крайне сложно. А если такой колл-центр располагался зарубежом - просто невозможно.

Особенно ситуация осложнилась после весны 2022 года. 

Решение

Для решения проблемы были приняты постановления 1978 и 1979 Правительства РФ, устанавливающие требования системе обеспечения соблюдения операторами связи требований при оказании услуг связи и услуг по пропуску трафика в сети связи общего пользования.

Фактически - документы, на основании которых должна быть разработана и запущена в эксплуатацию система противодействия мошенническому графику (Антифрод).

Разработчик

Разработкой ГИС «Антифрод» занимется российский разработчик «Гарда Технологии». Компания была основана в 2018 году на базе отделения информационной безопасности «МФИ Софт». 

Сама ГИС должна была функционировать на базе решений Гарда, связанных между собой VPN-сетями VIPnet. Причем практика показала, что подключить такой VPN-туннель (по крайней мере, на ранних стадиях внедрения системы) можно было только с помощью интегратора «Бастион». Все остальные интеграторы, продававшие решения VIPnet на тот момент, просто не знали что такое «VPN для системы Антифрод».

Суть решения

Система «Антифпрод» работает независимо от основной инфраструктуры телефонной связи. Фактически это параллельная система, никак не зависящая от самой сети телефонной связи, кроме пограничных АТС, установленных на границах операторов связи. 

На пограничных АТС операторов телефонии (на тех, которые обеспечивают присоединения между разными операторами друг к другу) включается функционал проверки каждого вызова.

Все пограничные АТС всех операторов связаны между собой системой Антирод, позволяющей выполнить проверку вызова в момент его установления и принять решение пропустить такой вызов или нет.

Как это работает

1. Оператор (1) телефонной связи, НА номера которого выполняется попытка установления вызова, фиксирует номер С которого идёт вызов, номер, НА который идёт вызов и время установления соединения.

2. Оператор (1) через систему Антифрод отправляет запрос на проверку такого вызова оператору (2) - которому принадлежит телефонный номер инициатора (Напомню, телефонный номер принадлежит всегда строго одному оператору. Реестр номеров и принадлежности их операторам ведётся Минцифрой https://opendata.digital.gov.ru/registry/numeric/)

3. Система Антифрод через свою инфраструктуру отправляет запрос оператору (2) о том, фиксируется ли в его сети такой исходящий вызов.

4. Оператор (2) отвечает системе Антифрод - подтверждает легитимность вызова или формирует ответ о том, что такого исходящего вызова не фиксируется.

5. Система Антифрод формирует ответ Оператору (1) - либо  Accept (можно принять вызов), либо Reject (рекомендация отклонить вызов). 

6. Оператор (1) получает ответ от системы и принимает решение о пропуске или отклонении вызова.

Особенности

• Оператор (1) может пропустить вызов, несмотря на ответ системы о запрете, но в этот момент начинается ответственность оператора в отношении пропуска нелегитимного графика.

• Ответ от ГИС “Антифрод” оператору (1) должен поступить не позднее 500 миллисекунд (0.5 секунды) с момента начала прохождения вызова. В противном случае вызов считается легитимным.

• Влияние работы сети Интернет никак не регламентируется, кроме установления задержки на ответ в 500 сек. То есть стабильность работы интернет-сети вполне может влиять на работу системы Антифрод.

• Все нелегитимные вызовы (и пропущенные, и отклонённые) - фиксируется, по каждому вызову формируется инцидент, по которому проводится проверка Роскомнадзора.

Процесс внедрения

На ноябрь 2023 года ГИС “Антифрод” уже внедрена у всех операторов сотовой связи. В активной стации процесс внедрения для всех остальных российских операторов, вплоть до региональных, самых малых операторов.

Учитывая то, что функционал системы для крупных операторов и для малых существенно различается: всё ещё в России есть масса небольших компаний, оказывающих услуги телефонной связи на базе старых АТС, не обладающих “от рождения” нужным функционалом аутентификации вызова. То есть такие АТС в принципе невозможно подключить ни к своей разработке, ни воспользоваться сторонней.

Однако, позиция Роскомнадзора проста: никаких исключений. Не можешь обеспечить функционирование - уходи с рынка.

Кроме того, фактически, разработка и внедрение системы происходят параллельно. Из-за этого имеем огромное количество проблем, как следствие, увеличение сроков внедрения.

Работает ли система

Как ни странно - да.

В апреле 2023 сообщалось, что система заблокировала 135 млн мошеннических вызовов, в июне 2023 - уже 265.

По субъективным данным - да, количество “левых” звонков заметно сократилось.

Штрафы за невнедрение

С сентября 2023 Роскомнадзор начал рассылать операторам связи уведомления о возможных штрафах за срыв сроков внедрения системы. Размер штрафа колеблется от 50 тыс рублей для должностных лиц до 1 млн рублей для организации.

Крайний срок внедрения системы - март 2024 года. К этому моменту система должна полностью функционировать без исключений для всех операторов РФ. Однако, для каждого оператора установлен свой, персональный срок внедрения, поэтому и штрафы можно получить существенно раньше.

Проверяем исходные данные

ГРЧЦ вообще не морочится проверками источников, поэтому регулярно присылает петли до сетей Германии, или до автономных систем в Лондоне.

Поэтому первое что делаем - внимательно проверяем какой стране принадлежат сеть и автономная система. 90% проблем завершаются на этом этапе.

Зафиксирован инцидент:

Prefix: 81.19.134.0/24

Path: [12722,1299,24875,207967]

Проверяем:

inetnum: 81.19.134.0 - 81.19.134.255

org: ORG-IIL35-RIPE

country: DE

Ответным письмом:

Прошу разъяснить что нам делать: указанный префикс - Германия…

На сегодняшний день ни одного вразумительного разъяснения на такой вопрос мы не получали. Отреагировать - отреагировали, дальнейших указаний не получали. Задача выполнена.

Тут на самом деле может быть множество вариантов:

- префикс взяли в аренду, в РАНР указали как российский, в RIPE - как немецкий (кстати, это классический split-brain информации);

- автономная система зарубежная, но анонсируемые префиксы - российские;

и так далее.

Проверяем где реально находится целевая AS

Фокус в том, что удалённая AS вполне может находиться зарубежом. Много нашли случаев, когда сети - российские, автономка - российская, а единственный аплинк у неё - в Лондоне. Например, наши хостеры взяли и уехали в далёкий дата-центр. И ничего ничему тут не противоречит. Нет такого указания, что российские сети не могут из Лондона анонсироваться. Так что пусть ЦМУ ССОП разъясняет.

Проверяем аплинка

На всякий случай проверьте маршрут от вас до целевых сетей. Весьма частая ситуация, что оператор выглядит зарубежным, а контракт у вас с российским юрлицом.  И тут снова не ваша проблема, так как ваш трафик не выходил за территорию России. Пусть обращаются к аплинку.

У нас, как правило, к этому моменту 98% проблем отпадают по предыдущим проверкам.

Проверяем префикс в таблице маршрутизации

Проверки выполнены, префикс действительно честный. Что ж, пробуем найти его в своей таблице маршрутизации. Если находится - отдельный prefix-list с повышенным local-pref для подобных маршрутов. У нас нашёлся один такой оператор, через которого мы принудительно принимаем маршруты с повышенным local pref.

Если префикса от российских операторов нет

И такое может быть. Какой-нибудь южно-уральский НИИ имеет в аплинках только условного РТ, с которым у нас прямого стыка нет и маршрут видится только через зарубежных аплинков. Крайне редко, но бывает. Ну что ж, тут надо что-то придумывать. Например, можно написать «Как это так?! Такой большой оператор, а использует своё монопольное положение….» 

Итого, получается, что фактические действия необходимо предпринимать примерно в 2-5% случаев получения сообщения о петле через зарубеж. Всё остальное на самом деле - не ваши проблемы. Но это надо явно указать.

Фиксация обращений

На 99% обращений ЦМУ ССОП не реагирует вообще никак. Бог им судья. Фиксируйте все номера инцидентов, все даты писем и ответов в отдельно табличку. Потом можно будет в каком-нибудь письме добавить «спасибо, а также ждём от вас ответов по инцидентам NN …, …, …, …).

Юридические основания

А вот тут самое интересное: в каждом таком письме ЦМУ ССОП ссылается на приказ 224 от 31 июля 2019 года. В приказе чёрным по белому в первом абзаце написано «…Настоящие Правила маршрутизации сообщений электросвязи в случае осуществления централизованного управления сетью…».

Вопрос в том, что у нас пока не вводилось централизованного управления сетью. Этот режим вообще предусмотрен для случая активного вмешательства извне в работу сети Рунета. 

Кстати, когда у РКН спрашиваешь «можно ли снять собственную фильтрацию по префиксам РКН, так как мы ТСПУ поставили?», РКН отвечает «ууууу, нет конечно - это на случай централизованного управления…».

Так что в случае возникновения каких-либо претензий, первое что надо сделать - позвать юриста и попросить реквизиты документа, на основании которого централизованное управления таки было введено.

Запись: Аренда сети IPv4-адресов, читать

Как оператору связи сегодня получить хотя бы минимальную сеть IPv4 адресов?

Подсеть это сколько?

Давайте сразу отметим, что минимальная сетка - это 256 адресов или сеть /24.

Нет, чисто технически можно получить и меньшую сеть, но анонсировать в мир через ваших аплинков её будет крайне затруднительно, я бы даже сказал невозможно.

Причина проста - это хоть какая-то защита от переполнения таблицы маршутизации. На сегодняшний день в глобальной таблице около 900 тыс уникальных маршрутов. И при этом уже редко, но всё же ещё встречаются маршуртизаторы с аппаратным ограничением 1 млн маршрутов.

Поэтому операторы на своих стыках используют административное ограничение - сети, меньше чем /24 не принимаются.

Исчерпание адресного пространства

В 2019 году RIPE выделил последнюю подсеть из пула свободных адресов. То есть адреса закончились совсем. Вообще совсем.

https://www.ripe.net/manage-ips-and-asns/ipv4/ipv4-pool

Однако, до сих пор остаётся вариант получения через RIPE сети /24.

Вариант 1: LIR-статус в RIPE

Напрямую конечным клиентам RIPE не предоставляет никаких услуг. Для этого существуют его «представители» - LIR-ы, которым RIPE выделяет диапазоны адресов, а уже LIR-ы распределяют эти адреса по своим конечным клиентам.

LIR-ом может быть как оператор связи, так и любое другое юридическое лицо.

Стать LIR-ом можно через заявку на сайте RIPE
https://www.ripe.net/participate/member-support/become-a-member

Стоит это EUR1550 за первичную регистрацию и далее EUR1000 ежегодная плата.

https://www.ripe.net/participate/member-support/payment

После получения статуса LIR вы можете подать заявку на выделение вам подсети IPv4 адресов.

После этого надо подождать очередь примерно 400 дней и сеть ваша!

Посмотреть график очереди LIR-ов на получение адресов можно тут:
https://www.ripe.net/manage-ips-and-asns/ipv4/ipv4-waiting-list

То есть, вам нужно потратить минимум EUR2550 + накладные расходы + подождать год, месяц плюс ещё немного и сеть /24 ваша. Вероятно.

Вариант 2: купить

На рынке действительно есть возможность купить сеть практически любого размера. Вам нужен IPv4-брокер. 

Кстати, сам RIPE у себя на сайте ведёт реестр IP-брокеров:

https://www.ripe.net/manage-ips-and-asns/resource-transfers-and-mergers/brokers

Текущая стоимость покупки адресов - примерно USD 50-60 за 1 IP-адрес. То есть минимальная сеть 256 адресов будет стоить USD 12,800 - USD 15,360. Но скорее всего ещё дороже. Тут как сторгуетесь.

Вариант 3: арендовать блок адресов

Хороший вариант для решения срочных проблем, но плохой для построения долгосрочного бизнеса. 

Адреса в аренду сегодня в России можно найти за сеть /24 в диапазоне 12000-36000 руб/мес. Но рынок дикий, цены «с потолка», долгосрочной защиты клиента никакой, самое главное - стоимость, которая может непредсказуемо резко вырасти в любой момент. Что, разумеется, тут же отразится на вашей себестоимости.

Вариант 4: купить интернет-провайдера

Вполне возможный вариант - поглощение операторского или хостинг-бизнеса. Если компания уже работает и уже оказывает услуги в Сети, то, возможно, у неё действительно есть пул адресов.

Способ действенный, но очень важно проконтролировать что именно входит в предложение о продаже - адреса должны быть прописаны прямым текстом, с точным указанием всех диапазонов.

Важно понимать:

• Арендованные это адреса или свои

• Какими договорами обеспечивается их работа

• В каком LIR находятся на обслуживании

• Как давно был выполнен последний трансфер (напомню - трансфер возможен только раз в два года)

Лучше всего блоки адресов сразу перевести на подконтрольный LIR.

А то рискуете оказаться в ситуации, когда вы купили кучу клиентов и сервисов, а айпишники - нет.

И потом такую проблему решать невероятно сложно.

Итоги

Итого, сейчас всё таки существует несколько законных способов получения сетей IPv4-адресов. Все они - дорогостоящие, сложные, долгие.

Переход на IPv6 адресацию идёт, но пока вы не пожете 100% полноценно работать в сети только на IPv6, без использования IPv4 (ну, если только в своих технологических целях). 

Статистика Google показывает, что уже 45% трафика приходится на IPv6-диапазон. Но эта же статистика говорит, что 55% ваших клиентов не смогут воспользоваться вашими услугами, если это только IPv6.

https://www.google.ru/intl/en/ipv6/statistics.html

За последние 10 лет в этом вопросе очень многое изменилось. Но всё равно - пока далеко не всё. До критической массы, нужной для полного перехода, ещё очень далеко.

Теперь вы знаете почему аренда одного адреса стоит “так дорого” )

Опубликовано: 18.09.2023Обновлено: 18.09.2023

До 2023 года деятельность хостинг-провайдеров не являлась лицензируемым видом деятельности. Роскомнадзор выпускал отдельное разъяснение по этому поводу.

Кто такой хостинг провайдер?

Методика определения хостинг-провайдера опеределена в 2021 году постановлением 1836 от 27 октября 2021 года. Срок действия методики - 6 лет, то есть до октября 2027 года.

Функции по идентификации хостинг-провайдеров возложены на Федеральную службу по надзору в сфере связи, информационных технологий и массовых коммуникаций - на Роскомнадзор.

Методика определяет, что хостинг-провайдер - лицо (физическое или юридическое), обеспечивающее размещение информации в сети Интернет и при этом удовлетворяющее хотя бы одному следующему условию:

1. осуществляет обработку сведений о пользователях, находящих на территории Российской Федерации;

2. получает денежные средства от пользователей, находящихся на территории РФ;

3. размещает на своих информационных ресурсах информационные ресурсы и/или программы пользователей, принадлежащих лицам, находящимся на территории РФ.

Да, фактически под эту методику подходит почти любой ресурс в сети Интернет. Методика вызывает массу вопросов, даёт предельно размытый алгоритм определения, мало того, касается граждан иностранных государств (так как в методике фигурирует положение “…находящийся на территории РФ…”, а не “…гражданин РФ…”.

Попробуйте сами прочитать и осознать текст методики - это не совсем тривиальная задача.

Как зарегистрироваться в реестре хостинг-провайдеров?

Пока никак. На Консультанте сейчас можно найти документ “Правила направления провайдером хостинга уведомления…”, но документ без реквизитов (без даты, номера и тд). То есть, пока ещё не действующий, пока проект.

Какие требования к российскому хостинг-провайдеру?

1. Нужно являться российским юридическим лицом с долей капитала не менее 50% должно принадлежать гражданам РФ без двойного гражданства. Иностранное участие должно быть менее 50%.

2. Нужно иметь реальный адрес в ЕГРЮЛ (офис, сотрудники, все дела).

3. Необходимо соответствовать требованиям Минцфиры по защите информации. Причем эти требования ещё и должны будут быть согласованы с ФСБ (пока нет нормативной базы).

4. Технические средства (сервера) должны находиться на территории РФ.

Какие технические требования?

1. Использовать национальную систему доменных имён.

2. Физически располагаться на территории РФ

3. Участвовать в учениях по обеспечению устойчивого рунета.

4. Обеспечивать функционирование СОРМ (ни решения, ни нормативной базы пока нет, но будет).

5. Оказывать услуги только лицу, прошедшему идентификацию в соответствии с установленным порядком (напомню, Федеральный закон 406-ФЗ вводит четыре допустимых вида аутентификации пользователей: мобильный телефон / ЕСИА / ГосБиометрия / иная система аутентификации)

Кстати, обратите внимание: никаких запретов “иностранных емейлов” 406-ЗФ не вводит. Email в этом законе вообще не фигурирует - ни российский, ни иностранный. Просто email не является необходимым и достаточным параметром для аутентификации пользователя.

Текущий итог

В общем, пока (18 сентября 2023) ничего конкретного делать не обязательно. Ждём реестра.

Очень желательно начинать приводить свои бизнес-процессы к целевым: хотя бы ввести аутентификацию с помощью мобильного телефона, посмотреть структуру собственников, подумать про место размещения серверов.

Вопросов больше чем ответов

Да, действительно, каждый документ, имеющий отношение к регулированию хостинга в России вызывает огромное количество вопросов. Некоторые:

• А что будет с иностранным хостингом? Будут блокировать? Особенно, с учётом желания Роскомнадзора “приземлить” в России крупнейшие зарубежные хостинговые площадки. Так это бОльшую части Интернета надо заблокировать…

• А что если у меня половина хостинг-компании в России, а половина - нет?

• А что делать с клиентами, не имеющими российского гражданства? Например с северными корейцами?

• А что если я - владелец зарубежного хостинг-провайдера? Сервера - “там”, контора - “за периметром”, но сайт русскоязычный и я принимаю деньги от клиентов, находящихся на территории РФ?…
  …..
  ….
  …

Если задуматься

А если задуматься, то получается, что российский хостинг принудительно делят на внутриросссийский и зарубежный. И если раньше вся выручка от вообще всех клиентов поступала в российское юрлицо, то теперь часть этой выручки осядет на зарубежных счетах и уже вряд ли попадёт в российскую финансовую систему.

Вот вам и суверенизация Интернета. Вот вам и разделение по географическому признаку.

Как-то так мне это видится.

Традиционное представление

Что такое коэффициент PUE и как он рассчитывается рассматривали в статье “PUE – коэффициент эффективности ЦОД”.

Кратко - это отношение общей электрической энергии, потребляемой дата-центром, к количеству энергии, потребленной вычислительными мощностями (серверами, размещенным оборудованием).

Фактически, PUE не может быть равен единице, так как даже обычный вентилятор, используемый для обдува оборудования, потребляет какую-то электроэнергию, соответственно увеличивает знаменатель дроби (общее потребление ЦОДа).

В предельном случае, когда отсутствуют хоть какие-то системы охлаждения, освещения, технического контроля PUE равен единице - когда северное оборудование размещается на улице. Тогда да, работают только сервера, других затрат энергии нет.

Но в жизни крайне сложно представить дата-центр, в котором оборудование, как минимум чувствительное к осадкам, размещается просто на улице.

Таким образом, короткий ответ - нет, PUE не может быть меньше единицы.

Всё таки может ли быть PUE меньше единицы?

Теперь следите за руками, начинается магия.

Сам коэффициент эффективности PUE придуман для контроля эффективности работы оборудования. То есть, фактически, для снижения финансовых затрат работы ЦОДа.

То есть, мы не нарушим никакой логики, если представим PUE как финансовую величину, а не как физическую (в конце-концов, в этом её смысл).

Допустим, ваш дата-центр потребляет всего 750 кВт, а размещенное оборудование - 500 кВт электричества.

PUE = 750 / 500 = 1.5

Допустим, вы покупаете электричество по 7 руб за 1 кВт/час.

Тогда потребление вашего ЦОДа в деньгах:

750 * 24 часа * 30 дней * 7 руб/кВт = 3 780 000 руб/мес.

Потребление оборудования:

500 * 24 * 30 * 7 = 2 520 000 руб/мес.

Тогда выполняется равенство:

PUE = 750 / 500 = 3 780 000 / 2 520 000 = 1.5

И вот тут произошёл тот самый переход, который даёт нам дополнительные возможности.

В любом дата-центре есть есть холодная зона - где работают системы охлаждения оборудования, и горячая зона - там, где стоят ответные части системы охлаждения. То есть внешние радиаторы. Горячие внешние радиаторы.

И вообще, общий смысл ЦОДа без учёта вычислений как полезной работы - большая электрическая грелка.

Самая дорогая грелка из всех возможных (водяной, газовой, угольной, дровяной и тд). Но грелка!

И вы за это тепло УЖЕ заплатили!

Тогда возникает вопрос: а можно ли продать это тепло?

То есть смотрите: происходит магия в знаменателе дроби - там появляется отрицательная величина (выручка от продажи тепла)

PUE = (P общ. ЦОДа - P проданного тепла) / P выч. оборудования

И в этом случае мы получаем саму теоретическую возможность существования PUE ниже единицы

Практический смысл

Одно дело - теория, совсем другое - практическая реализация.

Проблематика отвода созданного тепла в ЦОДе весьма сложная, так как получаемое тепло - низкотемпературное (30-40 градусов) и преобразовать его реально полезное крайне сложно.

Кроме того, почти невозможно согласовать использование такого тепла с ресурсоснабжающими организациями. То есть вам просто не дадут, например, установить систему преднагрева холодной воды для бизнес-центра с использованием теплообменников с водой из ЦОДа, даже несмотря на общее стремление к экономии природных ресурсов: выручка есть выручка, прибыль есть прибыль.

Также крайне серьёзная проблема - превратить тепло внешних блоков кондиционеров в “мокрое” тепло, то есть тёплую воду, которую можно транспортировать на относительно большие расстояния. Тёплый воздух транспортировать многократно сложнее.

Реализация

И всё таки техническая реализация возможна.

1. тёплые полы, тепловые завесы, обогреваемые парковки - не требуют согласований

2. экономия энергоресурсов, выраженная в деньгах, достигнутая с помощью таких решений - вполне может быть использована как вычитаемое в числителе расчёта PUE

3. возможна установка тепловых счётчиков на трубопроводы тёплой воды, что есть прямой путь к оценке стоимости такого тепла

Наиболее близко по техническому решению к целевой задаче приближены ЦОДы жидкостного охлаждения, где сервера полностью опущены в ванну с непроводящей жидкостью. Температура такой ванны - около 40 градусов. И это сразу - “мокрое” тепло, то есть жидкий теплоноситель, который очень удобно использовать для передачи тепла на значимые расстояния.

При этом, затраты на обеспечение работы технических систем в таких ЦОДах “от рождения” довольно низкие - жидкостные насосы и вентиляторы внешних радиаторов потребляют крайне мало электроэнергии по сравнению с компрессорами холодильных систем.

То есть изначально малые затраты на охлаждение + возможность продажи тепла или экономии от его использования определяют возможность реального создания технических систем с коэффициентом PUE меньше единицы.

Правда, с одним ограничением - если PUE выражен в деньгах.