CSR312 2шт + CSR326 2шт или как я компанию на микротики переводил

[TikMikroTik]

Собираю инфраструктуру почти с нуля. Есть сервера с ESXI и СХД на NFS между которыми должно быть 10Г и несколько вланов, они подключены к портам CSR312.
Гигабитные CSR326 взяли для подключения сегментов сети в виде дешманских тплинков, дликов и прочих аруб и асусов в аксессе и конечных устройств.
Соединены все 4 микрота между собой своими SFP 10Г портами, LACP не делал.
Маршрутизацию между вланами сразу планировали делать на виртуальном OPNsense, проброшенном через транк портгруппу двсвича на всфере.
CSR312 по идее должны работать чисто на уровне L2, но что-то хреново.

Вначале нужно было как-то сочленить работающую инфраструктуру где всё в 1 влане, а на микротах я ведь хочу много вланов и везде транки.
Долго пришлось мудохаться чтобы прописать все вланы на бриджах, поправить портгруппы на работающих и новых ESXI чтобы все видели друг друга.
И наконец-то ... барабанная дробь ... включил vlan-filtering и все продолжили друг друга видеть.
Наступает момент тестирования и всё ... iperf через CRS312 в любом направлении 150-180мб, даже через 326-е 500-600 и cpu0 - 100%
Ната нет, фаервола нет, днс и дхцп нет, hw offloading везде включён, L2HW вкл выкл - без разницы, были ip адреса на вланах для управления - удалил и всё равно нихрена, скорость черепашья.
Подскажите пожалуйста кто сталкивался

[gmx]

https://mikrotik.com/product/crs312_4c_ ... estresults

Все в норме...

[Erik_U]

Собираю инфраструктуру почти с нуля. Есть сервера с ESXI и СХД на NFS между которыми должно быть 10Г и несколько вланов, они подключены к портам CSR312.
...
Наступает момент тестирования и всё ... iperf через CRS312 в любом направлении 150-180мб, даже через 326-е 500-600 и cpu0 - 100%
Ната нет, фаервола нет, днс и дхцп нет, hw offloading везде включён, L2HW вкл выкл - без разницы, были ip адреса на вланах для управления - удалил и всё равно нихрена, скорость черепашья.
Подскажите пожалуйста кто сталкивался

обратите внимание. Между чипом коммутатора и процессором - 1 Гбит/сек
ROS - это ПО, которое установлено на эту железку, и выполняется на процессоре. Пакеты для обработки этим ПО поступают по каналу 1 Гбит/сек, по нему же возвращаются обработанные.
Если вы виланы настроили в разделе бридж, то пакеты обрабатываются процессором.
Настраивайте все в разделе свич. Если вам нужна скорость на Л2.

[TikMikroTik]

Большое спасибо, пойду курить как делать вланы на свиче

[TikMikroTik]

Можете подсказать, есть ли способ промониторить когда трафик идёт через чип свича а когда заворачивается на CPU?

[Erik_U]

Я этого не делал никогда, на первый взгляд, вероятно, в свич-сеттинг можно настроить зеркалирование, в том числе и порта свич-цпу.
А потом на зеркале смотреть сниффером, чего и сколько пролетает при работе.

Но это не точно.
Плюс у меня CRS125, у него другой чип и другое содержимое в меню свич.

[gmx]

Большое спасибо, пойду курить как делать вланы на свиче

Всегда помните, что микротик - это все Router OS, софт, а не железо. Все "железные" возможности - это как приложение к основному функционалу. Иными словами, нужно быть очень осторожным при использовании всех возможностей ROS. Настроили свич чип, все отлично, ну и забылось как-то. Завтра вы просто добавляете одно очень нужное правило в фаерволл. Ну мало ли, понадобилось до жути. И все заработает. Но ros молча отключит аппаратный свичинг и перейдет на центральный процессор. И все, скорости больше нет. Ну, и потом, какой смысл покупать микротик, если потом не пользоваться всеми возможностями ros? Поэтому, если это ядро сети и нужны скорости, близкие к 10G, то надо менять железо, а микротик переместить в более подходящее место.

[Erik_U]

У CRS312 двойная загрузка.
Попробуйте, может быть под управлением SwOS микротик станет просто коммутатором, и у него не будет проблем со скоростью.

[TikMikroTik]

Наверное победил. Получаю почти честные 10Г от хостов ESXI до СХД в бенчмарке ХДД внутри ВМ. Ключевые насколько я понимаю 3 вещи: L3HW, Switch all ports и MVRP

[Erik_U]

Можете подробнее рассказать? Особенно про MVRP?