Обход блокировок и layer7

Обсуждение ПО и его настройки
ArtVAnt
Сообщения: 158
Зарегистрирован: 30 окт 2020, 15:00

Подскажите, пожалуйста, пока не очень понимаю как реализовать:
Сецчас обход блокировок ркн реализован списком нужных мне ДОМЕННЫХ ИМЕН в address list, далее mangle и т дв нужный туннель.
Почему доменов, а не ip? Пока что хочу так, т.к. в диапазоны ip попадает лишнее, адреса меняются чаще чем домены.

В общем назрел вопрос:
Очень много доменов вида scontent-frx5-1.xx.fbcdn.net, меняется только часть до .fbcbn.net
Очень много доменов виде scontent-frx5-2.cdninstagram.com , опять же меняется часть только до .cdninstagram.com.

В общем хочу для таких доменов использовать выражение типа *.fbcbn.net .
Собственно вопрос в корректности и правильности так делать, вопрос в правильности написания такого выражения, если можно пример для домена, указанного выше. И вопрос как сделать так, чтобы часть правил брались из address list, а часть из layer7. И не будет ли это все тормозить.


Аватара пользователя
hardrockbaby
Сообщения: 70
Зарегистрирован: 19 сен 2021, 16:11

Вроде L7 может работать только с незашифрованным трафиком, например https он уже не сможет обработать.
А с помощью BGP не пробовал реализовать?


ArtVAnt
Сообщения: 158
Зарегистрирован: 30 окт 2020, 15:00

hardrockbaby писал(а): 01 авг 2022, 21:41 Вроде L7 может работать только с незашифрованным трафиком, например https он уже не сможет обработать.
А с помощью BGP не пробовал реализовать?
По bgp - решение, которое подтягивает весь список ркн?) Нет, слишком много ненужного..
Меня и это устраивает, но вот список однотипных доменов бы сократить маской как-нибудь, чтобы не приходилось иногда добавлять что-то новое вруяную...


ArtVAnt
Сообщения: 158
Зарегистрирован: 30 окт 2020, 15:00

Ни у кого мыслей нет?)
Дело еще в том, что у hap ac2 не настолько много памяти, чтобы хранить большой список address list, было бы логичнее использовать маску домена вида *.instagram.com


Inner
Сообщения: 248
Зарегистрирован: 01 июл 2020, 16:02

ArtVAnt писал(а): 03 авг 2022, 14:01 Ни у кого мыслей нет?)
Дело еще в том, что у hap ac2 не настолько много памяти, чтобы хранить большой список address list, было бы логичнее использовать маску домена вида *.instagram.com
Не уверен, но вроде было в фаерволе что-то типа поля content. Возможно оно поможет, но честно сказать, я с ним не работал


ArtVAnt
Сообщения: 158
Зарегистрирован: 30 окт 2020, 15:00

Inner писал(а): 09 авг 2022, 23:31
ArtVAnt писал(а): 03 авг 2022, 14:01 Ни у кого мыслей нет?)
Дело еще в том, что у hap ac2 не настолько много памяти, чтобы хранить большой список address list, было бы логичнее использовать маску домена вида *.instagram.com
Не уверен, но вроде было в фаерволе что-то типа поля content. Возможно оно поможет, но честно сказать, я с ним не работал
Мысль конечно интересная, но это
"Совпадение пакетов, содержащих указанный текст, т.е. можно отлавливать какие-нибудь сообщения типа 404, 530 наверное и т д"
Т.е. немного не то, да и сколько ж это в итоге правил должно быть...


Proger125
Сообщения: 22
Зарегистрирован: 14 май 2022, 17:25

IP / FIREWALL / MANGLE (верх списка)
- создаем правило Prerouting, где src - ваша локалка, протокол: tcp, порт: 443;
вкладка Advanced - поле TLS host: *.host
вкладка Action - add dst to address list; addresslist - viaVPN; таймаут можно поставить 7 дней;

Комментарий: В address lists начнут динамически добавляться ip-шники и исчезать через неделю, потом опять появляться по мере необходимости. Самый первый раз открытие хоста сам хост в браузере не отобразит, но добавит в списки необходимые адреса. Повторный релоад страницы уже запустит настроенную маршрутизацию и отображение сайта. В последующем всё будет открываться с первого раза.
Последний раз редактировалось Proger125 13 авг 2022, 01:42, всего редактировалось 5 раз.


ArtVAnt
Сообщения: 158
Зарегистрирован: 30 окт 2020, 15:00

Proger125 писал(а): 12 авг 2022, 12:30 У меня есть свой успешный кейс по ряду хостов. LAYER 7 - не используется!
Рассмотрим пример инсты.

0. Настроенный и работающий сервер Wireguard, OpenVPN и т.д.

1. IP / FIREWALL / ADDRESS LISTS
- создаем список с именем, например, viaVPN; адрес хоста: instagram.com

2. IP / FIREWALL / MANGLE (верх списка)
- создаем первое правило Prerouting, где src - ваша локалка, протокол: tcp, порт: 443;
вкладка Advanced - поле TLS host: *.instagram.com;
вкладка Action - add dst to address list; addresslist - viaVPN; таймаут можно поставить 7 дней;

- создаем второе правило Prerouting, где src - ваша локалка, протокол: tcp, порт: 443;
вкладка Advanced - поле TLS host: *.cdninstagram.com;
вкладка Action - add dst to address list; addresslist - viaVPN; таймаут можно поставить 7 дней;

3. IP / FIREWALL / MANGLE (низ списка)
- создаем правило Prerouting, где src - ваша локалка; dst. address list: viaVPN
вкладка Action - route; Route Dst: IP сервера wireguard, openvpn и т.д.

Комментарий: маршрутизация до IP сервера wireguard, openvpn и т.д. должна быть настроена уже до этого момента. В address lists начнут динамически добавляться ip-шники и исчезать через неделю, потом опять появляться помере необходимости. Самый первый раз открытие хоста сам хост в браузере не отобразит, но добавит в списки необходимые адреса. Повторный релоад страницы уже запустит настроенную маршрутизацию и отображение сайта. В последующем всё будет открываться с первого раза.

Адреса CDN для TLS хостов можно смотреть здесь:
https://www.netify.ai/resources/applications/twitter
https://www.netify.ai/resources/applications/facebook

А можно достать один раз вручную из Wireshark мониторя TLS запросы с вашего девайса к нужному ресурсу.
Звучит очень даже интересно!
Вопрос только пока что по п.1 "адрес хоста: instagram.com" либо я туплю...
А зачем мы вообще первым пунктом создаём адрес лист, да еще и прописываем туда инстаграм. Ком , если далее у нас идет "add dst to address list; addresslist - viaVPN;" , который собственно и добавит адрес в лист.. или я что-то не так понял?

И данное решение добавит же именно ip адреса? Реально ли добавлять имена доменов?



Сейчас мой список для инсты, фейсбука и паре других выглядит вот так, причем все поддомены пришлось выцеплять и добавлять вручную, а они зачастую отличаются одной цифрой. Периодически появляются новые, но уже редко, приходится снова добавлять. Так-то этот список практически без изменений успешно работает с весны. Несколько раз только пришлось выявлять что-то новое.

Код: Выделить всё



/ip firewall address-list
add address=rutracker.org list=Rkn
add address=linkedin.cn list=Rkn
add address=linkedin.com list=Rkn
add address=www.linkedin.com comment=linkedin.com list=Rkn
add address=ru.linkedin.com comment=linkedin.com list=Rkn
add address=linkedinmobileapp.com list=Rkn
add address=rutracker.ru list=Rkn
add address=2ip.ru list=Rkn
add address=lib.rus.ec list=Rkn
add address=facebook.com list=Rkn
add address=cdninstagram.com list=Rkn
add address=ig.me list=Rkn
add address=instagram.com list=Rkn
add address=thefacebook.com list=Rkn
add address=fb.com list=Rkn
add address=m.facebook.com list=Rkn
add address=www.facebook.com list=Rkn
add address=facebook.com.vn list=Rkn
add address=www.facebook.com.vn list=Rkn
add address=fb.me list=Rkn
add address=bbc.com list=Rkn
add address=www.instagram.com list=Rkn
add address=www.ig.me list=Rkn
add address=youtube.com disabled=yes list=Rkn
add address=www.youtube.com disabled=yes list=Rkn
add address=ytimg.com disabled=yes list=Rkn
add address=www.ytimg.com disabled=yes list=Rkn
add address=googlevideo.com disabled=yes list=Rkn
add address=www.googlevideo.com disabled=yes list=Rkn
add address=youtu.be disabled=yes list=Rkn
add address=www.youtu.be disabled=yes list=Rkn
add address=m.youtube.com disabled=yes list=Rkn
add address=www.m.youtube.com disabled=yes list=Rkn
add address=ru-ru.facebook.com list=Rkn
add address=www.ru-ru.facebook.com list=Rkn
add address=fbcdn.net list=Rkn
add address=fbsbx.com list=Rkn
add address=tfbnw.net list=Rkn
add address=m.beta.facebook.com list=Rkn
add address=touch.beta.facebook.com list=Rkn
add address=s.fb.com list=Rkn
add address=m.fbjs.facebook.com list=Rkn
add address=facebook.com.es list=Rkn
add address=www.fbjs.facebook.com list=Rkn
add address=facebook.fr list=Rkn
add address=embed.fbsbx.com list=Rkn
add address=attachment.fbsbx.com list=Rkn
add address=lookaside.fbsbx.com list=Rkn
add address=web.facebook.com list=Rkn
add address=messenger.com list=Rkn
add address=secure.facebook.com list=Rkn
add address=secure.my-od.facebook.com list=Rkn
add address=www.my-od.facebook.com list=Rkn
add address=xx.fbcdn.net list=Rkn
add address=static.xx.fbcdn.net comment=flashtalking.com list=Rkn
add address=graph.facebook.com list=Rkn
add address=api.facebook.com list=Rkn
add address=scontent-frt3-2.xx.fbcdn.net list=Rkn
add address=scontent-frx5-1.xx.fbcdn.net list=Rkn
add address=scontent-frt3-1.xx.fbcdn.net list=Rkn
add address=star.c10r.facebook.com list=Rkn
add address=scontent-frx5-2.xx.fbcdn.net list=Rkn
add address=watch.facebook.com list=Rkn
add address=video.xx.fbcdn.net list=Rkn
add address=video-frt3-2.xx.fbcdn.net list=Rkn
add address=video-frx5-2.xx.fbcdn.net list=Rkn
add address=video-frt3-1.xx.fbcdn.net list=Rkn
add address=video-frx5-1.xx.fbcdn.net list=Rkn
add address=connect.facebook.net list=Rkn
add address=graph.instagram.com list=Rkn
add address=scontent-frt3-1.cdninstagram.com list=Rkn
add address=scontent-frt3-2.cdninstagram.com list=Rkn
add address=scontent-frx5-1.cdninstagram.com list=Rkn
add address=scontent-cdt1-1.cdninstagram.com list=Rkn
add address=scontent-hel3-1.cdninstagram.com list=Rkn
add address=scontent-iad3-2.cdninstagram.com list=Rkn
add address=scontent-frx5-2.cdninstagram.com list=Rkn
add address=i.ytimg.com disabled=yes list=Rkn
add address=platform.linkedin.com comment=linkedin.com list=Rkn
add address=static-exp1.licdn.com list=Rkn
add address=trkn.us list=Rkn
add address=instagram.frix7-1.fna.fbcdn.net list=Rkn
add address=yt3.ggpht.com disabled=yes list=Rkn
add address=content.linkedin.com list=Rkn
add address=scontent.flwo2-1.fna.fbcdn.net list=Rkn
add address=scontent.fiev2-1.fna.fbcdn.net list=Rkn
add address=scontent-arn2-1.xx.fbcdn.net list=Rkn
add address=scontent.fhel3-1.fna.fbcdn.net list=Rkn
add address=scontent.fbru1-1.fna.fbcdn.net list=Rkn
add address=scontent.fphx1-2.fna.fbcdn.net list=Rkn
add address=scontent.flux1-1.fna.fbcdn.net list=Rkn
add address=instagram.fsvq4-1.fna.fbcdn.net list=Rkn
add address=scontent-cph2-1.cdninstagram.com list=Rkn
add address=instagram-p42-shv-02-lga3.fbcdn.net list=Rkn
add address=fwdproxy-cln-018.fbsv.net list=Rkn
add address=instagram.fhel5-1.fna.fbcdn.net list=Rkn
add address=po102.psw03.hel3.tfbnw.net list=Rkn
add address=edge-star-mini-shv-01-hel3.facebook.com list=Rkn
add address=ae44.pr01.arn1.tfbnw.net list=Rkn
add address=po105.psw02.arn2.tfbnw.net list=Rkn
add address=star-mini.c10r.facebook.com list=Rkn
add address=attachment.fbsbx.comedge-star-mini-shv-01-arn2.facebook.com list=Rkn
add address=po101.psw03.hel3.tfbnw.net list=Rkn
add address=download.lenovo.com list=Rkn
add address=nnmclub.to list=Rkn
add address=edge-star-mini-shv-01-arn2.facebook.com list=Rkn
add address=msgr-latest.c10r.facebook.com list=Rkn
add address=gateway.facebook.com list=Rkn
add address=instagram.fmct2-3.fna.fbcdn.net list=Rkn
add address=instagram.flim1-3.fna.fbcdn.net list=Rkn
add address=instagram.fyei6-2.fna.fbcdn.net list=Rkn
add address=instagram.fyei1-1.fna.fbcdn.net list=Rkn
add address=instagram.fgbb2-1.fna.fbcdn.net list=Rkn
add address=scontent-lcy1-2.cdninstagram.com list=Rkn
add address=instagram.fbsr6-2.fna.fbcdn.net list=Rkn
add address=instagram.fsdv2-1.fna.fbcdn.net list=Rkn
add address=instagram.flst6-3.fna.fbcdn.net list=Rkn
add address=instagram.fbgw41-2-3.fna.fbcdn.net list=Rkn
add address=instagram.fmxp5-1.fna.fbcdn.net list=Rkn
add address=instagram.fsaw2-1.fna.fbcdn.net list=Rkn
add address=instagram.fman4-2.fna.fbcdn.net list=Rkn
add address=external.xx.fbcdn.net list=Rkn
add address=video.cdninstagram.com list=Rkn
add address=instagram.fill1-1.fna.fbcdn.net list=Rkn
add address=instagram.fsxb1-1.fna.fbcdn.net list=Rkn
add address=instagram.flej1-1.fna.fbcdn.net list=Rkn
add address=instagram.flhe5-1.fna.fbcdn.net list=Rkn
add address=instagram.fotp3-2.fna.fbcdn.net list=Rkn
add address=instagram.fedi1-1.fna.fbcdn.net list=Rkn
add address=instagram.fgyd9-1.fna.fbcdn.net list=Rkn
add address=instagram.fbah3-1.fna.fbcdn.net list=Rkn
add address=instagram.fcai10-1.fna.fbcdn.net list=Rkn
add address=instagram.fasr1-2.fna.fbcdn.net list=Rkn
add address=instagram.fadb1-1.fna.fbcdn.net list=Rkn
add address=instagram.fcmn3-1.fna.fbcdn.net list=Rkn
add address=instagram.frba2-1.fna.fbcdn.net list=Rkn
add address=instagram.frix5-1.fna.fbcdn.net list=Rkn
add address=instagram.fyei4-1.fna.fbcdn.net list=Rkn
add address=instagram.fevn6-1.fna.fbcdn.net list=Rkn
add address=instagram.fdsa2-1.fna.fbcdn.net list=Rkn
add address=instagram.fbey11-1.fna.fbcdn.net list=Rkn
add address=instagram.fdsa2-2.fna.fbcdn.net list=Rkn
add address=instagram.fdel27-1.fna.fbcdn.net list=Rkn
add address=instagram.fcac5-1.fna.fbcdn.net list=Rkn
add address=instagram.fphl1-1.fna.fbcdn.net list=Rkn
add address=instagram.fcai3-2.fna.fbcdn.net list=Rkn
add address=instagram.fesb4-1.fna.fbcdn.net list=Rkn
add address=instagram.fadb3-1.fna.fbcdn.net list=Rkn
add address=instagram.fplu33-1.fna.fbcdn.net list=Rkn
add address=instagram.fcmn2-1.fna.fbcdn.net list=Rkn
add address=instagram.fkhi27-1.fna.fbcdn.net list=Rkn
add address=instagram.fdel14-1.fna.fbcdn.net list=Rkn
add address=instagram.fcai19-2.fna.fbcdn.net list=Rkn
add address=instagram.fvno1-1.fna.fbcdn.net list=Rkn
add address=instagram.fruh4-6.fna.fbcdn.net list=Rkn
add address=fna.fbcdn.net list=Rkn
add address=scontent-amt2-1.xx.fbcdn.net list=Rkn
add address=external-ams4-1.xx.fbcdn.net list=Rkn
add address=scontent.xx.fbcdn.net list=Rkn
add address=scontent-ams4-1.xx.fbcdn.net list=Rkn
add address=instagram.fpnq16-1.fna.fbcdn.neinstagram.fpnq16-1.fna.fbcdn.net \
list=Rkn
add address=instagram.fjed4-3.fna.fbcdn.net list=Rkn
add address=instagram.fist6-2.fna.fbcdn.net list=Rkn
add address=instagram.fhfa1-1.fna.fbcdn.net list=Rkn
add address=instagram.fgzt3-1.fna.fbcdn.net list=Rkn
add address=instagram.fcai21-3.fna.fbcdn.net list=Rkn
add address=instagram.fbom40-1.fna.fbcdn.net list=Rkn
add address=instagram.fbio3-1.fna.fbcdn.net list=Rkn
add address=instagram.fbgw41-3.fna.fbcdn.net list=Rkn
add address=instagram.fbgw41-1.fna.fbcdn.net list=Rkn
add address=instagram.fakx1-1.fna.fbcdn.net list=Rkn
add address=instagram.fada2-1.fna.fbcdn.net list=Rkn
add address=fburl.com list=Rkn
add address=internalfb.com list=Rkn
add address=scontent-waw1-1.cdninstagram.com list=Rkn
add address=i.instagram.com list=Rkn
add address=fb.watch list=Rkn
add address=microsoft.com disabled=yes list=Rkn
add address=www.microsoft.com disabled=yes list=Rkn
add address=az725175.vo.msecnd.net disabled=yes list=Rkn
add address=c.s-microsoft.com disabled=yes list=Rkn
add address=web.vortex.data.microsoft.com disabled=yes list=Rkn
add address=ajax.aspnetcdn.com disabled=yes list=Rkn
add address=e13678.dscb.akamaiedge.net disabled=yes list=Rkn
add address=netnod-ix-ge-g-sth-1500.akamai.com disabled=yes list=Rkn
add address=akamaitechnologies.com disabled=yes list=Rkn
add address=akamaiedge.net disabled=yes list=Rkn
add address=twitter.com list=Rkn
add address=ton.local.twitter.com list=Rkn
add address=abs-0.twimg.com list=Rkn
add address=twimg.com list=Rkn
add address=analytics.twitter.com list=Rkn
add address=scontent-ams4-1.cdninstagram.com list=Rkn
add address=scontent-amt2-1.cdninstagram.com list=Rkn
add address=instagram.fllk1-4.fna.fbcdn.net list=Rkn
add address=instagram.ftzl2-1.fna.fbcdn.net list=Rkn
add address=scontent-mxp2-1.cdninstagram.com list=Rkn
add address=scontent-mxp2-1.xx.fbcdn.net list=Rkn
add address=video-ams4-1.xx.fbcdn.net list=Rkn
add address=video-amt2-1.xx.fbcdn.net list=Rkn
add address=video-mxp2-1.xx.fbcdn.net list=Rkn
add address=scontent-arn2-2.xx.fbcdn.net list=Rkn
add address=scontent-arn2-1.cdninstagram.com comment=\
scontent-mxp2-1.xx.fbcdn.net list=Rkn
add address=scontent-arn2-2.cdninstagram.com list=Rkn
add address=saverudata.net list=Rkn
add address=instagram.fmji2-1.fna.fbcdn.net list=Rkn
add address=instagram.fevn6-3.fna.fbcdn.net list=Rkn
add address=instagram.ftse2-1.fna.fbcdn.net list=Rkn
add address=instagram.ftbs10-1.fna.fbcdn.net list=Rkn
add address=instagram.fala6-1.fna.fbcdn.net list=Rkn
add address=instagram.falg7-2.fna.fbcdn.net list=Rkn
add address=instagram.fbud6-3.fna.fbcdn.net list=Rkn
add address=instagram.fdiy1-2.fna.fbcdn.net list=Rkn
add address=instagram.ffec5-1.fna.fbcdn.net list=Rkn
add address=instagram.fist2-3.fna.fbcdn.net list=Rkn
add address=instagram.fyei6-5.fna.fbcdn.net list=Rkn
add address=scontent-mxp1-1.cdninstagram.com list=Rkn
add address=instagram.fmad8-1.fna.fbcdn.net list=Rkn
add address=instagram.fsah2-1.fna.fbcdn.net list=Rkn
add address=instagram.famm10-1.fna.fbcdn.net list=Rkn
add address=instagram.fdtm2-1.fna.fbcdn.net list=Rkn
add address=instagram.fevn6-4.fna.fbcdn.net list=Rkn
add address=instagram.ftia9-1.fna.fbcdn.net list=Rkn
add address=edelivery.oracle.com list=Rkn
add address=oracle.com list=Rkn


Proger125
Сообщения: 22
Зарегистрирован: 14 май 2022, 17:25

Вопрос только пока что по п.1 "адрес хоста: instagram.com" либо я туплю...
А зачем мы вообще первым пунктом создаём адрес лист, да еще и прописываем туда инстаграм. Ком , если далее у нас идет "add dst to address list; addresslist - viaVPN;" , который собственно и добавит адрес в лист.. или я что-то не так понял?
Тут всё просто. Это точка входа. Первый запрос к домену и он должен уже уметь ходить по туннелю. Там не всегда первый запрос сразу с TLS. Есть разные приложения, мобильные решения и т.д. Поэтому первый шаг должен быть прописан статикой.

И вот когда он откликнется, то посыпятся динамические CDN с запросами TLS, которые мы будем отлавливать по ip и кидать в лист.

Список будет сам динамически расширяться-сокращаться.

У вас большой список доменов. Мой способ мне позволяет на каждый ресурс указать всего по паре правил *.CDN. И всё, этого достаточно. И разумеется можно забыть про апдейты, как у вас. Их больше не потребуется. Это законченное решение.
Последний раз редактировалось Proger125 13 авг 2022, 01:44, всего редактировалось 2 раза.


ArtVAnt
Сообщения: 158
Зарегистрирован: 30 окт 2020, 15:00

Proger125 писал(а): 12 авг 2022, 15:13 У вас большой список. Мой способ мне позволяет на каждый ресурс указать всего по паре CDN. И всё, этого достаточно. И разумеется можно забыть про апдейты, как у вас. Их больше не потребуется. Это законченное решение.
так, по первому пункту понял, опять же, точки входа мы должны определить как для мобильной версии, основной и приложения. +/- будет одно и то же скорее всего, кроме m.instagram.com, например.

По паре cdn.. хм, очень интересная реализация, обязательно попробую!
Почему именно 7 дней? Там адреса вроде не так часто меняются. Можно и подольше держать. Тут еще вопрос как часто заметно, что с первого раза что-то не загрузилась, если адреса нужного нет..?


Ответить