در ده سال اخیر دیتاسنترها و حتی شبکه‌های پردیس عوض شده‌اند. به‌جای چند سرور فیزیکی، صدها و هزاران ماشین مجازی و کانتینر روی تعداد محدودی host نشسته‌اند و بیشتر ترافیک دیگر شمال–جنوب (کاربر به سرور) نیست، بلکه شرق–غرب است: سرور با سرور، اپلیکیشن با دیتابیس، backup با storage. شبکه‌ای که بر پایه VLAN و Spanning Tree ساخته شده، برای این دنیا طراحی نشده بود.

در این راهنما سیسکو VXLAN را از پایه تا اجرا با هم مرور می‌کنیم: اینکه دقیقاً چه مشکلی را حل می‌کند، پکتش بایت‌به‌بایت چه شکلی دارد، underlay و overlay چه فرقی دارند، چرا امروز همه سراغ BGP EVPN می‌روند، Anycast Gateway و Symmetric IRB چطور کار می‌کنند، Multi-Site و اتصال دو دیتاسنتر چطور ساخته می‌شود، روی کدام Nexus و Catalyst با چه لایسنسی اجرا می‌شود، کانفیگ کامل leaf و spine، عیب‌یابی از پایین به بالا، و در آخر اینکه چطور از شبکه قدیمی بدون قطعی به فابریک VXLAN مهاجرت کنیم. همه اعداد و تصاویر از منابع رسمی سیسکو است: Configuration Guideها، Verified Scalability Guide، White Paperها و اسلایدهای Cisco Live.

اگر قبلاً مطلب آشنایی با سیسکو NX-OS را خوانده‌اید، اینجا لایه بعدی همان داستان Nexus است. تصویر بزرگ‌تر SDN و ACI را هم در مطلب سیسکو SDN ببینید.

آشنایی با سیسکو VXLAN ؛ از محدودیت VLAN تا فابریک overlay

VXLAN چیست و از کجا آمد؟

Virtual eXtensible LAN یا همان VXLAN یک فناوری overlay است: یک شبکه لایه ۲ مجازی را روی یک شبکه لایه ۳ معمولی می‌سازد. ایده‌اش ساده است؛ فریم اترنت اصلی را برمی‌دارد، یک هدر ۸ بایتی VXLAN جلویش می‌گذارد، بعد همه را داخل UDP و IP می‌فرستد. سیسکو به این روش می‌گوید MAC-in-UDP. نتیجه اینکه می‌توانید یک VLAN منطقی را روی یک هسته کاملاً IP، حتی بین دو ساختمان یا دو دیتاسنتر، بکشید، بدون اینکه کل هسته را به یک دامنه بزرگ لایه ۲ با STP تبدیل کنید.

یک تشبیه ساده: underlay یک بزرگراه IP است و هر فریم اترنت یک محموله. VXLAN محموله را داخل یک کانتینر استاندارد می‌گذارد، برچسب VNI رویش می‌زند و آدرس فرستنده و گیرنده را روی کانتینر می‌نویسد. سوئیچ‌ها و روترهای بین راه فقط برچسب بیرونی را می‌خوانند و کاری به محتوای کانتینر ندارند.

بر اساس بخش Overview راهنمای VXLAN در Nexus 9000، سه نکته اصلی این‌هاست:

• شناسه سگمنت VXLAN (VNID یا VNI) ۲۴ بیتی است؛ یعنی تا حدود ۱۶ میلیون سگمنت، در برابر سقف ۴۰۹۶ برای VLAN دوازده‌بیتی.
• پکت‌های VXLAN روی underlay با هدر لایه ۳ جابه‌جا می‌شوند و از ECMP استفاده می‌کنند؛ دیگر هیچ لینکی برای جلوگیری از loop بلاک نمی‌شود.
• دستگاهی که کپسوله و دکپسوله می‌کند VTEP (VXLAN Tunnel End Point) نام دارد. روی Nexus 9000 این کار در سخت‌افزار و با سرعت line-rate انجام می‌شود، نه با CPU سوئیچ.

تاریخچه و استاندارد

VXLAN فناوری انحصاری سیسکو نیست. نویسندگان RFC 7348 از Cisco ، VMware ، Arista ، Broadcom ، Intel ، Red Hat و چند شرکت دیگر بودند و سند در اوت ۲۰۱۴ منتشر شد. وضعیت رسمی‌اش Informational است، اما امروز استاندارد عملی صنعت است و تقریباً همه سازنده‌های سوئیچ، هایپروایزرها و حتی هسته لینوکس پشتیبانی‌اش می‌کنند.

نکته‌ای که خیلی‌ها جا می‌اندازند: RFC 7348 فقط داده‌پلن و یادگیری مبتنی بر flood را توضیح می‌دهد. کنترل‌پلن مدرن، یعنی BGP EVPN، بعداً در RFC 7432 و RFC 8365 آمد و سیسکو آن را پایه همه فابریک‌های دیتاسنتری و پردیسی خودش گذاشت.

چرا VXLAN؟ پنج محدودیت شبکه لایه ۲

قبل از اینکه دستور feature nv overlay را بزنید، باید بدانید VXLAN دقیقاً برای چه آمده. بخش Problem Statement در RFC 7348 پنج مشکل مشخص را نام می‌برد. همان‌ها را سیسکو در اسلاید زیر با زبان عملیاتی خلاصه کرده است: همگرایی کند STP، لینک‌های بلااستفاده، مسیر غیربهینه، هزینه ارتقای شاسی‌های بزرگ و مقیاس محدود.

Cisco Live BRKDCN-2951: چالش‌های معماری‌های قدیمی دیتاسنتر؛ STP ، vPC و FabricPath

1. سقف VLAN. شناسه VLAN در هدر 802.1Q فقط ۱۲ بیت است. در محیط چندمستأجری یا مجازی‌سازی‌شده که هر سرویس چند سگمنت می‌خواهد، این سقف زود پر می‌شود.
2. STP و لینک‌های بلااستفاده. Spanning Tree برای جلوگیری از loop لینک‌های افزونه را بلاک می‌کند. یعنی پول پورت و فیبر را داده‌اید اما ترافیکی از آن‌ها رد نمی‌شود.
3. پر شدن جدول MAC. با مجازی‌سازی، به‌جای یک MAC برای هر سرور، ده‌ها و صدها MAC داریم. اگر جدول MAC سوئیچ هسته پر شود، فریم‌ها flood می‌شوند. در VXLAN هسته فقط IP تونل‌ها را می‌بیند، نه MAC تک‌تک ماشین‌ها را.
4. چندمستأجری و همپوشانی آدرس. مشتری‌ها یا واحدهای مختلف ممکن است MAC و IP تکراری داشته باشند. هر VNI دامنه جدای خودش را دارد و هر VRF جدول مسیریابی جدا.
5. جابه‌جایی VM بین رک و pod. vMotion به لایه ۲ مشترک نیاز دارد. کشیدن لایه ۲ با VLAN بین رک‌ها یعنی ریسک broadcast storm و دامنه خرابی بزرگ. VXLAN لایه ۲ را روی یک زیرساخت لایه ۳ پایدار گسترش می‌دهد.

کتاب رسمی سیسکو A Modern, Open, and Scalable Fabric: VXLAN EVPN صریح می‌گوید VXLAN به‌تنهایی نصف راه‌حل است. بدون یک کنترل‌پلن هوشمند، همان flood-and-learn دوباره مقیاس را می‌خورد. نصف دیگر راه‌حل MP-BGP EVPN است.

اصطلاحات کلیدی

این واژه‌ها را یک بار با حوصله بخوانید؛ در ادامه مدام با آن‌ها سروکار داریم. تعریف‌ها بر پایه RFC 7348 و راهنمای پیکربندی VXLAN سیسکو است.

Underlay و Overlay ؛ دو لایه که باید جدا فکر کنید

اگر این دو را قاطی کنید، کل طراحی می‌لرزد.

Underlay شبکه فیزیکی IP است: لینک‌های leaf به spine، آدرس loopbackها، OSPF یا IS-IS یا eBGP، و MTU. طبق سند سیسکو کار underlay این است که دسترسی بین VTEPها را اعلام کند و حمل مطمئن ترافیک کپسوله‌شده را فراهم کند. underlay را ساده و سریع طراحی کنید؛ هیچ VLAN ، MAC یا مستأجری داخلش نیست.

Overlay شبکه مجازی روی همان underlay است: تونل‌های VXLAN به‌علاوه کنترل‌پلنی که می‌گوید کدام MAC و IP پشت کدام VTEP است. از دید سرور و ماشین مجازی هیچ چیز عوض نشده؛ همان VLAN و subnet همیشگی است.

Cisco Live BRKDCN-1621: VTEP روی لبه، underlay فقط حمل IP

ملاحظات اصلی طراحی underlay طبق راهنمای طراحی VXLAN BGP EVPN سیسکو:

Cisco Live BRKDCN-1999: سگمنت VXLAN ، VNID و VTEP

VTEP و نقش Leaf ، Spine و Border

هر VTEP دو رو دارد: یک طرف اینترفیس لایه ۲ به سمت سرورها و endpointهای محلی، طرف دیگر یک IP یکتا (معمولاً loopback) به سمت شبکه IP. همین IP آدرس مبدأ و مقصد تونل می‌شود. VTEP داخل یک VNI فریم را bridge می‌کند و برای ترافیک بین VNIها route می‌کند.

Cisco Live BRKDCN-1621: VTEP با یک IP یکتا شناخته می‌شود و VLAN را به VNI نگاشت می‌کند

در فابریک leaf/spine سیسکو نقش‌ها این‌طور تقسیم می‌شوند:

Cisco Live BRKDCN-1621: Leaf و Border Leaf به‌عنوان VTEP ؛ Spine برای اتصال leafها

ساختار پکت VXLAN و مسئله MTU

این بخش را دقیق نگه دارید؛ در عمل همان چیزی است که در Wireshark یا Ethanalyzer می‌بینید. بسته VXLAN همان فریم اترنت اصلی است که چهار هدر جدید جلویش نشسته است.

Cisco Live BRKDCN-1621: کپسوله MAC-in-UDP با سربار ۵۰/۵۴ بایت

Cisco Live BRKDCN-1621: هدر ۸ بایتی VXLAN ؛ بیت I و VNI بیست‌وچهار بیتی

داخل هدر ۸ بایتی VXLAN (RFC 7348):

• Flags ، یک بایت با الگوی RRRRIRRR ؛ بیت I باید ۱ باشد تا VNI معتبر حساب شود.
• سه بایت Reserved.
• VNI ، سه بایت (۲۴ بیت)؛ از ۱ تا ۱۶٬۷۷۷٬۲۱۵.
• یک بایت Reserved پایانی. بعدها افزونه‌هایی مثل VXLAN-GPO از بیت‌های رزرو برای حمل برچسب گروه امنیتی (SGT) استفاده کردند.

پورت مبدأ UDP از هش هدر داخلی ساخته می‌شود (RFC بازه ۴۹۱۵۲ تا ۶۵۵۳۵ را توصیه می‌کند) تا جریان‌های مختلف روی مسیرهای مختلف ECMP پخش شوند. اگر همه ترافیک یک پورت مبدأ ثابت بگیرد، ECMP عملاً تک‌مسیر می‌شود. این دقیقاً همان چیزی است که وقتی می‌پرسند «چرا فقط یکی از uplinkها داغ است» باید چک کنید. چک‌سام UDP در IPv4 معمولاً صفر ارسال می‌شود.

محاسبه سربار و MTU

Cisco Live BRKDCN-1999: فریم اصلی داخل تونل VXLAN و پورت UDP 4789

مسیر گام‌به‌گام یک فریم: Host-A تا Host-B

فرض کنید Host-A پشت Leaf-1 و Host-B پشت Leaf-2 است. هر دو در VLAN 10 هستند و این VLAN روی هر دو leaf به VNI 10010 نگاشت شده. آدرس VTEP روی Leaf-1 برابر 10.0.1.11 و روی Leaf-2 برابر 10.0.1.12 است.

Cisco Live BRKDCN-1999: VTEP مبدأ با اطلاعات EVPN فریم را با VNI کپسوله و به VTEP مقصد می‌فرستد

اگر مقصد هنوز ناشناخته باشد چه؟ Host-A اول یک ARP Request (broadcast) می‌فرستد که باید به همه VTEPهای عضو VNI 10010 برسد. اینجاست که بحث ترافیک BUM پیش می‌آید.

ترافیک BUM: Multicast یا Ingress Replication

BUM یعنی Broadcast ، Unknown unicast و Multicast ؛ ترافیکی که باید به همه VTEPهای یک VNI برسد. حتی با BGP EVPN هم به روشی برای رساندن این ترافیک نیاز داریم. دو راه داریم.

روش ۱ — Multicast در underlay: هر VNI به یک گروه multicast نگاشت می‌شود و VTEPهای عضو آن VNI به گروه join می‌شوند. VTEP مبدأ فقط یک نسخه می‌فرستد و خود underlay آن را روی درخت multicast تکثیر می‌کند. رایج‌ترین گزینه PIM ASM با RP روی spineها و Anycast RP برای افزونگی است.

روش ۲ — Ingress Replication (Head-End Replication): underlay هیچ multicastی ندارد. VTEP مبدأ به ازای هر VTEP عضو آن VNI یک نسخه unicast جدا می‌سازد. فهرست VTEPها یا دستی تعریف می‌شود یا در EVPN به‌طور خودکار از Route Type 3 ساخته می‌شود. همان‌طور که اسلاید سیسکو مثال می‌زند، ۱۰ مگابیت ترافیک BUM برای ۲۰ VTEP یعنی ۲۰۰ مگابیت روی uplink مبدأ.

Cisco Live BRKDCN-1621: در Ingress Replication برای هر VTEP ریموت یک کپی unicast ساخته می‌شود

کنترل‌پلن: Flood & Learn در برابر BGP EVPN

VXLAN به‌خودی‌خود فقط داده‌پلن است. سؤال اصلی این است: VTEP از کجا بفهمد MAC ریموت پشت کدام VTEP است؟ سیسکو دو روش را پشتیبانی می‌کند.

Cisco Live BRKDCN-1621: دو حالت VXLAN ؛ Flood & Learn در برابر VXLAN EVPN

۱) Flood & Learn

مدل اولیه RFC 7348 است و هیچ پروتکل کنترلی جداگانه‌ای ندارد. کشف VTEPهای دیگر و یادگیری MACهای دوردست از روی خود ترافیک داده انجام می‌شود، درست مثل یک سوئیچ معمولی. روی کاغذ ساده است؛ در عمل در مقیاس بزرگ flooding و وابستگی به multicast دردسر عملیاتی می‌آورد، گیت‌وی باید متمرکز باشد و جابه‌جایی VM بهینه نیست.

۲) MP-BGP EVPN (مسیر توصیه‌شده)

در EVPN یادگیری MAC و IP میزبان‌ها از داده‌پلن به کنترل‌پلن منتقل می‌شود. هر VTEP میزبان‌های محلی خودش را یاد می‌گیرد و آن‌ها را در BGP با address-family l2vpn evpn اعلام می‌کند. بقیه VTEPها این مسیرها را می‌گیرند و مستقیم در جدول forwarding نصب می‌کنند، بدون flood.

Cisco Live BRKDCN-1621: مقایسه کنترل‌پلن RFC 7348 با EVPN (RFC 8365)

Cisco Live BRKDCN-1621: EVPN با MP-BGP به‌عنوان کنترل‌پلن و VXLAN به‌عنوان داده‌پلن

Route Typeهای EVPN و RD/RT

EVPN اطلاعاتش را در قالب چند نوع مسیر (Route Type) منتقل می‌کند. در فابریک VXLAN روزمره بیشتر با Type 2 ، 3 و 5 سروکار دارید؛ Type 1 و 4 وقتی به کار می‌آیند که Multi-Homing استاندارد با ESI راه بیندازید.

Cisco Live BRKDCN-1621: Route Typeهای ۱ تا ۵ در RFC 7432 و Draft مربوط به IP Prefix

فرق دو Route Type پرکاربرد را این اسلاید سیسکو خوب نشان می‌دهد: Type 2 حامل MAC (و در صورت وجود IP /32) با L2VNI و در صورت نیاز L3VNI است؛ Type 5 حامل prefix با طول متغیر، L3VNI و Router MAC است و از redistribute یا پروتکل مسیریابی می‌آید.

Cisco Live BRKDCN-2951: فیلدهای اجباری و اختیاری Route Type 2 و Route Type 5

RD و RT ؛ چندمستأجری به سبک L3VPN

EVPN سازوکار آشنای MPLS L3VPN را به ارث برده است. Route Distinguisher (RD) مسیرهای یکسان در VRFهای مختلف را از هم جدا می‌کند. Route Target (RT) به‌صورت BGP Extended Community حمل می‌شود و تعیین می‌کند هر مسیر وارد کدام VRF یا MAC-VRF شود. به همین دلیل send-community extended روی همه peerهای EVPN الزامی است.

Cisco Live BRKDCN-1621: VRF ، Route Distinguisher و Route Target در MP-BGP

در NX-OS می‌شود RD و RT را خودکار ساخت: RD از Router-ID و VNI ، و RT به شکل ASN:VNI. توصیه سیسکو: در فابریک تمام‌سیسکو با iBGP از حالت خودکار استفاده کنید. در طراحی eBGP با ASهای مختلف یا محیط چندبرندی، RT را دستی تنظیم کنید یا از rewrite-evpn-rt-asn کمک بگیرید.

Anycast Gateway و Symmetric IRB

تا اینجا درباره bridging داخل یک subnet حرف زدیم. اما سرورها باید با subnetهای دیگر و بیرون فابریک هم حرف بزنند. EVPN این را با سه ابزار حل می‌کند: Distributed Anycast Gateway ، مدل Symmetric IRB و Border Leaf.

Distributed Anycast Gateway

در شبکه سنتی گیت‌وی هر subnet روی یک یا دو سوئیچ هسته می‌نشیند (HSRP یا VRRP) و همه ترافیک مسیریابی‌شده باید تا آنجا برود و برگردد. در EVPN همه leafهایی که آن subnet را دارند، با IP و MAC مجازی کاملاً یکسان گیت‌وی هستند. ترافیک هر سرور در اولین hop ، یعنی leaf محلی خودش، مسیریابی می‌شود. وقتی VM به leaf دیگری می‌رود، گیت‌وی همان است و حتی لازم نیست جدول ARP خودش را عوض کند.

Cisco Live BRKDCN-1999: IP و MAC یکسان Anycast Gateway روی همه VTEPهای یک VNI

Symmetric در برابر Asymmetric IRB

در Symmetric IRB دو مفهوم جدید داریم. اول L3VNI: هر VRF یک VNI اختصاصی دارد که روی همه VTEPهای آن VRF یکسان است و به VTEP مقصد می‌گوید بسته را در کدام VRF مسیریابی کند. دوم Router MAC: هر VTEP یک MAC سیستمی دارد که با BGP اعلام می‌شود و در بسته‌های مسیریابی‌شده MAC مقصد داخلی می‌شود. تصویر زیر از راهنمای رسمی Catalyst 9000 فرق مسیر ترافیک داخل subnet (L2VNI) و بین subnetها (L3VNI) را نشان می‌دهد.

راهنمای رسمی Catalyst 9300: ترافیک داخل subnet از L2VNI و بین subnetها از L3VNI

مسیر یک بسته بین دو subnet در Symmetric IRB:

1. سرور بسته را به MAC مجازی Anycast Gateway روی leaf محلی می‌فرستد.
2. Leaf مبدأ در VRF مستأجر lookup لایه ۳ انجام می‌دهد، MAC مقصد داخلی را به Router MAC leaf مقصد تغییر می‌دهد و بسته را با L3VNI کپسوله می‌کند.
3. Leaf مقصد بعد از دکپسوله می‌بیند MAC مقصد مال خودش است، در VRF مشخص‌شده با L3VNI دوباره lookup می‌کند و بسته را به سرور تحویل می‌دهد.

Border Leaf و اتصال به بیرون

Border Leaf داخل فابریک مثل هر VTEP دیگری EVPN صحبت می‌کند و در هر VRF مستأجر با روتر یا فایروال لبه با eBGP یا OSPF مسیر رد و بدل می‌کند؛ معمولاً VRF-lite با یک subinterface برای هر مستأجر. مسیرهای بیرونی به‌صورت Route Type 5 وارد فابریک می‌شوند. توصیه سیسکو: مسیرهای بیرونی تا حد ممکن summarize شوند یا فقط یک default وارد فابریک شود، و در جهت مخالف فقط prefixها (نه host routeهای /32) به بیرون بروند.

راهنمای رسمی Catalyst 9300: اتصال فابریک به شبکه بیرونی از Border Leaf و Border Spine

طراحی Spine-Leaf ، vPC و Multi-Homing

فابریک VXLAN BGP EVPN معمولاً یک Clos سه‌مرحله‌ای است (Leaf و Spine) و در مقیاس خیلی بزرگ با لایه Super-Spine پنج‌مرحله‌ای می‌شود. هر leaf به همه spineها وصل است و هیچ leafی مستقیم به leaf دیگر وصل نیست؛ پس هر دو leaf دقیقاً دو hop از هم فاصله دارند.

Cisco Live BRKDCN-1621: تکامل دیتاسنتر و نیاز به overlay روی spine/leaf

• Spine هیچ اطلاعاتی از VLAN ، MAC ، ARP یا VRF مستأجرها ندارد و فقط مسیرهای EVPN را منعکس می‌کند. کانفیگش ساده و پایدار است.
• پورت بیشتر می‌خواهید؟ leaf اضافه کنید. پهنای باند بیشتر؟ spine اضافه کنید؛ هر spine یک مسیر ECMP تازه و oversubscription کمتر می‌آورد.
• برای اضافه کردن امن spine جدید در OSPF از max-metric router-lsa on-startup و در IS-IS از set-overload-bit on-startup استفاده کنید تا سوئیچ قبل از آماده شدن کامل وارد مسیر ترافیک نشود.
• سیسکو توصیه می‌کند نقش Border و BGW را از spine جدا کنید تا طراحی ماژولار بماند و ریسک تغییرات کم شود.

vPC و Anycast VTEP در برابر EVPN Multi-Homing

برای اتصال دوطرفه سرور یا فایروال به دو leaf دو راه داریم:

VXLAN EVPN Multi-Site و اتصال دیتاسنترها

وقتی دیتاسنتر دوم یا سایت DR اضافه می‌شود، وسوسه اول این است که فابریک را «بکشیم» و یک فابریک بزرگ با دو سر بسازیم. سیسکو برای این کار معماری VXLAN EVPN Multi-Site را طراحی کرده که به گفته White Paper رسمی Multi-Site، «سلسله‌مراتب را به شبکه overlay برمی‌گرداند»: هر سایت فابریک مستقل خودش را دارد و سایت‌ها فقط از طریق Border Gateway (BGW) به هم وصل می‌شوند.

White Paper رسمی سیسکو: معماری EVPN Multi-Site ؛ overlay داخل سایت و بین سایت‌ها از طریق BGW

• BGW بین شبکه داخلی سایت و شبکه بین سایت‌ها (DCI) می‌نشیند و VTEPهای داخلی را پنهان می‌کند. در شبکه بین سایت‌ها فقط IP خود BGWها دیده می‌شود.
• بین سایت‌ها eBGP استفاده می‌شود و هر سایت AS خودش را دارد؛ یعنی دامنه خرابی و کنترل هر سایت جدا می‌ماند.
• BGWها برای BUM بین سایت‌ها همیشه Ingress Replication استفاده می‌کنند، اما داخل هر سایت می‌توانید multicast یا IR داشته باشید. پس شبکه بین سایت‌ها به multicast نیازی ندارد؛ فقط IP و MTU بزرگ.
• با Multi-Site می‌شود فابریک‌های قدیمی (STP ، vPC ، FabricPath) را هم به فابریک جدید وصل کرد.

Anycast BGW ؛ همه فعال، بدون وابستگی

در مدل Anycast ، همه BGWهای یک سایت یک Virtual IP مشترک دارند که برای همه ترافیک داده بین سایت‌ها استفاده می‌شود. به کمک ECMP همه BGWها هم‌زمان فعال‌اند و اگر یکی بیفتد، بقیه بلافاصله بار را برمی‌دارند. هر BGW یک IP اختصاصی (PIP) هم دارد که برای BUM و انتخاب Designated Forwarder استفاده می‌شود.

White Paper رسمی سیسکو: Anycast BGW با Virtual IP مشترک و PIP اختصاصی هر BGW

هسته کانفیگ یک Anycast BGW روی NX-OS بر اساس راهنمای رسمی Multi-Site:

evpn multisite border-gateway 100
  delay-restore time 300

interface loopback100
  description Multi-Site Virtual IP (same on all BGWs of site)
  ip address 10.111.111.1/32
  ip router ospf UNDERLAY area 0.0.0.0

interface nve1
  no shutdown
  host-reachability protocol bgp
  source-interface loopback1
  multisite border-gateway interface loopback100
  member vni 10010
    multisite ingress-replication
    ingress-replication protocol bgp
  member vni 50000 associate-vrf

interface Ethernet1/1
  description DCI link
  evpn multisite dci-tracking

interface Ethernet1/49
  description to Spine (site-internal)
  evpn multisite fabric-tracking

router bgp 65001
  neighbor 172.16.0.2
    remote-as 65002
    update-source loopback0
    ebgp-multihop 5
    peer-type fabric-external
    address-family l2vpn evpn
      send-community
      send-community extended
      rewrite-evpn-rt-asn

تجهیزات، مقیاس و لایسنس

قبل از خرید همیشه Platform Support Matrix همان نسخه NX-OS یا IOS XE را چک کنید. جدول زیر تصویر کلی است، نه مجوز خرید کورکورانه.

برای Access اداری و PoE همان مسیر سوئیچ سیسکو سری ۹۲۰۰ کافی است؛ Catalyst 9200 از BGP EVPN VXLAN پشتیبانی نمی‌کند و جای ToR دیتاسنتر نیست. هسته شاسی‌دار پردیس را در سوئیچ سیسکو سری ۹۶۰۰ و leaf محبوب دیتاسنتر را در معرفی کامل Nexus 93180 ببینید.

مقیاس تأییدشده: Nexus 9300 در برابر Catalyst 9300

اعداد زیر از Verified Scalability Guide نسخه NX-OS 10.5(4)M و راهنمای مقیاس BGP EVPN VXLAN در Catalyst 9300 (IOS XE 17.15) است. این‌ها تست تک‌بعدی سیسکو هستند، نه ترکیب هم‌زمان همه سقف‌ها.

لایسنس: کدام فیچر در کدام سطح؟

منبع: Cisco NX-OS Licensing Options Guide و Cisco Feature Navigator. روی کاغذ لایسنس Essentials برای شروع کافی است؛ در عمل اگر دیتاسنتر دوم در افق طرح‌تان است، از روز اول Advantage را در بودجه ببینید.

کانفیگ کامل روی Nexus (NX-OS)

یک فابریک کوچک ولی کامل می‌سازیم: دو Spine به‌عنوان Route Reflector ، دو Leaf به‌عنوان VTEP ، یک L2VNI با Anycast Gateway و یک VRF مستأجر با L3VNI. الگو بر پایه راهنمای طراحی و راهنمای پیکربندی VXLAN BGP EVPN سیسکو است. این کانفیگ برای آموزش و لابراتوار است؛ پیش از شبکه عملیاتی، نسخه نرم‌افزار، ظرفیت‌ها و الزامات امنیتی خودتان را چک کنید.

Leaf-1 روی Nexus 9000

! ===== 1) Features =====
feature ospf
feature bgp
feature interface-vlan
feature vn-segment-vlan-based
feature nv overlay
feature fabric forwarding
nv overlay evpn

! ===== 2) Underlay =====
router ospf UNDERLAY
  router-id 10.0.0.11

interface loopback0
  description Router-ID / BGP
  ip address 10.0.0.11/32
  ip router ospf UNDERLAY area 0.0.0.0

interface loopback1
  description VTEP (NVE source)
  ip address 10.0.1.11/32
  ip router ospf UNDERLAY area 0.0.0.0

interface Ethernet1/49
  description to Spine-1
  no switchport
  mtu 9216
  medium p2p
  ip unnumbered loopback0
  ip ospf network point-to-point
  ip router ospf UNDERLAY area 0.0.0.0
  no shutdown
! Ethernet1/50 to Spine-2: same config

! ===== 3) Tenant VRF + L3VNI =====
vlan 3900
  vn-segment 50000

vrf context TENANT-A
  vni 50000
  rd auto
  address-family ipv4 unicast
    route-target both auto
    route-target both auto evpn

interface Vlan3900
  no shutdown
  mtu 9216
  vrf member TENANT-A
  ip forward

! ===== 4) L2VNI + Distributed Anycast Gateway =====
fabric forwarding anycast-gateway-mac 2020.0000.00aa

vlan 10
  vn-segment 10010

interface Vlan10
  no shutdown
  vrf member TENANT-A
  ip address 192.168.10.1/24
  fabric forwarding mode anycast-gateway

evpn
  vni 10010 l2
    rd auto
    route-target import auto
    route-target export auto

! ===== 5) VTEP (NVE) =====
interface nve1
  no shutdown
  host-reachability protocol bgp
  source-interface loopback1
  member vni 10010
    suppress-arp
    ingress-replication protocol bgp
  member vni 50000 associate-vrf

! ===== 6) Overlay: iBGP EVPN to Spines (RR) =====
router bgp 65000
  router-id 10.0.0.11
  neighbor 10.0.0.1
    remote-as 65000
    update-source loopback0
    address-family l2vpn evpn
      send-community
      send-community extended
  neighbor 10.0.0.2
    remote-as 65000
    update-source loopback0
    address-family l2vpn evpn
      send-community
      send-community extended
  vrf TENANT-A
    address-family ipv4 unicast
      advertise l2vpn evpn

! ===== 7) Server port =====
interface Ethernet1/1
  switchport
  switchport mode access
  switchport access vlan 10
  no shutdown

Leaf-2 دقیقاً همین کانفیگ را دارد و فقط آدرس‌ها عوض می‌شوند: loopback0 = 10.0.0.12 و loopback1 = 10.0.1.12. گیت‌وی و MAC مجازی Anycast Gateway روی هر دو یکسان است.

Spine-1 به‌عنوان Route Reflector

feature ospf
feature bgp
nv overlay evpn

router ospf UNDERLAY
  router-id 10.0.0.1

interface loopback0
  ip address 10.0.0.1/32
  ip router ospf UNDERLAY area 0.0.0.0

interface Ethernet1/1
  description to Leaf-1
  no switchport
  mtu 9216
  medium p2p
  ip unnumbered loopback0
  ip ospf network point-to-point
  ip router ospf UNDERLAY area 0.0.0.0
  no shutdown
! link to Leaf-2: same config

router bgp 65000
  router-id 10.0.0.1
  address-family l2vpn evpn
  template peer VTEP-PEERS
    remote-as 65000
    update-source loopback0
    address-family l2vpn evpn
      send-community
      send-community extended
      route-reflector-client
  neighbor 10.0.0.11
    inherit peer VTEP-PEERS
  neighbor 10.0.0.12
    inherit peer VTEP-PEERS

روی spineی که فقط نقش spine دارد، feature nv overlay لازم نیست؛ nv overlay evpn برای فعال شدن address-family مربوط به EVPN کافی است.

کانفیگ روی Catalyst 9000 (IOS XE)

در پردیس همین منطق روی Catalyst 9000 با نحو کمی متفاوت پیاده می‌شود. نمونه زیر بر پایه راهنمای رسمی BGP EVPN VXLAN برای Catalyst 9300 است.

hostname C9300-LEAF-1
!
vrf definition TENANT-A
 rd 10.0.0.21:1
 !
 address-family ipv4
  route-target export 65000:50000
  route-target import 65000:50000
  route-target export 65000:50000 stitching
  route-target import 65000:50000 stitching
 exit-address-family
!
ip routing
system mtu 9198
!
l2vpn evpn
 replication-type ingress
 router-id Loopback0
 default-gateway advertise
!
l2vpn evpn instance 10 vlan-based
 encapsulation vxlan
!
vlan configuration 10
 member evpn-instance 10 vni 10010
vlan configuration 3900
 member vni 50000
!
interface Loopback0
 ip address 10.0.0.21 255.255.255.255
 ip ospf 1 area 0
!
interface Vlan3900
 description L3VNI core SVI
 vrf forwarding TENANT-A
 ip unnumbered Loopback0
 no autostate
!
interface Vlan10
 description L2VNI 10010 gateway
 mac-address 2020.0000.00aa
 vrf forwarding TENANT-A
 ip address 192.168.10.1 255.255.255.0
!
interface nve1
 no ip address
 source-interface Loopback0
 host-reachability protocol bgp
 member vni 10010 ingress-replication
 member vni 50000 vrf TENANT-A
!
router bgp 65000
 bgp router-id interface Loopback0
 no bgp default ipv4-unicast
 neighbor 10.0.0.1 remote-as 65000
 neighbor 10.0.0.1 update-source Loopback0
 !
 address-family l2vpn evpn
  neighbor 10.0.0.1 activate
  neighbor 10.0.0.1 send-community both
 exit-address-family
 !
 address-family ipv4 vrf TENANT-A
  advertise l2vpn evpn
  redistribute connected
 exit-address-family

عیب‌یابی از پایین به بالا

عیب‌یابی VXLAN همیشه از پایین به بالا است: اول underlay ، بعد BGP EVPN ، بعد تونل‌ها و در آخر میزبان‌ها. تا underlay سالم نباشد، نگاه کردن به لایه‌های بالا وقت تلف کردن است.

معادل‌های Catalyst: show nve peers ، show l2vpn evpn mac ، show l2vpn evpn evi detail و show bgp l2vpn evpn summary.

مهاجرت از شبکه قدیمی به VXLAN EVPN

کمتر پیش می‌آید فابریک را روی زمین خالی بسازیم. معمولاً یک شبکه سه‌لایه با STP یا vPC در حال کار است و باید سرویس‌ها را بدون قطعی جدی منتقل کنیم. جلسه Cisco Live با عنوان Migrate from your existing network to VXLAN EVPN (BRKDCN-2951) مسیر رسمی سیسکو را سه مرحله می‌داند: ساخت فابریک جدید، اتصال لایه ۲ و ۳ بین قدیم و جدید، و انتقال تدریجی workloadها.

Cisco Live BRKDCN-2951: اتصال لایه ۲ بین Aggregation شبکه کلاسیک و Border فابریک VXLAN

امنیت در VXLAN

مهم‌ترین نکته امنیتی را همین اول بگوییم: VXLAN به‌خودی‌خود هیچ رمزنگاری یا احراز هویتی ندارد. RFC 7348 صراحتاً می‌گوید حمل ترافیک لایه ۲ روی IP سطح حمله را بزرگ‌تر می‌کند. هر کسی که بتواند یک بسته UDP با پورت مقصد 4789 به IP یک VTEP برساند، در تئوری می‌تواند فریم جعلی را داخل یک VNI تزریق کند. حملات کلاسیک لایه ۲ مثل ARP spoofing و DHCP جعلی هم داخل هر VNI همچنان ممکن است.

کاربردهای واقعی

کجا VXLAN نسازید؟ دفتر بیست‌نفره با یک سوئیچ Access و PoE. آنجا Catalyst و VLAN معمولی کاملاً کافی است. VXLAN پیچیدگی underlay ، MTU و عملیات می‌آورد و فایده‌اش وقتی است که واقعاً مقیاس، ترافیک east-west یا چند مستأجر دارید.

مزایا و محدودیت‌ها

مقایسه با FabricPath ، OTV ، Geneve و بقیه

VXLAN جایگزین VLAN نیست، بلکه آن را گسترش می‌دهد؛ سرور همچنان روی VLAN وصل می‌شود و leaf آن را به VNI نگاشت می‌کند. FabricPath و TRILL مشکل STP را حل کردند اما به سخت‌افزار و پروتکل مخصوص لایه ۲ وابسته بودند، در حالی که VXLAN روی هر شبکه IP کار می‌کند. Geneve هدر انعطاف‌پذیرتری دارد، اما در دنیای سوئیچ‌های سخت‌افزاری و فابریک‌های چندبرندی، VXLAN EVPN پشتیبانی بسیار گسترده‌تری دارد.

کی سراغ VXLAN برویم؟ چک‌لیست شروع

سراغ VXLAN بروید وقتی:

• دیتاسنتر یا اتاق سرورتان در حال رشد است و VLANها، STP و وابستگی به توپولوژی گلوگاه شده‌اند.
• ماشین‌های مجازی باید آزادانه بین رک‌ها، podها یا دیتاسنترها جابه‌جا شوند.
• به جداسازی واقعی بخش‌ها، مستأجرها یا تجهیزات حساس نیاز دارید.
• می‌خواهید سایت DR را با یک overlay یکپارچه و کنترل‌شده به سایت اصلی وصل کنید.
• در پردیس به سگمنت مبتنی بر هویت و سیاست گروه‌محور (SD-Access) فکر می‌کنید.

قدرت واقعی VXLAN وقتی دیده می‌شود که با کنترل‌پلن MP-BGP EVPN همراه شود: ARP Suppression ، Anycast Gateway ، Symmetric IRB و چندمستأجری واقعی. امروز این زبان مشترک دیتاسنتر و پردیس مدرن است. اگر درست و از پایین (underlay) طراحی شود، زیرساختی می‌سازد که سال‌ها بدون بازطراحی بنیادین رشد می‌کند.

پرسش‌های متداول

آیا VXLAN جای VLAN را می‌گیرد؟
نه. سرورها همچنان روی VLAN به leaf وصل می‌شوند؛ VLAN فقط محلی به همان leaf می‌شود و leaf آن را به VNI سراسری نگاشت می‌کند.

آیا برای VXLAN حتماً multicast لازم است؟
نه. با BGP EVPN و Ingress Replication هیچ multicastی در underlay لازم نیست. multicast فقط یک انتخاب برای بهینه کردن ترافیک BUM در فابریک‌های بزرگ است.

روی Catalyst 9200 می‌شود VXLAN راه انداخت؟
BGP EVPN VXLAN روی Catalyst 9300 ، 9400 ، 9500 و 9600 با لایسنس Network Advantage پشتیبانی می‌شود. سری ۹۲۰۰ برای این نقش طراحی نشده است.

ACI هم VXLAN است؟
بله. فابریک ACI در داخل از VXLAN استفاده می‌کند، اما کنترل‌پلن و مدیریت آن با APIC است و CLI کلاسیک NX-OS برای VXLAN در آن معنی ندارد. آنچه در این مطلب کانفیگ کردیم حالت NX-OS مستقل (Standalone) است.

MTU دقیقاً چند بگذاریم؟
حداقل ۵۰ بایت بیشتر از بزرگ‌ترین فریم مستأجر (با underlay IPv4). توصیه سیسکو ۹۲۱۶ روی لینک‌های underlay است تا حتی فریم‌های jumbo مستأجر هم بدون مشکل رد شوند.

منابع رسمی برای ادامه مطالعه

• RFC 7348 – Virtual eXtensible Local Area Network (VXLAN)
• RFC 7432 – BGP MPLS-Based Ethernet VPN
• RFC 8365 – A Network Virtualization Overlay Solution Using EVPN
• Cisco Nexus 9000 NX-OS VXLAN Configuration Guide 10.5(x) – Configure VXLAN BGP EVPN
• Cisco Nexus 9000 – Configure VXLAN EVPN Multi-Site
• VXLAN EVPN Multi-Site Design and Deployment White Paper
• Cisco Nexus 9000 NX-OS Verified Scalability Guide 10.5(4)M
• Cisco NX-OS Licensing Options Guide
• BGP EVPN VXLAN Configuration Guide, IOS XE 17.15 (Catalyst 9300)
• A Modern, Open, and Scalable Fabric: VXLAN EVPN (Cisco PDF)
• Cisco Nexus 9000 – Configuring the Underlay
• Cisco VXLAN BGP EVPN Design and Implementation Guide
• Cisco Live BRKDCN-1621 – Introduction to VXLAN
• Cisco Live BRKDCN-1999 – VXLAN BGP EVPN
• Cisco Live BRKDCN-2951 – Migrate from your existing network to VXLAN EVPN

مشاوره و پیاده‌سازی با آکانت

آکانت (Akanet) با بیش از بیست سال سابقه در شبکه‌های مبتنی بر سیسکو، کنار سازمان‌هایی ایستاده که از Access پردیس تا دیتاسنتر leaf/spine و فابریک‌های بزرگ سازمانی را طراحی و اجرا می‌کنند. مشاوره معماری، انتخاب بین Nexus و Catalyst ، طراحی underlay و overlay ، کانفیگ VXLAN EVPN ، مهاجرت از VLAN کلاسیک، سگمنت امنیتی، اتصال سایت‌ها و DR بخشی از کار روزمره ماست. طراحی شبکه‌ای مثل آنچه خواندید فقط دانستن دستورها نیست؛ تجربه میدانی، تصمیم درست از روز اول و پشتیبانی مطمئن بعد از اجرا می‌خواهد.