ယနေ့ ခေတ် မှာ ကျတော်တို့ တွေ သုံးနေတဲ့ Mobile Application/Web Application တွေ ဟာ Real-Time အလုပ်လုပ်နေ တာ က အများဆုံးဖြစ်ပါတယ်။
ဥပမာ Facebook/Gmail လို App တောင် မှ Application ကို ကိုယ် ဘယ် Device ပေါ် မှာသုံးနေလဲ။ ဘယ် IP ကနေ သုံးနေလဲ။ ဘယ်အချိန်မှာ သုံးနေလဲ စတာတွေ ကို အမြဲ check and detect လုပ်နေပြီး တကယ့် Account ပိုင်ရှင် အစစ်က သုံးနေတာလား၊ တခြား တယောက်ယောက်က သုံးနေတာလားဆိုတာကို ဆုံးဖြတ်ဖို့ (Inferencing လုပ်တယ်လို့ ခေါ် ပါတယ်) နောက်ကွယ်ကနေ စောင့်ကြည့် နေတာမျိုးပေါ့။
ခုခေတ် မှာ အဲ့လိုလုပ်နေနိုင်ဖို့ အတွက် AI/ML infrastructure တွေ ကို သုံး နေ တာပါ။
ဒီလို AI/ML infrastructure တွေ အတွက် လိုအပ်တာက
Backend မှာဆိုရင် Up-to-date dataset တွေ နဲ့ Training လုပ်ဖို့အတွက် AI/ML Server Nodes တွေ၊
Train လို့ရလာတဲ့ Model နဲ့ Inferencing Engine တွေ Deploy လုပ်ဖို့ အတွက် Edge Device/User Device တွေပါ။
ဒါပေမယ့် Training နဲ့ Inferencing အတွက် လိုအပ်တဲ့ တကယ့် အရေးကြီး တာ တခုကတော့ Networking ပါပဲ။
အပေါ် က ဥပမာ ပြထား တဲ့ Real-Time Application လို မျိုး အတွက် အလုပ်လုပ်ပေး နေတဲ့ AI/ML Infrastructure တခုဟာ Training တွေ လုပ်ပေး နေတဲ့ AI Node Server တွေ အတွက် High-Bandwidth, Non-Blocking Lossless Network နဲ့ Congestion Management တွေ ဟာ မဖြစ်မနေ ကို လိုအပ်လာပါတယ်။
ဒါတင်ပဲလားဆိုတော့ Inferencing အတွက် လဲ Low Latency နဲ့ Low Jitter network connection ဟာ မဖြစ်မနေ လိုအပ်လာပါတော့တယ်။
AI/ML တွေ ဟာ GPU တွေ ပေါ် မှာ Run နေတာ ဖြစ်တဲ့ အပြင် low latency နဲ့ low jitter network connection ရအောင် လုပ်ဖို့ အတွက် CPU load ကို လျော့ ဖို့ လိုလာပါတယ်။
ဒီအခါ မှာ Remote Direct Memory Access over Converged Ethernet (RoCEv2) protocol ဆိုတာကို ကျတော် တို့ Network သမားတွေ ဟာ Quality of Service (QoS) နဲ့ တွဲသုံးရပါတော့ တယ်။
ဒါမှသာ AI/ML Infrastructure တခုရဲ့ လိုအပ်ချက်တွေ ဖြစ်တဲ့
High-Bandwidth
Non-blocking lossless network
congestion management
low latency
low jitter ဆိုတာတွေ ကို ရလာနိုင်မှာဖြစ်ပါတယ်။
အခုရေးပြထားတာတွေ ဟာ Cisco U က နေ ပေးထားတဲ့ AI Solutions on Cisco Infrastructure Essentials | DCAIE ကို တက်ပြီး တကယ့်ကို အပေါ် ယံ လောက်သာ ရေးထားတာပါ။
AI/ML Infrastructure တွေ အတွက် ကျတော် တို့ Network သမားတွေ တကယ်လေ့လာရမယ့် အပိုင်းတွေ အများကြီး ရှိလာပါတော့တယ်။
နောက်များ အချိန်ရလာနိုင်ရင် အသေးစိတ်ရေးနိုင်မယ်လို့ မျှော်လင့်ပါတယ်။
ကျေးဇူးတင်ပါတယ်။
ပျော်ရွှင်ပါစေဗျာ။
(Be knowledgeable, pass it on then)
No comments :
Post a Comment