Mena kua mataki koe i tetahi tauira demo ka kuru i tetahi uta whakamatautau iti ka whakatio i te wa e puta mai ai nga kaiwhakamahi pono, kua tutaki koe ki te tangata nanakia: te tauine. Ko AI he apo-mo te raraunga, rorohiko, mahara, bandwidth-me te mea rereke, te aro. Na he aha te AI Scalability, tino, me pehea e whiwhi ai koe me te kore e tuhi ano i nga mea katoa ia wiki?
Ngā tuhinga ka pai pea koe ki te pānui i muri i tēnei:
🔗 He aha te whakamārama ngāwari mō te pānga AI?
Akohia me pehea te hanga a nga rītaha huna i nga whakatau AI me te whakatauira i nga putanga.
🔗 Aratohu mo te timatanga: he aha te mohiotanga
Tirohanga o AI, ariā matua, momo, me nga tono o ia ra.
🔗 He aha te AI whakamarama me te take he mea nui
Tirohia me pehea te whakamarama a AI ki te whakanui ake i te maarama, te whakawhirinaki, me te hanganga ture.
🔗 He aha te AI matapae me pehea te mahi
Kia mohio ki te AI matapae, nga keehi whakamahi noa, nga painga, me nga here.
He aha te AI Scalability? 📈
AI Scalability Ko te kaha o te punaha AI ki te whakahaere i etahi atu raraunga, tono, kaiwhakamahi, me nga keehi whakamahi me te pupuri i nga mahi, te pono, me nga utu i roto i nga rohe e whakaaetia ana. Ehara i te mea ko nga hoahoanga nui ake-maamaa e pupuri ana kia iti te torohūtanga, teitei te whakaputanga, me te rite tonu te kounga i te pikinga o te pihi. Whakaarohia nga hanganga rapa, nga tauira kua arotauhia, me te maarama e whakaatu ana ki a koe he aha kei te ahi.
He aha te pai o te Whakanui AI ✅
Ina pai te mahi a AI Scalability, ka whiwhi koe:
-
Ko te tohenga matapae i raro i te taumahatanga totika ranei 🙂
-
Ka nui ake te rahi ki nga taputapu taapiri me nga tauira taapiri
-
Te utu karekau e poihau mo ia tono
-
Te pumau o te kounga i te mea ka rereke nga whakaurunga me te pikinga o nga pukapuka
-
marino te whakahaere ki te autoscaling, tracing, me nga SLO watea
I raro i te awhi ka whakakotahi tenei i te tauine whakapae, te puranga, te keteroki, te ine, te mahi pakari, me nga kaupapa here tuku whakaaro e herea ana ki nga tahua hapa [5].
Te Whakanui AI me te mahinga me te kaha 🧠
-
te mahinga ko te tere o te whakaotinga o te tono kotahi ki te mokemoke.
-
Ko te kaha ko te maha o aua tono ka taea e koe te whakahaere i te wa kotahi.
-
te Whakatairanga AI ko te taapiri rauemi me te whakamahi i nga tikanga mohio ka piki ake te kaha me te pupuri i nga mahi kia rite tonu-kaore e pupuhi i to pire me to wharangi.
He rereke iti, he hua nui.
He aha te take e mahi ai te tauine i roto i te AI: ko te whakaaro ture tauine 📚
Ko te maaramatanga e whakamahia nuitia ana i roto i te ML hou ko te pai ake o te ngaronga i roto i nga huarahi matapae i a koe e awhi ana i te rahi o te tauira, raraunga, me te tatau -i roto i te take. He taurite-tauira i waenga i te rahi tauira me nga tohu whakangungu; ko te whakamau i nga mea e rua ka pa ana ki te kotahi anake. I roto i te mahi, ko enei whakaaro e whakaatu ana i nga tahua whakangungu, te whakamahere huinga raraunga, me te mahi i nga mahi hokohoko [4].
Te whakamaoritanga tere: ka nui ake te pai ake, engari ka tauine koe i nga whakaurunga me te tatau i roto i te waahanga-kaore he rite ki te tuku potae tarakihana ki runga paihikara. He ahua kaha, kaore e haere ki hea.
Whakapae me te poutū: ko nga tauine e rua 🔩
-
Tauine poutū : pouaka nui ake, GPUs pai ake, mahara ake. He ngawari, he utu i etahi wa. He pai mo te whakangungu node-kotahi, te riipene iti-roa, ka kore ranei to tauira e pai ki te tarai.
-
Tauine Whakapae : he tauira ano. He pai ake te mahi me nga kaitarai-aunoa e taapiri ana, e tango ana ranei i nga pene i runga i te PTM/GPU, i nga inenga tono ritenga ranei. I Kubernetes, ka whakatauhia e te HorizontalPodAutoscaler nga pona hei whakautu ki te tono-ko to mana whakahaere maataki mo nga pikinga waka [1].
Anecdote (composite): I te wa o te whakarewatanga teitei, ka taea noa te whakahiato i te taha-tumau me te tuku i te autoscaler ki te urupare ki te hohonutanga o te tutira ka whakapumau i te p95 kaore he huringa o nga kaihoko. Ko nga wikitoria koretake he toa tonu.
Ko te kohinga katoa o AI Scalability 🥞
-
Paparanga Raraunga : nga toa taonga tere, tohu tohu vector, me te horomia te horomitanga e kore e whakapouri i o kaiwhakangungu.
-
Paparanga whakangungu : nga anga kua tohatohahia me nga kaitakataka e whakahaere ana i te whakararatanga raraunga/tauira, te tohutaki, me te ngana ano.
-
Paparanga mahi : nga wa whakahaere, te whakahiato hihiri , te aro ki nga LLM, te keteroki, te rere tohu. Ko Triton me vLLM he toa maha i konei [2][3].
-
Whakaritenga : Kubernetes mo te whakaraeraetanga ma te HPA, ki nga kaiwhakatikatika aunoa ranei [1].
-
Te Tirohanga : nga tohu, nga inenga, me nga raarangi e whai ana i nga haerenga a nga kaiwhakamahi me te tauira whanonga i roto i nga hua; hoahoa kia huri noa i o SLO [5].
-
Whakahaerenga me te utu : mo ia tono ohaoha, tahua, me nga huringa patu mo nga kawenga mahi rere.
Ripanga whakataurite: nga taputapu me nga tauira mo te Whakatairanga AI 🧰
He iti noa i runga i te kaupapa-no te mea ko te ora tonu.
| Utauta / Tauira | hunga whakarongo | Te utu pea | He aha i mahi ai | Notes |
|---|---|---|---|---|
| Kubernetes + HPA | Ngā tīma papaaho | Puna tuwhera + infra | Tauinehia nga pākākano whakapae i te mea ka piki haere te inenga | Ko nga inenga ritenga he koura [1] |
| NVIDIA Triton | Huringa SRE | Tūmau kore utu; GPU $ | Ko te puranga hihiko ka whakanui i te whakaputanga | Whirihorahia ma te config.pbtxt [2] |
| vLLM (PagedAttention) | Ko nga roopu LLM | Pūtake tuwhera | Te whakaputanga teitei ma te wharangi keteroki KV pai | He pai mo nga akiaki roa [3] |
| ONNX Wā Whakahaere / TensorRT | He tangata pai | Nga taputapu kore utu / kaihoko | Ko nga arotautanga taumata-kernel e whakaiti ana i te roanga | Ko nga huarahi kaweake ka taea te ngawari |
| tauira RAG | Nga roopu tono | Infra + taupū | Ka utaina te matauranga ki te tiki; ka paunatia te taupū | He pai mo te hou |
Ruku hohonu 1: Te mahi tinihanga e nekehia ai te ngira 🚀
-
whakahiato hihiko ka uru ki roto i nga roopu nui i runga i te tūmau, ka nui haere te whakamahi GPU kaore he huringa a te kiritaki [2].
-
Ko te aro ki te wharangi ka nui ake nga korero i roto i te mahara ma te wharangi i nga keteroki KV, e pai ake ai te whakaputa i raro i te riterite [3].
-
Tonoa te whakakotahi me te keteroki mo nga akiakinga rite, te whakauru ranei kia karo i nga mahi takirua.
-
Ko te wetewete whakaaro me te rerenga tohu tohu ka whakaiti i te roanga o te whakaaro, ahakoa karekau te karaka pakitara e neke.
Ruku hohonu 2: He pai te taumata-tauira - te ine, te whakamaroke, te tapatapahi 🧪
-
Ko te ine ka whakaiti i te tika o te tawhā (hei tauira, 8-bit/4-bit) ki te whakaheke i te mahara me te tere ake te whakatauira; arotake ano i nga wa katoa te kounga mahi i muri i nga huringa.
-
whakawhitia te matauranga mai i te kaiako nui ki te tauira iti e paingia ana e to taputapu.
-
Ko te tapahi hanganga ka tarai i nga taumaha/upoko he iti rawa te koha.
Kia pono, he rite ki te whakaheke i to peke ka tohe kia pai katoa o hu. He aha te mahi, te nuinga.
Ruku hōhonu 3: Raraunga me te whakangungu i te tauine kaore he roimata 🧵
-
Whakamahia nga whakangungu toha hei huna i nga wahanga ngongo o te whakarara kia tere ake ai te tuku i nga whakamatautau.
-
Kia maumahara ki aua ture whakatauira : toha tahua puta noa i te rahi o te tauira me nga tohu tohu; he pai te whakatauira i nga mea e rua [4].
-
Ko te marautanga me te kounga raraunga ka huri i nga hua nui ake i ta te tangata e whakaae ana. Ko nga raraunga pai ake i etahi wa ka nui ake nga raraunga-ahakoa kua tono kee koe i te roopu nui ake.
Te ruku hohonu 4: RAG hei rautaki whakatauine mo te matauranga 🧭
Engari i te whakangungu ano i tetahi tauira kia mau tonu ki nga ahuatanga rereke, te RAG tetahi taahiraa tango i te whakatau. Ka taea e koe te u tonu te tauira me te whakataurite i te taurangi me nga retriever i te wa e tipu ana to tinana. He huatau-he iti ake te utu atu i nga whakangungu katoa mo nga taupānga taumaha-matauranga.
Matakitaki e utu ana 🕵️♀️
Kaore e taea e koe te whakatau i nga mea kaore koe e kite. E rua nga mea tino nui:
-
Nga inenga mo te whakamahere kaha me te tauine-aunoa: nga ōrau tohenga, te hōhonutanga o te tūtira, te mahara GPU, te rahi o te puranga, te urunga tohu, te reeti patu keteroki.
-
Ko nga tohu e whai ana i te tono kotahi puta noa i te kuaha → tiki → tauira → i muri i te tukatuka. Herea nga mea e ine ana koe ki o SLO kia whakautua e nga papatohu nga patai i raro i te meneti [5].
Ka whakautua e nga papatohu nga patai i raro i te meneti, ka whakamahia e te tangata. Ki te kore ratou e mahi, he pai, ka whakapohehe ratou.
Nga arai tika: SLOs, he putea tahua, he pai te whakaputanga 🧯
-
Tautuhia nga SLO mo te waatea, te waatea, me te kounga hua, ka whakamahi i nga tahua hapa hei whakataurite i te pono me te tere tuku [5].
-
Hoatuhia i muri i nga wehenga waka, mahi kanari, ka whakahaere i nga whakamatautau atarangi i mua i nga tapahi o te ao. Ka tukuna e to ake ake nga paramanawa.
Te whakahaere utu kaore he whakaari 💸
Ehara i te mea hangarau noa te whakatauine; he putea. Whakaritehia nga haora me nga tohu GPU hei rauemi akomanga tuatahi me te ohanga ohaoha (te utu mo ia 1k tohu, mo ia whakaurunga, mo ia uiui vector). Tāpirihia nga tahua me te whakatupato; whakanui i te whakakore i nga mea.
He mahere huarahi ngawari ki te Whakatairanga AI 🗺️
-
Tīmatahia me nga SLO mo te p95 roa, te waatea, me te tika o te mahi; inenga waea/tohu i te ra tuatahi [5].
-
Tīpakohia he tāpae mahi e tautoko ana i te puranga me te puranga tonu: Triton, vLLM, he rite ranei [2][3].
-
Arotauhia te tauira : te ine i te waahi ka awhina, kia tere ake nga kakano, te whakamaarama ranei mo nga mahi motuhake; whakamana i te kounga me nga evals tuturu.
-
Kaihanga mo te elasticity : Kubernetes HPA me nga tohu tika, nga huarahi panui/tuhi motuhake, me nga tauira whakatauranga koretake [1].
-
Whakatauhia te tikinga i te wa e nui ana te mea hou kia whakatauhia e koe to taurangi kaua ki te whakangungu ano ia wiki.
-
Katia te kopae me te utu : whakapumau i te ohanga ohanga me nga arotake ia wiki.
Nga aratau rahunga noa me te whakatika tere 🧨
-
GPU i te 30% te whakamahi i te wa e kino ana te torohūtanga
-
Whakakāhia te puranga hihiri , āta whakaara ake i nga potae puranga, ka tirohia ano te rite o te tūmau [2].
-
-
Ka tiango te urunga me nga tohe roa
-
Whakamahia te mahi e tautoko ana i te aro o te wharangi me te whakatangi i nga raupapa tukutahi [3].
-
-
Ko te kaitapa autoscaler
-
Inenga maeneene me nga matapihi; tauine i runga i te hohonu o te tūtira, i nga tohu ritenga-ia-hakona hei utu mo te PTM parakore [1].
-
-
Ka pupuhi nga utu i muri i te whakarewatanga
-
Taapirihia nga inenga utu taumata-tono, whakaahei i te inenga i te waahi haumaru, keteroki nga patai o runga, me te reiti-tepe i te hunga kino rawa atu.
-
Puka takaro AI Whakanuia: rarangi arowhai tere ✅
-
Kei te noho nga SLO me nga tahua hapa, ka kitea
-
Inenga: torohūtanga, tps, GPU mem, rahinga puranga, tohu/s, keteroki patua
-
Nga tohu mai i te whakauru ki te tauira ki te pou-proc
-
Te mahi: te whakahiato, te riterite, te keteroki mahana
-
Tauira: kua ine, kua maturu ranei ki te waahi ka awhina
-
Infra: I whirihorahia te HPA me nga tohu tika
-
Te ara tiki mo te hou o te matauranga
-
He maha nga arotakenga ohaoha o te waahanga
He Roa Kaore i Panuitia me nga Korero Whakamutunga 🧩
Ehara te AI Scalability He reo tauira: te whakatauira whakapae me nga kaitarai-aunoa, te roopu taha-tumau mo te whakamahi, te pai o te taumata-tauira, te whakahoki mai i te maaramatanga, me te maataki ka hoha nga whakaputanga. Tauhiuhia ki roto i nga SLO me nga utu akuaku kia noho tika te katoa. Kare koe e tino pai i te wa tuatahi-kaore he tangata e mahi-engari me nga kopae urupare tika, ka tipu to punaha me te kore o te werawera matao i te 2am 😅
Ngā Tohutoro
[1] Tuhinga Kubernetes - Whakapae Aunoa Pod - pānuihia atu
[2] NVIDIA Triton - Kaihoko Hihiko - pānuihia atu
[3] vLLM Docs - Arotahi Wharangi - pānuihia atu
[4] Hoffmann et al. (2022) - Whakangungu Tauira-Tauira Reo Rahi Rawa - pānuihia atu
[5] Pukamahi SRE Google - Whakatinana i nga SLO - pānuihia atu