Ehara a AI i nga tauira kanapa, he kaiawhina korero ranei e whakatauira ana i te tangata. Kei muri i enei mea katoa, he maunga - he moana i etahi wa - o nga raraunga. Me te pono, kei te penapena i taua raraunga? Ko reira te nuinga o nga wa ka raruraru. Ahakoa kei te korero koe i nga paipa whakamohiotanga whakaahua, kei te whakangungu ranei i nga tauira reo nunui, ka tere te tere o nga whakaritenga rokiroki raraunga mo AI ki te kore koe e whakaaro. Ka wehewehea he aha te mea he kararehe te rokiroki, he aha nga whiringa kei runga i te teepu, me pehea e taea ai e koe te huri i te utu, te tere me te tauine me te kore e wera.
Ko nga tuhinga ka hiahia koe ki te panui i muri i tenei:
🔗 Pūtaiao raraunga me te mohio horihori: Te heke mai o te auahatanga
Te tirotiro me pehea AI me te pūtaiao raraunga e akiaki ana i nga mahi hou.
🔗 Te mohio wai artificial: Ko te heke mai o AI me nga raraunga whakaheke
He tirohanga ki nga raraunga AI kua whakahekehia me nga mea hou ka puta ake.
🔗 Te whakahaere raraunga mo nga taputapu AI me titiro koe
Nga rautaki matua hei whakapai ake i te rokiroki raraunga AI me te whai hua.
🔗 Ko nga taputapu AI pai mo nga kaitätari raraunga: Whakanuia te whakatau whakatau
Ko nga taputapu AI nui e whakanui ana i te tātari raraunga me te whakatau whakatau.
Na… He aha te pai o te rokiroki Raraunga AI? ✅
Ehara i te "terabytes" noa iho. Ko te rokiroki tino pai ki te AI e pa ana ki te whakamahi, te ti'aturi, me te tere mo nga oma whakangungu me nga kawenga mahi.
He torutoru nga tohu e tika ana kia mohiohia:
-
Whakanuia : Te peke mai i nga GB ki nga PB me te kore e tuhi ano i to hoahoanga.
-
Mahinga : Ko te roanga teitei ka matekai nga GPU; e kore e murua e ratou nga kohungahunga.
-
Raraunga : Ko nga whakaahua, te tukurua, te whakaputa - na te mea ka pakaru nga whakamatautau, ka pera ano te tangata.
-
Utu-pai : Te taumata matau, te wa tika; ki te kore, ka peke te pire ano he arotake taake.
-
Tata ki te tatau : Whakanohoia te rokiroki ki te taha o nga GPU/TPU, maataki ranei i te tukunga raraunga e kowaowaotia ana.
Ki te kore, he rite ki te ngana ki te whakahaere i te Ferrari i runga i te kaoti kaoti wahie - ma te hangarau ka neke, engari kare e roa.
Ripanga Whakatauritenga: Nga Kōwhiringa Rokiroki noa mo AI
| Momo Rokiroki | Pai Pai | Utu Ballpark | He aha te mahi (kare ranei) |
|---|---|---|---|
| Pupuri Ahanoa Kapua | Whakaoho me nga mahi waenga-rahi | $$ (taurangi) | He ngawari, he roa, he tino pai mo nga roto raraunga; kia tupato ki nga utu puta + tono patu. |
| NAS i runga-whare | Nga roopu nui ake me nga roopu IT | $$$$ | Tohenga matapae, mana katoa; te putea o mua + nga utu mahi e haere tonu ana. |
| Kapua Ranu | Tautuhinga-taimaha | $$$ | Ka whakakotahi i te tere o te rohe me te kapua rapa; ka whakanuia e te orkestra te mahunga. |
| Huanga Kohiko-Katoa | Ko nga kairangahau e aro nui ana | $$$$$ | IOPS/whakaputa tere rawa; engari ehara a TCO i te katakata. |
| Pūnaha Kōnae Toha | AI devs / tautau HPC | $$–$$$ | Whakarara I/O i te tauine taumaha (Lustre, Tauine Spectrum); ops pikaunga he pono. |
He aha nga Hia Raraunga AI Kei te Pahū 🚀
Ehara a AI i te whakaemi i nga whakaahua whaiaro. He kai kai.
-
Ko nga huinga whakangungu : Ko te ILSVRC a ImageNet anake nga kohinga ~1.2M nga whakaahua kua tapaina, me te roopu-a-rohe kei tua atu i tera [1].
-
Putanga : Ko ia takawiri - tapanga, wehewehenga, whakanuinga - ka hanga he "pono."
-
Ko nga whakaurunga rerenga : Te tirohanga matakite, te waea waea, te whangai pūoko… he puhipuhi ahi tonu.
-
Ko nga whakatakotoranga kore hanga : Kuputuhi, ataata, ororongo, rangitaki - he nui ake i nga ripanga SQL pai.
He parapara ka taea e koe te kai katoa, ka hoki mai ano te tauira mo te kai reka.
Kapua vs I runga-Premises: Te Taupatupatu Kare e Mutunga 🌩️🏢
He ahua whakamatautau te kapua: tata-kore mutunga, ao, utu i a koe e haere ana. Kia whakaatu ra ano to nama i nga utu puta - a ohorere ana to utu rokiroki "iti noa" ka whakapaua e koe [2].
I runga i te mua, i tetahi atu taha, ka hoatu te mana me te mahi toka-toka, engari kei te utu ano koe mo nga taputapu, hiko, whakamahana, me nga tangata ki te tiaki i nga whatanga tamariki.
Ko te nuinga o nga kapa ka tau ki te waenganui pohehe: ranu . Puritia nga raraunga wera, tairongo, teitei-whakawhitinga tata ki nga GPU, me te pupuri i te toenga ki nga taumata kapua.
Nga Utu Rokiroki E Huri Ana 💸
Ko te kaha ko te paparanga mata noa. Ka piki nga utu huna:
-
Te nekehanga Raraunga : Ko nga kape i waenga-rohe, ko nga whakawhiti kapua, tae noa ki te putanga o nga kaiwhakamahi [2].
-
Raraunga : Ka whai i te 3-2-1 (e toru nga kape, e rua nga panui, kotahi ki waho-pae) ka kai mokowhiti engari ka whakaora i te ra [3].
-
Te Mana me te whakamatao : Mena ko to whatanga, ko to raru wera.
-
Tauhokohoko-whakawhitinga : Ko nga taumata iti ake te tikanga ko te tere o te whakaora i te hukapapa.
Te Haumarutanga me te Whakaaetanga: Nga Kai-Waihe Ataahua 🔒
Ka taea e nga ture te tohu te waahi e noho ana nga paita. I raro i te UK GDPR , ko te neke atu i nga raraunga whaiaro mai i te UK me whai huarahi whakawhiti tika (nga SCC, IDTA, ture tika ranei). Whakamaoritanga: ko to hoahoa rokiroki me "mohio" te matawhenua [5].
Ko nga tikanga mo te tunu i te ra tuatahi:
-
Whakamuna - te okioki me te haere.
-
Te urunga iti rawa + nga huarahi arotake.
-
Mukua nga whakamarumaru penei i te kore whakarereke, raka ahanoa ranei.
Nga Putanga Mahinga: Ko te Roopu te Kaipatu Wahangu ⚡
Kaore nga GPU e pai ki te tatari. Mena ka takamuri te rokiroki, ka whakanuia nga whakamahana. Ko nga taputapu penei i te NVIDIA GPUDirect Storage ka tapahia te kaiwawao CPU, ka kati nga raraunga mai i te NVMe ki te mahara GPU - he aha nga whakangungu-nui e hiahia ana [4].
Whakatikatika noa:
-
NVMe-katoa mo nga maramara whakangungu wera.
-
Ko nga punaha konae whakarara (Lustre, Spectrum Scale) mo te whakaputanga maha-node.
-
Ko nga kaieke Async me te sharding + prefetch kia kore ai e mangere nga GPU.
Nga Huringa Mahi mo te Whakahaere Pupuri AI 🛠️
-
Tiering : Nga pakaru wera i runga i te NVMe / SSD; pūranga huinga huinga ki ahanoa taumata matao ranei.
-
Dedup + delta : Rokirokihia nga rarangi turanga kotahi, pupuri noa i nga rereketanga + whakaatu.
-
Nga ture o te ora : Te taumata-aunoa ka mutu nga putanga tawhito [2].
-
3-2-1 resilience : Puritia i nga wa katoa nga kape maha, puta noa i nga momo panui, me te wehe tetahi [3].
-
Taputapu : Aroturuki te puta, p95/p99 toroatanga, i rahua te panui, puta ma te taumahatanga mahi.
He Take Tere (I Hanga engari Tikanga) 📚
Ka timata te roopu matakite me te ~20 TB i roto i te rokiroki ahanoa kapua. I muri mai, ka tiimata ratou ki te tarai i nga huingararaunga puta noa i nga rohe mo nga whakamatautau. Ko o raatau utu he poihau - ehara i te mea mai i te rokiroki, engari mai i nga haerenga ki waho . Ka nukuhia nga maramara wera ki te NVMe e tata ana ki te kahui GPU, ka pupuri i tetahi kape kano ki roto i te rokiroki ahanoa (me nga ture huringa ora), ka titi ko nga tauira e hiahiatia ana. Putanga: He pukumahi nga GPU, he hiroki nga pire, ka pai ake te akuaku raraunga.
Te Whakamahere Mahere Mahere Whakamuri-o-te-Kopaki 🧮
He tauira taratara mo te whakatau tata:
Raukaha ≈ (Raw Raraunga Raw) × (Taehanga Tukurua) + (Raraunga Tukatuka / Whakanuia) + (Tirotiro + Rangitaki) + (Tawhē Haumaru ~15–30%)
Na ka tirohia e te maataa ki te urunga. Mena ka mau tonu nga kaitautai mo ia-node ~ 2–4 GB/s, kei te titiro koe ki te NVMe, FS whakarara ranei mo nga huarahi wera, me te rokiroki ahanoa hei pono whenua.
Ehara i te mea mo te Mokowā anake 📊
Ka kii nga tangata i nga whakaritenga rokiroki AI , ka whakaahuahia nga terabyte, petabytes ranei. Engari ko te tino mahi he taurite: te utu me te mahi, te ngawari me te tutukitanga, te auaha me te pumau. Ko nga raraunga AI e kore e tere haere. Ko nga roopu e whakauru ana i te rokiroki ki roto i te hoahoa tauira ka karo wawe i te toremi i nga repo raraunga - a ka tere ake te whakangungu.
Tohutoro
[1] Russakovsky et al. ImageNet Tauine Nui Ahumahi Whakakitenga Wero (IJCV) — tauine huingararaunga me te wero. Hononga
[2] AWS — Amazon S3 Utu me nga utu (whakawhitinga raraunga, putanga, taumata o te ora). Hononga
[3] CISA — 3-2-1 tohutohu ture taapiri. Hononga
[4] NVIDIA Docs — GPUDirect Rokiroki tirohanga. Hononga
[5] ICO - UK GDPR ture mo nga whakawhitinga raraunga o te ao. Hononga