Ka peia e Edge AI te matauranga ki nga waahi i whanau ai nga raraunga. He ahua pai, engari he maamaa te whakaaro matua: mahia te whakaaro ki te taha o te pukoro kia puta nga hua inaianei, kaua i muri mai. Ka whiwhi koe i te tere, te pono, me te korero tūmataitinga tika me te kore te kapua e tiaki i nga whakatau katoa. Kia wetewete tatou - nga pokatata me nga rapu taha kei roto. 😅
Ngā tuhinga ka pai pea koe ki te pānui i muri i tēnei:
🔗 He aha te AI generative
He whakamarama marama mo te AI whakatipuranga, me pehea te mahi, me nga whakamahinga mahi.
🔗 He aha te AI agentic
Tirohanga mo te AI a te kaihoko, nga whanonga motuhake, me nga tauira tono o te ao.
🔗 He aha te tauineine AI
Akohia me pehea te whakatau i nga punaha AI kia pono, kia whai hua, kia whai hua hoki te utu.
🔗 He aha te anga rorohiko mo AI
Te wehenga o nga anga rorohiko AI, nga painga hoahoanga, me nga kaupapa taketake.
He aha te Edge AI? Te whakamārama tere 🧭
Ko te Edge AI te tikanga o te whakahaere tauira ako miihini kua whakangungua ki runga, ki te tata ranei ki nga taputapu e kohikohi ana i nga waea-raraunga, nga kamera, nga robots, nga motuka, nga kakahu kakahu, nga kaiwhakahaere ahumahi, ka tapaina e koe. Engari ki te tuku raraunga mata ki nga kaitoro tawhiti mo te tātari, ka tukatukahia e te taputapu nga whakaurunga ki te rohe ka tukuna he whakarāpopototanga anake, kaore rawa ranei. He iti ake nga haerenga a tawhio noa, he iti ake te takamuri, he nui ake te mana whakahaere. Mena kei te pirangi koe ki te whakamaarama maamaa, kaihoko-kore, timata mai i konei. [1]
He aha te mea ka whai hua a Edge AI? 🌟
-
He iti te roa - ka puta nga whakatau i runga i te taputapu, no reira ka tere tonu nga whakautu mo nga mahi tirohanga penei i te rapu ahanoa, te whakamohiotanga kupu, me nga matohi anomaly. [1]
-
Matatapu ma te rohe - ka noho tonu nga raraunga tairongo i runga i te taputapu, ka whakaiti i te puaretanga me te awhina i nga korerorero mo te whakaiti raraunga. [1]
-
Tiaki Aratuku - tukuna nga ahuatanga me nga huihuinga hei utu mo nga awa mata. [1]
-
Maamaa - ka mahi i te wa e hono ana.
-
Mana utu - he iti ake nga huringa rorohiko me te heke iho.
-
Te mārama ki te horopaki - ka "rongo" te taputapu i te taiao, ā, ka urutau.
Ko te pakiwaitara tere: i whakawhitia e te kaiurungi hokohoko te tukunga ake o nga kamera mo te whakarōpūtanga tangata me te ahanoa i runga i te taputapu, ka panaia nga tatau haora me nga topenga motuhake. Hua: iti-200 ms matohi i te taha o te whata me ~90% taka i roto i te hokohoko uplink-kaore e huri i nga kirimana WAN toa. (Tikanga: te pooti o te rohe, te whakahiato takahanga, nga kohikohiko anake.)
Edge AI me te kapua AI - te rereke tere 🥊
-
Ka puta te tatauranga: edge = on-device/near-device; kapua = pokapū raraunga mamao.
-
Whakaroa: taha ≈ wā-tūturu; he haerenga hokihoki a te kapua.
-
Te nekehanga o te Raraunga: nga whiriwhiringa mata/kopeke tuatahi; e pai ana te kapua ki nga tukunga pono.
-
Pono: kei te rere tuimotu te taha; Me hono te kapua.
-
Whakahaerenga: e tautoko ana te taha ki te whakaiti raraunga; ko te kapua te whakamau i te tirohanga. [1]
Ehara i te mea-ranei. Ko nga punaha atamai e whakakotahi ana i nga mea e rua: nga whakatau tere i te rohe, te hohonutanga o te tātaritanga me te ako o nga waka i waenganui. He hoha te whakautu ranu-he tika.
Me pehea te mahi a Edge AI i raro i te hood 🧩
-
pūoko i nga tohu mata-a-papa ororongo, pika kamera, pao IMU, tohu wiri.
-
Ko te tukatuka o mua ka hanga ano i aua tohu ki nga ahuatanga e pai ana ki te tauira.
-
Ko te wa mahi whakatau ka mahia he tauira kiato i runga i te taputapu ma te whakamahi i nga kaiwhakatere ina watea.
-
te tukatuka i nga putanga ki nga takahanga, tapanga, mahi whakahaere ranei.
-
a Telemetry i ngā mea whai hua: ngā whakarāpopototanga, ngā hapa, ngā urupare ā-wā rānei.
Ko ngā wā whakahaere i runga i te taputapu ka kitea e koe i te ao whānui ko te LiteRT a Google (i mua ko TensorFlow Lite), te ONNX Runtime , me te OpenVINO a Intel . Ka whakamahia e ēnei mekameka taputapu te kaha o te mana/mahara iti me ngā mahi tinihanga pēnei i te ine me te whakakotahitanga kaiwhakahaere. Mena he pai ki a koe ngā mea katoa, he pai ā rātou tuhinga. [3][4]
Kei hea e whakaatu ana - ko nga keehi whakamahi tuturu ka taea e koe te tohu ki 🧯🚗🏭
-
Te tirohanga ki te taha: nga kamera pere kuaha (te tangata me nga kararehe), te tirotiro i nga papa i roto i nga hokohoko, nga drones e kite ana i nga hapa.
-
Ororongo i runga i te taputapu: oho kupu, tohu, rapunga turuturu i roto i nga tipu.
-
IoT Ahumahi: Ko nga motuka me nga papua ka aro turukihia mo nga ngoikoretanga wiri i mua i te kore.
-
Automotive: te aro turuki i te taraiwa, te arai arai, te awhina waka-i-tuarua, te pupuhi ranei.
-
Tiaki Hauora: ka mau te haki i nga arrhythmias o te rohe; whakarāpopototanga tukutahi i muri mai.
-
Waea atamai: whakarei ake i te whakaahua, te kimi waea pāme, ngā wā "me pēhea taku waea i mahi ai i tērā tuimotu".
Mo nga whakamaramatanga okawa (me te korero whanaunga "kohu vs mata", tirohia te tauira ariā NIST. [2]
Ko te taputapu e tere ana 🔌
He maha nga waahi ka tirohia te ingoa:
-
NVIDIA Jetson - Ko nga waahanga hiko-GPU mo nga robots/kamera-Swiss-Army-knife vibes mo AI whakauru.
-
Google Edge TPU + LiteRT - he pai te whakataurite integer me te wa whakahaere mo nga kaupapa hiko-iti-iti. [3]
-
Apple Neural Engine (ANE) - ML i runga i te taputapu mo te iPhone, iPad, me te Mac; Kua whakaputahia e Apple nga mahi whaihua mo te whakamahi tika i nga kaihurihuri ki ANE. [5]
-
Ngā PTM/iGPU/NPU Intel me OpenVINO - "tuhi kotahi, whakatū ki hea" puta noa i ngā taputapu Intel; ka paahitia te arotautanga whai hua.
-
ONNX Runtime i nga waahi katoa - he wa whakahaere koretake me nga kaiwhakarato whakauru whakauru puta noa i nga waea, PC, me nga kuaha. [4]
Kei te hiahia katoa koe? Kaore rawa. Whiriwhiria tetahi ara kaha e pai ana ki to waka waka ka piri ki a ia-ko te churn te hoariri o nga kapa whakauru.
The software stack - poto haerenga 🧰
-
Tauira kōpeketanga: inenga (he maha ki te int8), tapahi, maturu.
-
Te whakaterenga taumata-kaiwhakahaere: nga kakano kua whakaritea ki to kirikiri.
-
Wā Whakahaere: LiteRT, ONNX Wā Whakahaere, OpenVINO. [3][4]
-
Nga takai tukunga: ipu/taupānga paihere; i etahi wa ko nga ratonga miihini i runga i nga kuaha.
-
MLOps mo te taha: Ko nga whakahoutanga tauira OTA, te whakaputa A/B, nga koropiko waea.
-
Ngā mana whakahaere tūmataiti me te haumarutanga: whakamunatanga i runga i te pūrere, whakaara haumaru, whakamanatanga, rohe.
Puta-iti: na te roopu arowhai i whakamaroke i te kaitirotiro taumahamaha ki roto i te tauira tauira tauira mo te LiteRT, katahi ka honoa te NMS ki runga taputapu. Kua pai ake te wa rere ~15% na te iti o te utu rorohiko; te tukunga ake o te rōrahi ka heke ki ngā tāpare motuhake. (Tikanga: kapohia nga huingararaunga i te waahi, te whakatikatika i muri i te rahinga, te aratau atarangi A/B i mua i te whakaputanga katoa.)
Ripanga whakataurite - nga whiringa Edge AI rongonui 🧪
Ko te korero pono: he whakaaro nui tenei tepu, he ahua puhoi-rite ki te ao tuuturu.
| Utauta / Pūhara | Te hunga whakarongo pai rawa atu | Papa tākaro utu | He aha te mahi i runga i te taha |
|---|---|---|---|
| LiteRT (ex-TFLite) | Android, kaihanga, whakauru | $ki $$ | Te wa whakahaere, nga tuhinga kaha, nga mahi pūkoro-tuatahi. He pai te mahi tuimotu. [3] |
| Wā Whakahaere ONNX | Nga kapa-whakawhitiwhiti | $ | Hōputu kūpapa, pūmārō pluggable backends-hoa-hoa. [4] |
| OpenVINO | Ko nga tukunga-a-Irana | $ | Kotahi te kete taputapu, he maha nga whaainga a Intel; paahi arotautanga pai. |
| NVIDIA Jetson | Robotics, vision-taimaha | $$ ki te $$$ | Whakatere GPU i roto i te pouaka tina; rauwiringa kaiao whanui. |
| Aporo ANE | iOS/iPadOS/macOS taupānga | utu taputapu | Te tuitui HW/SW kiki; he pai te tuhi i nga mahi whakawhiti ANE. [5] |
| Tapa TPU + LiteRT | Nga kaupapa hiko-iti-iti | $ | Int8 inference pai i te taha; iti engari kaha. [3] |
Me pehea te whiriwhiri i tetahi ara Edge AI - he rakau whakatau iti 🌳
-
He uaua ki to oranga i te waa? Tīmata ki te whakatere + tauira ine.
-
He maha nga momo taputapu? Pai ONNX Runtime or OpenVINO mo te kawe. [4]
-
Te tuku taupānga pūkoro? Ko te LiteRT te ara o te aukati iti. [3]
-
He karetao, he tātari kāmera rānei? Ka penapena wā ngā mahi a Jetson e pai ana ki te GPU.
-
Te tūnga tūmataitinga kaha? Puritia nga raraunga o te rohe, whakamuna i te okiokinga, nga whakahiato takiuru kaua nga papa mata.
-
Tiima iti? A ape i nga mekameka taputapu tawahi-he ataahua te hoha.
-
Ka huri tonu nga tauira? Whakamaherehia te OTA me te waea waea mai i te ra tuatahi.
Nga morearea, nga rohe, me nga moka hoha-engari-nui 🧯
-
Te heke tauira - ka huri te taiao; te aro turuki i nga tohatoha, whakahaere tikanga atarangi, whakangungu ano i ia wa.
-
Whakatauhia nga tuanui - ka kaha te mahara/kaha ki nga tauira iti ake, ki te tika ngawari ranei.
-
Haumarutanga - tango i te uru tinana; whakamahia te potae haumaru, nga taonga kua hainatia, te whakamana, nga ratonga iti rawa.
-
Whakahaerenga Raraunga - ka awhina te tukatuka a-rohe, engari me whakaae tonu koe, te pupuri, me te waea waea whanui.
-
Nga mahi waka - ka tuimotu nga taputapu i nga wa tino kino; hoahoa whakahōu whakaroa me te tukunga ake.
-
Te ranunga Talent - whakaurua + ML + DevOps he kaihopu motley; whakawhiti tereina moata.
He mahere huarahi whaihua hei tuku i tetahi mea whaihua 🗺️
-
Tīpakohia tetahi take whakamahi me te rapunga uara-koha ine i te Raina 3, ara te kupu i runga i te kaikorero atamai, etc.
-
Kohia he huingararaunga pai e whakaata ana i te taiao e whaaia ana; werohia te haruru kia rite ki te mooni.
-
Te tauira i runga i te kete dev e tata ana ki nga taputapu whakangao.
-
Kōpeke te tauira mā te ine/tapahi; ine tika te ngaronga tika. [3]
-
Tākaihia te whakatau ki roto i te API ma me te pehanga whakamuri me nga kurī-na te mea ka iri nga taputapu i te 2 karaka
-
Hoahoa waea waea e whakaute ana i te noho muna: tukuna nga kaute, histograms, waahanga-tangohia.
-
Whakapakeke te haumarutanga: kua hainatia nga taarua, he potae haumaru, he iti nga ratonga tuwhera.
-
Mahere OTA: te huri haere, nga kanari, te hoki whakamuri inamata.
-
Whakamātauria tētahi kēhi kokonga pōrearea i te tuatahi - ki te ora i reira, ka ora i hea atu.
-
Tauinehia ki tētahi pukapuka tākaro: me pēhea te tāpiri tauira, te huri i ngā kī, te pūranga raraunga - kia kore ai te kaupapa #2 e pōrearea.
Ngā Pātai Auau - ngā whakautu poto ki He aha ngā mea whakamiharo o Edge AI ❓
He tauira iti noa iho rānei te whakahaere a Edge AI i runga i tētahi rorohiko iti?
Ae, ko te nuinga o te wā - engari ehara i te rahi te kaupapa matua. E pā ana hoki ki ngā tahua whakaroa, ki ngā oati tūmataitinga, me te whakarite i ngā taputapu maha e mahi ana i te rohe engari e ako ana i te ao whānui. [1]
Ka taea e au te whakangungu i te taha?
Kei te wātea te whakangungu māmā/whakawhaiaro i runga i te taputapu; kei te whakahaerehia tonutia te whakangungu taumaha. Ka tuhia e ONNX Runtime ngā kōwhiringa whakangungu i runga i te taputapu mēnā he tangata hihiko koe. [4]
He aha te Edge AI me te rorohiko kohu?
Ko te kohu me te taha he whanaunga. Ko nga mea e rua ka tata atu te rorohiko ki nga puna raraunga, i etahi wa ma nga kuaha tata. Mō ngā whakamārama ōkawa me te horopaki, tirohia te NIST. [2]
Ka whakapai ake tonu te Edge AI i te tūmataitinga?
He āwhina - engari ehara i te mea makutu. Me whakaiti tonu, me haumaru ngā ara whakahou, me te tuhi tupato. Whakaarohia te tūmataitinga hei tikanga, kaua hei pouakataki.
Nga ruku hohonu ka panui pea koe 📚
1) Te arotautanga tauira e kore e pakaru te tika
Ka taea e te ine te whakaheke i te mahara me te tere ake o nga mahi, engari me whakatika ki nga raraunga tohu, ma te tauira ranei ka whakapohehe i nga squirrels kei reira nga porohita waka. Maamaa-kaiako e arahi ana i te akonga iti-he maha nga wa e pupuri ana i nga tohu. [3]
2) Nga wa mahi whakatauira tapa i roto i nga mahi
Ko te kaiwhakamaori a LiteRT he putunga mahara iti-iti i te wa whakahaere. Ka hono atu a ONNX Runtime ki nga momo whakaterenga ma nga kaiwhakarato mahi. Ehara hoki i te matā hiriwa; he hama totoka e rua. [3][4]
3) Te pakari i te ngahere
Te wera, te puehu, te mana marumaru, te Wi-Fi slapdash: hangaia he kaitutei hei whakaara ano i nga paipa, nga whakatau keteroki, me te hohou i te hokinga mai o te whatunga. He iti ake te ataahua i nga upoko aro-he mea nui ake.
Te kīanga ka whakahuatia e koe i ngā hui - He aha te Edge AI 🗣️
Ka whakanekehia e Edge AI te maaramatanga kia tata atu ki nga raraunga kia tutuki ai nga herenga o te roanga, te tūmataiti, te bandwidth, me te pono. Ko te makutu ehara i te maramara kotahi, i te anga ranei-he maataki te whiriwhiri i nga mea hei tatau ki hea.
He Korero Whakamutunga - He Roa, Kare I Panui 🧵
Ka whakahaerehia e te Edge AI ngā tauira e tata ana ki ngā raraunga kia tere ai, kia tūmataiti ai, kia pakari ai hoki ngā hua. Ka whakakotahi koe i te whakatau ā-rohe me te tirotiro kapua mō ngā painga e rua. Kōwhiria he wā whakahaere e ōrite ana ki ō taputapu, whakawhirinaki ki ngā whakatere ina taea e koe, kia noho pai ngā tauira me te kōpeketanga, me te hoahoa i ngā mahi o te waka rererangi me te mea kei runga i tō mahi - nā te mea, āe, tera pea. Ki te pātai mai tētahi he aha te Edge AI, me kī atu: ngā whakatau atamai, i mahia ā-rohe, i te wā tika. Kātahi ka menemene ka huri i te kaupapa ki ngā pākahiko. 🔋🙂
Ngā Tohutoro
-
IBM - He aha te Edge AI? (whakamaramatanga, painga).
https://www.ibm.com/think/topics/edge-ai -
NIST - SP 500-325: Kohu Computing Conceptual Model (he horopaki ōkawa mō te kohu/te taha).
https://csrc.nist.gov/pubs/sp/500/325/final -
Google AI Edge - LiteRT (te TensorFlow Lite i mua) (waa whakahaere, ine, hekenga).
https://ai.google.dev/edge/litert -
Wā Oma ONNX - Whakangungu i runga i te Pūrere (wamahi kawe + whakangungu i runga i nga taputapu tapa).
https://onnxruntime.ai/docs/get-started/training-on-device.html -
Rangahau Ako Miihini a Apple - Te Whakatahuri i nga Kaihuri ki runga i te Apple Neural Engine (nga tuhipoka pai ANE).
https://machinelearning.apple.com/research/neural-engine-transformers