Yeni Nesil Edge AI Donanımı: Bir Kutuda 64 Kamera

Edge AI donanımı rehberi: NPU ile GPU farkı, INT8 nicemleme, TOPS yerine watt başına kamera ölçütü ve bir kutunun kaç kamerayı gerçekten işlediği.

Yazar: CX Teknoloji Uzman Ekibi

Yeni nesil edge AI donanımı, görüntü analitiğini sunucu odasından çıkarıp kameraya yakın, düşük güçlü kutulara taşıyor: NPU hızlandırıcılar ve INT8 nicemleme sayesinde aynı model daha az enerji ve bellekle çalışabiliyor. Seçimde bakılacak ölçü TOPS değil, watt başına gerçek zamanlı işlenen kamera sayısıdır; bir kutunun kaç kamera taşıdığı ise modele, çözünürlüğe ve kare hızına bağlıdır.

Edge AI donanımı nedir, hangi türleri vardır?

Kısa süre öncesine kadar çok kameralı gerçek zamanlı analiz, sunucu odası ve ciddi bir soğutma bütçesi demekti. Bugün standart tespit iş yükleri avuç içi büyüklüğündeki modüllerde de çalışabiliyor; görüntü analitiğinin küçük tesislere ve dağıtık sahalara yayılmasının önemli nedenlerinden biri bu. Sahada üç sınıf öne çıkar: hareket ya da çizgi geçişi gibi hafif analizleri kendi içinde yapan kamera içi işlemciler; bir istasyonda, kapıda ya da forklift üstünde birkaç kamerayı işleyen gömülü NPU veya GPU modülleri; veri odasında çok sayıda kamerayı ve ağır modelleri taşıyan GPU'lu edge sunucular.

Üçü de aynı zinciri çalıştırır: kameranın H.264 veya H.265 RTSP akışını çözmek, kareyi modelden geçirmek, takip ve kural katmanında olayı doğrulamak. Fark, bu zincirin ne kadarını, kaç kamera için ve ne kadar enerjiyle taşıdıklarındadır. Katmanları RTSP'den edge GPU'ya görüntü analitiği mimarisi yazısında anlattık.

NPU, GPU ve CPU arasındaki fark nedir?

CPU genel amaçlıdır; sıralı ve karmaşık işlerde güçlüdür, ama sinir ağlarının yoğun matris çarpımlarını çok kameralı gerçek zamanlı akışta yetiştirmekte zorlanır. GPU çok sayıda basit çekirdeği paralel çalıştırır ve geniş bir işlem yelpazesini destekler; eğitimde kullanılan model sahaya en az değişiklikle taşınır. Çoğu GPU ayrıca donanım video çözücü barındırır ve kareyi kendi belleğinde modele hazırlar.

NPU (sinirsel işlem birimi) yalnız çıkarım için tasarlanmış, düşük sayısal hassasiyetteki matris işlemlerine odaklanan bir hızlandırıcıdır; fansız ve kompakt kutularda kullanılabilmesi düşük güç hedefinden gelir. Bedeli esnekliktir: NPU derleyicisi her katman tipini desteklemez, desteklenmeyen katmanlar işlemciye düşer ve kazanç hızla erir. Bir modelin NPU'da verimli çalışıp çalışmayacağı veri sayfasından değil, hedef araç zinciriyle derlenip ölçülerek anlaşılır.

INT8 nicemleme nedir, doğruluğu nasıl etkiler?

Modeller genellikle 32 bit kayan noktalı sayılarla (FP32) eğitilir. INT8 nicemleme ağırlıkları ve ara çıktıları 8 bit tam sayıya indirger; her değer dört yerine bir bayt kapladığı için ağırlıkların bellek ihtiyacı dörtte bire iner, tam sayı birimleri hesabı daha hızlı ve daha az enerjiyle yapar. NVIDIA araştırmacılarının yayımladığı bir çalışmada, önerilen 8 bit nicemleme iş akışıyla incelenen tüm ağlarda doğruluk FP32 referansının %1'i içinde tutulabilmiştir; zor ağlarda bunun için nicemlemeyi hesaba katan eğitim gerekmiştir.

Buradaki kilit kelime kalibrasyon. Eğitim sonrası nicemleme, sahayı temsil eden örnek bir veri kümesiyle yapılır; gece IR görüntüsü, ters ışık ya da tozlu lens bu kümede yoksa nicemlenmiş model tam da bu koşullarda zayıflar. Kayıp riski baret ve koruyucu gözlük gibi kadrajda az piksel kaplayan sınıflarda belirginleşir. Bu yüzden nicemlenmiş modeli orijinaliyle aynı saha test kümesinde yeniden ölçüyor ve farkı raporluyoruz. Nicemleme bir derleme adımı değil, doğrulama gerektiren bir model değişikliğidir; yaşam döngüsündeki yerini MLOps yazısında anlattık.

TOPS neden yanıltıcı, watt başına kamera neden doğru ölçüt?

Veri sayfalarındaki TOPS teorik tepe kapasitedir ve çoğunlukla en düşük hassasiyette verilir. Örneğin NVIDIA, Jetson AGX Orin serisinin yapay zekâ performansını seyrek (sparse) INT8 TOPS olarak belirtir. Gerçek iş yükünde bellek bant genişliği, desteklenmeyen katmanlar, ön işleme ve son işleme bu tepeye ulaşılmasını engeller; aynı TOPS değerindeki iki cihazın aynı modelde farklı kamera kapasitesi vermesi şaşırtıcı değildir.

Doğru karşılaştırma metriği ne TOPS ne fiyattır: watt başına gerçek zamanlı kamera sayısı. Ölçüm kendi modelinizle, kendi çözünürlük ve kodeğinizle, çözümlemeden kural motoruna kadar tüm hat açıkken yapılmalıdır. Enerji düştükçe kamera başına aylık işletme gideri de düşer; ROI hesabı buradan kazanır. Üç değişkene dikkat edin: model boyutu, giriş çözünürlüğü ve analiz edilen kare hızı. Her kamera her saniye aynı yoğunlukta analiz gerektirmez; otopark girişinde seyrek örnekleme yeterliyken forklift–yaya mesafesinde daha sık örnekleme gerekir. Kameranın alt akışını analize, ana akışını kanıt klibine ayırmak da yükü belirgin azaltır.

Bir kutu kaç kamerayı gerçekten işler? Başlıktaki 64 ne anlatıyor?

Başlıktaki kamera sayısı bir donanım eğilimini anlatır, bir kapasite sözü değildir. Tek kutuda onlarca kamera işlendiğini söyleyen rakamlar genellikle hafif bir modelle, düşük çözünürlüklü alt akışla ya da her kare yerine belirli aralıklarla analizle elde edilir. Bu ödünler doluluk gibi yavaş değişen durumlar için kabul edilebilir; düşme gibi hızlı olaylarda ya da KKD gibi küçük nesnelerde olay kaçırma riskini artırır. Video çözücü de ayrı bir sınırdır: NVIDIA'nın Jetson AGX Orin 64GB için verdiği donanım çözme kapasitesi 22 adet 1080p30 H.265 akıştır. Yani kamera sayısını çoğu zaman hızlandırıcıdan önce çözücü belirler.

Referans olarak çözüm sayfalarımızda GPU'lu tek sunucu için verilen tipik değer, KKD gibi tespit iş yüklerinde 8–16 kameradır. Güvenli davranış ve poz analizi gibi ağır modellerde kapasite 6–10 kameraya iner; poz modeli her kişi için 17 eklem noktası hesapladığından sahnedeki kişi sayısı arttıkça iş yükü de artar. Tedarikçiye sorulacak soru nettir: bu kamera sayısı hangi model, hangi çözünürlük ve hangi kare hızıyla, çözümleme dahil mi ölçüldü? Bir kutunun sizin sahanızda kaç kamera taşıdığı pilotta ölçülür.

Ne zaman NPU, ne zaman GPU seçilmeli?

Standart tespit ve takip iş yükleri NPU'da ekonomik çalışır: model seti sabit, enerji ve alan kısıtı olan noktalar, dağıtık kapılar, araç üstü uygulamalar ve sunucu odası olmayan sahalar bu gruba girer. Kararın hattın yanında verilmesi gereken işlerde de işlemi istasyona taşımak mantıklıdır; varlık/yokluk ve montaj denetiminde istasyon başına karar 200 ms'nin altında verilir ve sistem PLC ile senkron çalışır.

Segmentasyon, poz tahmini ve görsel-dil modelleri gibi ağır iş yükleri, aynı akışta birden fazla model ve sık değişen özel modeller GPU'da daha rahat yönetilir; poz modeli GPU gerektirir. Yeni bir mimari çıktığında NPU derleyicisinin onu desteklemesi zaman alabilir, GPU ise genellikle ek dönüşüm gerekmeden çalıştırır. Önerdiğimiz yaklaşım çoğu sahada hibrittir: yeni senaryo önce GPU'da doğrulanır, kararlı hâle geldiğinde nicemlenip NPU'ya taşınır. Kademeli çalışma da aynı mantıktadır: hafif tespit sürekli döner, ağır yorumlama yalnız işaretlenen olaylarda devreye girer; ayrıntı için görsel-dil modelleri yazısına bakabilirsiniz.

Enerji ve ısı sahada neden önemli?

Tüketilen her watt ısıya döner; ısı da sahadaki en yaygın arıza sebeplerinden biridir. Klimalı sistem odasında sorun çıkarmayan bir GPU sunucusu, üretim holündeki bir pano içine konduğunda toz çeker, ısınır ve kendini yavaşlatır; laboratuvarda ölçülen kamera kapasitesi sahada tutmayabilir. Düşük güçlü kutular kameraya yakın konumlandırılabildiği için kablolama ve ağ tasarımını da sadeleştirir: uzun mesafeli video taşımak yerine analiz sahada yapılır, merkeze yalnız olay verisi gider. Güç düştükçe kesintisiz güç kaynağı ihtiyacı da küçülür. Donanım seçerken etiket gücüne değil, gerçek iş yükü altında ve kutunun konacağı ortama yakın sıcaklıkta ölçülen tüketime bakıyoruz.

Görüntü nerede işlenir: edge mi, bulut mu?

Donanımın küçülmesi edge-bulut tartışmasını da değiştirdi. Varsayılan kurulumumuz tesis içi edge sunucudur; buluta ham video gönderilmez, dışarıya yalnız olay bildirimi ve istenirse kısa olay klibi gider, istenirse işleme bulutta da yapılabilir. İnternet kesintisinde analiz durmaz ve yüz tanıma yapılmadığı için 6698 sayılı KVKK kapsamındaki uyum işi sadeleşir. Karşılaştırmayı edge ve bulut yazısında ele aldık.

Donanım seçerken hangi sorular sorulmalı?

• Hangi modeller çalışacak ve NPU derleyicisi bu modellerin tüm katmanlarını destekliyor mu?
• Video çözme donanımda mı yapılıyor ve hedef kodek/çözünürlükte kaç akışı çözebiliyor?
• Kutu nerede duracak: fansız kasa, geniş çalışma sıcaklığı aralığı ve ray montajı gerekiyor mu?
• Uzaktan güncelleme ve izleme nasıl yapılacak; onlarca kutu tek tek sahaya gidilerek yönetilemez.
• Kameralar ONVIF/RTSP ile bağlanıyor mu; model ONNX gibi taşınabilir bir ara biçimle başka donanıma aktarılabiliyor mu?
• İkinci bir senaryo eklendiğinde kapasite yedeği kalıyor mu?

Çok sayıda edge kutusu nasıl işletilir?

Kutular dağıtık olduğu için arıza, disk dolması ya da kamera bağlantı kopması merkezden izlenmelidir; her kutunun sağlık durumu, sıcaklığı, çalışan model sürümü ve işlenen kamera sayısı tek panelde görünmelidir. Farklı donanımlar varsa her model sürümü her hedef için ayrı derlenir, nicemlenir ve doğrulanır. Güncelleme aşamalı yapılır: önce tek bir kutuda eski sürümle karşılaştırılır, ölçüm tamamsa yaygınlaştırılır, sorun çıkarsa geri alınır. Kurulum planında donanım listesinin yanında izleme, güncelleme ve arıza müdahale sorumluluklarının kimde olduğu da yazılı yer alır.

Çoğu tesiste mevcut IP/CCTV kameralar kullanılabildiği için asıl yatırım kalemi kamera değil işlem donanımıdır ve bu kalem ölçülerek boyutlandırılmalıdır. Hazır çözümlerde kurulum tipik olarak bir hafta içinde tamamlanır, ardından 30 günlük pilotta kapasite, gecikme, enerji ve nicemleme sonrası doğruluk birlikte kaydedilir. CX Teknoloji kurulum öncesinde kamera envanterini ücretsiz değerlendirir.

Sık sorulan sorular

Edge AI nedir, görüntü analitiğinde ne işe yarar?

Edge AI, yapay zekâ modelinin verinin üretildiği yere yakın bir cihazda, örneğin tesisteki GPU'lu sunucuda ya da kompakt bir NPU modülünde çalıştırılmasıdır. Kamera akışı buluta gönderilmeden yerinde işlenir; karar gecikmesi öngörülebilir olur, internet hattına ham video yükü binmez ve görüntü tesisten çıkmaz. Dışarıya yalnız olay kaydı ve istenirse kısa klip aktarılır.

NPU mu, GPU mu almalıyım?

İş yüküne bağlı. KKD, alan ihlali ya da araç tespiti gibi standart tespit ve takip NPU'da ekonomik çalışır. Segmentasyon, poz tahmini ve görsel-dil modelleri gibi ağır iş yükleri ile sık değişen özel modeller GPU'da daha rahat yönetilir; poz modeli GPU gerektirir. Çoğu tesiste hibrit yapı en dengeli sonucu verir: rutin akışlar NPU'da, derin analiz gereken kameralar GPU'da. Karar keşifte senaryo listesine göre verilir.

INT8 nicemleme doğruluğu düşürür mü?

Düşürebilir; kaybın büyüklüğü modele, kalibrasyon verisine ve nesne tipine bağlıdır. Yayımlanmış bir NVIDIA çalışmasında uygun iş akışıyla incelenen tüm ağlarda doğruluk FP32'nin %1'i içinde tutulabilmiştir, ancak bazı ağlarda nicemlemeyi hesaba katan eğitim gerekmiştir. Kalibrasyon kümesi gece ve ters ışık görüntüsünü içermelidir. Nicemlenmiş model yayına alınmadan önce saha test kümesinde yeniden ölçülür.

Bir edge kutusu kaç kamera işler?

Tek bir sayı vermek yanıltıcı olur; kapasite model boyutuna, giriş çözünürlüğüne, kare hızına ve video çözücünün sınırına bağlıdır. Referans olarak çözüm sayfalarımızda GPU'lu tek sunucu için KKD gibi tespit iş yüklerinde 8–16, poz modelinde 6–10 kamera veriliyor. Hafif model ve seyrek kareyle bu sayı artabilir; kesin değer pilotta sizin kameralarınız ve senaryolarınızla ölçülür.

TOPS değeri yüksek olan cihaz daha mı iyidir?

Her durumda değil. TOPS, genellikle en düşük hassasiyette (çoğu zaman INT8) ve ideal koşulda verilen teorik tepe kapasitedir. Gerçek kamera kapasitesini bellek bant genişliği, video çözücü, desteklenmeyen model katmanları ve ön-son işleme belirler. Doğru karşılaştırma, kendi modelinizle ve tüm hat açıkken ölçülen watt başına gerçek zamanlı kamera sayısıdır.

Mevcut kameralarım edge kutusuyla çalışır mı?

ONVIF/RTSP akış veren IP kameraların büyük çoğunluğu çalışır; edge kutusu kameraya değil akışa bağlanır. Analiz için çoğu zaman kameranın düşük çözünürlüklü alt akışı yeterlidir, ana akış kanıt klibi için kullanılır. Kurulum öncesinde kamera envanteri ücretsiz değerlendirilir; açı, çözünürlük ve aydınlatma açısından uygun noktalar kamera bazında raporlanır.