IoT ve Görüntü: Sensör Verisiyle Kameranın Birlikte Çalışması
IoT entegrasyonu: sıcaklık, basınç ve konum sensörlerinin görüntü analitiğiyle birlikte tek platformda değerlendirilmesi.
Yazar: CX Teknoloji Uzman Ekibi
IoT ve görüntü entegrasyonu, sıcaklık, basınç, enerji ve konum sensörlerinden gelen ölçümlerle kamera olaylarının aynı platformda ve aynı zaman ekseninde değerlendirilmesidir. Sensör neyin değiştiğini kesin bir değerle söyler, kamera o anda sahada ne olduğunu gösterir; ikisini birlikte okuyan kural motoru, tek kaynağın veremeyeceği bileşik uyarılar ve raporlar üretir.
Kamera bağlamı verir, sensör kesinliği. Basınç düştüğünde sensör bilir, ama neden düştüğünü kamera gösterir. IoT ve görüntü verisinin tek platformda buluşması, kök neden analizini dakikalar seviyesine indirir.
Sensör ve kamera neden birbirini tamamlar?
Sensörün güçlü yanı kesinlik ve süreklilik: bir basınç transmitteri değeri sürekli ve sayısal verir, ışıktan ya da açıdan etkilenmez. Zayıf yanı bağlamsız olmasıdır; değerin değiştiğini söyler ama nedenini söylemez. Kamera bunun tersidir: sahnede kim var, hangi kapak açık, hangi araç yaklaştı, hepsini gösterir; ama bir borudaki basıncı ölçemez. İkisi birlikte okunduğunda soru “ne oldu?” olmaktan çıkar, “neden oldu?” sorusuna döner. Bu yaklaşımın daha geniş çerçevesini multimodal sensör füzyonu yazımızda ele aldık.
Tamamlayıcılık kalibrasyonda da işe yarar. Kamera tarafında bir olayın gerçekten yaşanıp yaşanmadığı, sensör verisiyle çapraz kontrol edilebilir; sensör tarafında sürekli tekrarlayan bir uyarının fiziksel bir karşılığı olup olmadığı görüntüyle doğrulanır.
Ortak zaman çizelgesi
Tüm veri kaynakları aynı zaman ekseninde toplanır: sensör okuması, kamera olayı, PLC sinyali ve operatör girişi. Bir olayın öncesi ve sonrası tek bir zaman şeridinde okunur.
Bunun ön koşulu saat senkronizasyonudur. Kamera, edge sunucu, PLC ve sensör ağ geçidi farklı saatlerle çalışıyorsa olay sırası yanlış okunur; kapının sıcaklık artışından önce mi sonra mı açıldığı belirsizleşir. Tüm cihazların aynı zaman kaynağına (ör. NTP sunucusu) bağlanması ve kurulumda bir test olayıyla sapmanın kontrol edilmesi gerekir. Ardından her kaynağın ritmi tanımlanır: sensör değerleri sürekli akarken kamera tarafı yalnız olay ürettiğinde kayıt düşer. Zaman şeridi bu iki ritmi yan yana ve karşılaştırılabilir biçimde göstermelidir.
Protokoller
MQTT ve OPC UA üzerinden veri toplanır; kural motoru her iki kanalı birlikte değerlendirir. "Sıcaklık eşiği aşıldı VE bölgede personel var" gibi bileşik kurallar yazılabilir hâle gelir.
Sahada en sık karşılaştığımız düzen şöyle: PLC ve SCADA tarafındaki değerler bir OPC UA sunucusundan okunur, kablosuz ya da bağımsız sensörler bir MQTT broker'a yayın yapar. Analitik sistem kendi olaylarını da REST API ve MQTT üzerinden yayınlar; böylece mevcut MES, ERP, VMS ve alarm altyapısına bağlanır. Kural motorunda sensör değerleri için eşik ve süre, kamera olayları için bölge ve olay tipi tanımlanır. Bileşik kuralda iki koşulun hangi zaman penceresi içinde birlikte gerçekleşmesi gerektiği de yazılır. Pencere çok dar tutulursa gerçek olaylar kaçar, çok geniş tutulursa ilgisiz olaylar eşleşir; doğru pencere kalibrasyon döneminde sahada ayarlanır.
Bileşik kurala birkaç örnek: “Kazan basıncı eşiğin üzerinde VE bakım kapağı açık”, “Soğuk depo sıcaklığı yükseliyor VE kapı bölgesinde hareket yok”, “Hat durdu VE istasyonda operatör yok”. Her birinde sensör tek başına bir uyarı üretirdi; kamera bağlamı eklendiğinde uyarı ya önceliklendirilir ya da gereksiz olduğu anlaşılır.
Uygulama örneği
Akıllı aydınlatma projelerimizde doluluk verisi kameradan, tüketim verisi enerji sayacından geliyor; tasarruf raporu iki kaynağın birleşimiyle üretiliyor. Tek kaynakla bu rapor yazılamaz.
Aynı mantık farklı sahalarda da işe yarıyor. Bir kazan dairesinde sıcaklık uyarısı geldiğinde kamera o bölgede kişi olup olmadığını söyler ve uyarının önceliği buna göre değişir. Bir soğuk depoda kapı sensörü açık kaldığında kamera, kapının bir forklift geçişi için mi açık tutulduğunu yoksa unutulduğunu mu gösterir. Enerji tarafında tüketim verisini doluluk ve hat hareketiyle birleştirmek, boşta çalışan ekipmanı bulmanın pratik yoludur; ayrıntısı enerji verimliliği analitiği yazısında.
Veri hacmi ve saklama
Sensör verisi ile görüntü verisinin hacmi çok farklıdır ve aynı biçimde saklanmaz. Sensör değerleri küçük ama süreklidir; zaman serisi olarak tutulur ve uzun süre saklanması görece kolaydır. Görüntü tarafında ise analitik ham videoyu sürekli arşivlemez; kamera olayları, olay kaydı ve kısa klip olarak tutulur. Zaman şeridi bu iki kaynağı birleştirirken sensör verisinin tamamını, görüntünün ise olay anlarını gösterir. Sensör grafiğinde fark edilen bir sapmanın o anına ait klip yoksa, mevcut kayıt sisteminin arşivine bağlantı verilir. Varsayılan kurulumda işleme tesis içindeki edge sunucuda yapılır ve ham video buluta gönderilmez; istenirse işleme bulutta da yapılabilir.
Kurulumda dikkat edilecekler
Entegrasyon projelerinde en çok zaman alan iş teknik bağlantı değil, veri envanteridir: hangi sensör hangi etiketle yayın yapıyor, birimi ne, hangi makineye ve hangi bölgeye ait? Bu liste çoğu tesiste dağınıktır ve projenin başında derlenir. Kamera tarafında bölgelerin sensör konumlarıyla eşleştirilmesi gerekir; “kazan dairesi” sensör listesinde bir etiket, kamera tarafında çizilmiş bir alan olarak aynı adla tanımlanmalıdır. İkinci konu yetki: üretim ağına (OT) erişim, BT ve bakım ekiplerinin onayını gerektirir. Analitik sistemin PLC'ye yalnız okuma yetkisiyle bağlanması ilk aşama için güvenli varsayılandır. Röle, siren ya da hat durdurma gibi kontrol çıkışları gerekiyorsa bunlar ayrı bir risk değerlendirmesiyle, sonraki aşamada eklenir.
Nereden başlamalı?
İlk adım olarak, sensör uyarısının sık geldiği ama nedeninin çoğu zaman bilinmediği tek bir süreç seçmenizi öneriyoruz. Mevcut sensör verisi ile o bölgeyi gören kameralar aynı zaman şeridine alınır ve kural yazılmadan önce bir süre yalnızca izlenir. Bu izleme dönemi, hangi bileşik koşulların gerçekten anlamlı olduğunu gösterir. Ardından birkaç bileşik kural yazılır, kalibre edilir ve sonuçlar operatörlerle birlikte değerlendirilir. İlk süreçte oturtulan yapı — veri envanteri, zaman senkronizasyonu, kural şablonları — diğer süreçlere büyük ölçüde aynen taşınır.
Sık sorulan sorular
Hangi protokollerle veri topluyorsunuz?
Veri toplama MQTT ve OPC UA üzerinden yapılır. PLC ve SCADA değerleri çoğunlukla bir OPC UA sunucusundan, bağımsız sensörler bir MQTT broker üzerinden gelir. Analitik olaylar REST API ve MQTT üzerinden yayınlandığı için mevcut MES, ERP, VMS ve alarm altyapınıza bağlanır. Farklı protokol kullanan eski ekipmanlar için keşifte ara ağ geçidi seçeneği değerlendirilir.
Mevcut kameralar ve sensörler kullanılabilir mi?
Çoğu durumda evet. Kamera tarafında RTSP akışı veren, ONVIF uyumlu IP kameralar tesis içindeki edge sunucuya bağlanır. Sensör tarafında verinin zaten bir PLC, SCADA ya da MQTT broker üzerinde toplanıyor olması işi kolaylaştırır. Keşif aşamasında hangi kameranın açısının yeterli olduğu ve hangi sensör verisinin okunabildiği tek tek listelenir.
Sistem PLC'ye komut gönderir mi?
İlk aşamada önerimiz hayır: analitik sistem PLC ve SCADA verisini yalnız okur. Bu, üretim ağının güvenliği ve BT onayı açısından en temiz başlangıçtır. Kontrol çıkışı gerekiyorsa — alarm rölesi, siren ya da konveyör durdurma — bu çıkışlar ayrı bir risk değerlendirmesiyle, hangi koşulda tetikleneceği ve kimin devre dışı bırakabileceği yazılı olarak tanımlanıp eklenir.
Bileşik kurallar yanlış alarmı artırmaz mı?
Genellikle tersine etki eder. Tek başına bir sensör eşiği ya da tek başına bir kamera olayı yerine iki koşulun birlikte aranması, ilgisiz tetiklemeleri eler. Kritik ayar, iki koşulun hangi zaman penceresinde eşleşeceğidir. Bu pencere ve eşikler kalibrasyon döneminde sahadaki gerçek olaylarla ayarlanır; yanlış alarm kaynakları işaretlenip kurala geri yansıtılır.