Sensör Füzyonu: Kamera, Ses ve Titreşimi Birlikte Okumak

Çok modlu sensör füzyonu ile arıza ve olay tespiti: görüntü, akustik ve titreşim verisinin birleşik analizi.

Yazar: CX Teknoloji Uzman Ekibi

Çok modlu sensör füzyonu, kamera görüntüsünü akustik, titreşim, termal ve gaz sensörü gibi başka kanallarla aynı zaman ekseninde birleştirip tek bir olay kararı üretmektir. Tek kanalın kaçırdığı ya da yanlış yorumladığı durumlar ikinci bir kanalın doğrulamasıyla yakalanır; iki bağımsız kanalın aynı anda sapması şart koşulduğunda yanlış alarm da azalır.

Kamera çok şey görür ama her şeyi görmez. Rulman arızası önce sesle, kalıp aşınması önce titreşimle, gaz kaçağı önce sensörle belli olur. Çok modlu füzyon, bu kanalları tek modelde birleştirerek tekil sensörlerin kaçırdığı olayları yakalar.

Hangi kanal neyi erken görür?

Her sensörün güçlü olduğu bir zaman dilimi vardır. Titreşim sensörü rulman ve mil kaynaklı sorunları görünür bir iz oluşmadan önce yakalar. Akustik kanal sürtünmeyi, hava kaçağını ve anormal tıkırtıyı duyar. Termal kamera aşırı ısınan motoru ya da pano bağlantısını gösterir; ayrıntılar termal kamera analitiği yazısında. Normal kamera ise olayın bağlamını verir: o sırada makinenin başında biri var mı, bir müdahale yapılıyor mu, hat çalışıyor mu. Füzyonun işi bu kanalları ortak zaman damgasıyla hizalamaktır.

Akustik analitik

Endüstriyel mikrofonlar, makine sesinin frekans imzasını sürekli izler. Normalden sapan bir tıkırtı, görüntüde hiçbir iz bırakmadan arızayı haber verir. Kamera ile eşleştiğinde ise bağlam kazanır: "3. istasyonda anormal ses + operatör müdahalesi" tek olay olarak raporlanır.

Akustik modelde en zor kısım, fabrikanın normal gürültüsünü öğrenmektir. Yan hattaki pres, forklift kornası, havalandırma: bunlar her an duyulur ve anormal sayılmamalıdır. Bu yüzden akustik model makineye yakın konan mikrofonla ve o makinenin farklı çalışma rejimlerinde toplanan veriyle eğitilir. Ürün değişimi ya da hız ayarı ses imzasını değiştirdiği için, MES'ten gelen reçete bilgisi modele bağlam olarak verilir.

Mikrofon yerleşimi de kamera yerleşimi kadar önemlidir. Makineden uzak konan mikrofon çevre gürültüsünü duyar, makinenin kendi sesini kaybeder. Kapalı muhafaza içindeki bir dişli kutusu için mikrofon yerine doğrudan gövdeye bağlanan titreşim sensörü daha doğru bir seçim olabilir.

Füzyonun avantajı

Yanlış alarm, iki bağımsız kanalın aynı anda sapmasını gerektirdiğinde radikal biçimde düşer. Yangın erken uyarısında görüntü + termal + akustik birleşimi, tek kanallı sistemlerin çok üstünde güvenilirlik verir.

Ancak iki kanalı birden şart koşmak, bir kanalın tek başına gördüğü gerçek olayı kaçırma riskini doğurur. Bu yüzden kritik senaryolarda kural iki kademeli kurulur: tek kanaldaki sapma düşük öncelikli bir uyarı, iki kanalın birlikte sapması yüksek öncelikli bir alarm üretir.

Gaz kaçağında da benzer bir mantık işler: sabit gaz dedektörü konsantrasyonu ölçer ama bulutun nereye gittiğini göstermez; kamera görünür buharı ve bölgedeki kişileri görür. İkisi birleştiğinde uyarı hem doğrulanmış hem konumlu olur. Gaz kaçağı tespiti yazısında bu birlikteliği ayrıntılı ele aldık. Görüntü tarafındaki yangın modelinin nasıl kurulduğunu yangın ve duman tespiti çözüm sayfasında görebilirsiniz.

Füzyon hangi seviyede yapılır?

Birleştirmenin iki yaygın yolu var. Erken füzyonda ham ya da ön işlenmiş sinyaller tek modele birlikte verilir; model kanallar arasındaki ince ilişkiyi öğrenebilir ama çok miktarda eşzamanlı veri ister. Geç füzyonda her kanalın kendi modeli bağımsız karar verir, bir üst katman bu kararları birleştirir. Sahada çoğunlukla geç füzyonla başlıyoruz: her kanal ayrı test edilebilir, bir sensör arızalandığında sistem tamamen körleşmez ve alarmı hangi kanalın tetiklediği açıkça görülür. Erken füzyona, yeterli eşzamanlı veri biriktikten ve kanallar arasındaki ilişkinin gerçekten değer kattığı görüldükten sonra geçilebilir. Zamansal doğrulamanın genel mantığını yanlış alarm azaltma yazısında anlattık.

Senkronizasyon ve altyapı

Füzyonun görünmeyen maliyeti zaman senkronizasyonudur. Kamera, mikrofon ve titreşim sensörü farklı örnekleme hızlarında çalışır ve çoğu zaman farklı cihazlarda kayıt tutar. Saatler aynı kaynağa bağlanmazsa "aynı anda" kavramı bulanıklaşır. Bu yüzden tüm kanallar tesis içindeki edge sunucuda toplanır ve ortak bir zaman damgasına göre hizalanır. Sensör verisi çoğunlukla MQTT gibi hafif protokollerle gelir; kurulumda bu akışların mevcut IoT altyapısıyla nasıl buluşacağı ayrıca planlanır.

Veri hacmi de planlanmalıdır. Titreşim ve ses yüksek örnekleme hızında veri üretir ve bu verinin tamamını saklamak gerekmez. Edge sunucuda özellik çıkarımı yapılır, ham sinyal yalnız anomali anının çevresinde kısa bir süre tutulur. Kamera tarafında da olay klibi mantığı geçerlidir: sürekli kayıt mevcut VMS'te kalır, füzyon katmanı olay anlarını işaretler.

Hangi makineler için anlamlı?

Füzyon her makine için gerekmez. Adaylar genellikle arızası hattı durduran, yedeği olmayan ve arızası önceden görünür iz bırakmayan ekipmanlardır: ana tahrik motorları, kompresörler, pompalar, presler ve hat üzerindeki kritik rulmanlı gruplar. Bakım kayıtlarına bakmak iyi bir başlangıçtır; geçmişte hangi arızaların plansız duruşa yol açtığı, o arızayı hangi kanalın erken görebileceğini söyler. Arızası kamerayla zaten görülen ya da nadiren kritik olan ekipman için ek sensör yatırımı çoğu zaman karşılığını vermez.

Uygulama sırası

Öneri: kamera ile başlayın, veriyi görün, sonra kritik makinelere akustik ve titreşim ekleyin. Füzyon, altyapı olgunlaştıkça değer katan bir ikinci aşamadır — ilk gün yapılacak yatırım değil.

İkinci aşamaya geçmeden önce iki soruya cevap aranır: kamera tek başına hangi olayları kaçırıyor ve bu olaylar hangi makinelerde yoğunlaşıyor? Cevap belirli birkaç kritik makineyi gösteriyorsa ek sensör yatırımı oraya yapılır. Bu tür birleşik modeller sahaya özgü olduğu için projeye özel geliştirme kapsamında ele alınır; doğruluk ve yanlış alarm oranı pilotta sahada ölçülür.

Pilot raporunda her kanalın tek başına ve birleşik hâlde ürettiği alarmlar ayrı gösterilir. Böylece füzyonun gerçekten katkı verip vermediği, yoksa tek bir kanalın işi tek başına mı yaptığı görülür; katkısı olmayan kanal sonraki aşamada çıkarılabilir.

Sık sorulan sorular

Füzyon için mevcut sensörlerimizi kullanabilir miyiz?

Çoğu durumda evet. Tesiste zaten bulunan titreşim, sıcaklık veya gaz sensörlerinin verisi erişilebilir bir arayüzden, örneğin MQTT ya da API üzerinden alınabiliyorsa füzyona dahil edilebilir. Keşifte hangi sensörün hangi sıklıkta veri ürettiği ve zaman damgasının güvenilir olup olmadığı kontrol edilir. Eksik kalan kanal için yalnız kritik makinelere ek sensör öneriyoruz.

Mikrofon kullanmak KVKK açısından sorun olur mu?

Endüstriyel akustik analitik konuşma içeriğini değil, makinenin ses imzasını izler. Mikrofonlar makineye yakın konur ve model frekans özellikleriyle çalışır. Yine de ses kaydı kişisel veri doğurabileceği için saklama süresi, erişim yetkisi ve bilgilendirme metni baştan tanımlanmalıdır. Bu genel bir değerlendirmedir, hukuki danışmanlık yerine geçmez; uygulama öncesinde hukuk biriminizle netleştirmenizi öneririz.

Füzyon projesine ilk gün mü başlamalıyız?

Genelde hayır. Önce kamera tabanlı analitiği kurup veriyi görmeyi, ardından kameranın kaçırdığı olayların yoğunlaştığı kritik makinelere akustik ve titreşim eklemeyi öneriyoruz. Böylece ek sensör yatırımı ölçülmüş bir ihtiyaca dayanır ve hangi kanalın gerçekten değer kattığı pilotta görülür. Füzyon, altyapı olgunlaştıkça değer katan bir ikinci aşamadır.

Bir sensör arızalanırsa sistem çalışmaya devam eder mi?

Geç füzyon mimarisinde her kanalın kendi modeli olduğu için bir sensörün devre dışı kalması sistemi tamamen durdurmaz; kalan kanallarla karar verilmeye devam edilir ve arızalı kanal için ayrıca uyarı üretilir. Bu dönemde yanlış alarm davranışı değişebileceğinden, eksik kanalla çalışılan süre raporda ayrıca gösterilir ve sensör onarılınca kalibrasyon kontrol edilir.