B˙ILG ˙ISAYARLI G OR¨ U TEKN¨ ˙IKLER ˙I KULLANILARAK ULAS ...eyuksel/Publications/2019... ·...

7
B ˙ ILG ˙ ISAYARLI G ¨ OR ¨ U TEKN ˙ IKLER ˙ I KULLANILARAK ULAS ¸ ILAB ˙ IL ˙ IR VE OTOMAT ˙ IZE GER ˙ ID ¨ ON ¨ US ¸ ¨ UM S ˙ ISTEM ˙ I B. Akdemir * , S. E. Y ¨ uksel Hacettepe ¨ Universitesi, Elektrik ve Elektronik M¨ uhendisli˘ gi, 06800 Ankara, T ¨ urkiye - (burakakdemir, eyuksel)@ee.hacettepe.edu.tr ANAHTAR KEL ˙ IMELER: Geri D ¨ on¨ us ¸¨ um, Makine ¨ grenmesi, Termal G¨ or¨ unt¨ uleme, Sınıflandırma, Bilgisayarlı G ¨ or¨ u ¨ OZET: Artan n¨ ufus ve kontrols¨ uz s ¸ehirles ¸menin etkisi ile insano˘ glunun do˘ gaya verdi˘ gi zarar g¨ un gec ¸tikc ¸e daha vahim bir hal almaktadır. Bu yıkıcı etkide pay sahibi olan en b¨ uy¨ uk fakt¨ orlerden biri c ¸¨ op sorunudur. ¨ Orne˘ gin 2016 yılında insanlar tarafından yaklas ¸ık 2.000.000.000.000 kg katı atık ¨ uretilmis ¸tir. Bu problemin ¨ ustesinden gelmek ic ¸in en ¨ onemli c ¸¨ oz¨ umlerden birinin geri d¨ on¨ us ¸¨ um olmasına ra˘ gmen, ¨ onerilen c ¸¨ oz¨ umler yeterince otomatize ve ulas ¸ılabilir de˘ gildir. Kullanılan c ¸¨ oz¨ umler c ¸o˘ gunlukla insan g¨ uc¨ u ve eme˘ gi temeline dayanmakta, hem maddi hem de is ¸ g¨ uc¨ u bakımından iyiles ¸tirmeye ihtiyac ¸ duymaktadır. Bu as ¸amadaki en b¨ uy¨ uk sorun materyallerin t¨ urlerine g¨ ore sınıflandırılmasıdır. Bilgisayarlı g¨ or¨ u ve makine ¨ grenmesi alanlarındaki ilerlemeler sayesinde bu soruna hem daha teknolojik hem daha ulas ¸ılabilir hem de insan hatasının en aza indirildi˘ gi c ¸¨ oz¨ umler ¨ uretmek m¨ umk¨ und¨ ur. Bu c ¸alıs ¸mamızda, pahalı c ¸¨ op ayrıs ¸tırma sistemlerine alternatif olarak, termal kamera ve yeni nesil bilgisayarlı g¨ or¨ u y¨ ontemleri kullanarak, materyalin cinsine g ¨ ore renginden ve deseninden ba˘ gımsız olarak sınıflandırma yapan bir c ¸erc ¸eve sunulmus ¸tur. ¨ Onerilen ontemde materyal ¨ once ıs ¸ık kayna˘ gı ile ısıtılmıs ¸, daha sonra aktif so˘ gutmaya bırakılmıs ¸ ve termal kamera ile g¨ ozlemlenmis ¸tir. Termal kameradan alınan veri g¨ or¨ unt¨ u is ¸leme teknikleri ile zenginles ¸tirildikten sonra ayırt edici ¨ oznitelikleri bulunmus ¸, g¨ uncel makine ¨ grenme teknikleri de ˘ gerlendirilmis ¸ ve maddenin sınıflandırılması yapılmıs ¸tır. Bu sayede hem ulas ¸ılabilir hem de otomatize bir sistem elde edilmesi, insan g¨ uc¨ u ve maliyetten tasarruf edilmesi hedeflenmis ¸tir. Sistemimizin bas ¸arısı kendi olus ¸turdu˘ gumuz veri k¨ umesi ¨ uzerinden hesaplanmıs ¸ ve sunulmus ¸tur. ACCESSIBLE AND AUTOMATIZED RECYCLING SYSTEM USING COMPUTER VISION TECHNIQUES KEY WORDS: Recycling, Machine Learning, Thermal Imaging, Classification, Computer Vision ABSTRACT: With the increasing population and the effect of uncontrolled urbanization, the damage caused by humanity to nature is getting worse. One of the biggest factors that contribute to this destructive effect is the solid waste problem. Although the most important solution to overcome this problem is recycling, the proposed solutions are not sufficiently automated nor are they accessible. For instance, in 2016, approximately 2,000,000,000,000 kg of solid waste was produced by humans. Even though, recycling is the best remedy for that problem, the proposed solutions are neither automatized nor accessible enough. They usually rely on human effort and require improvement in terms of work force and cost. In the recycling stage, hardest task is classifying the materials according to their type. With recent progress in computer vision, it is possible to come up with a more reachable, technologically advanced solution which also minimizes the human error. In this study, we propose a framework that is an alternative to expensive solid waste classification approaches. In the proposed method, a thermal camera and new generation computer vision techniques are used to classify the material regardless of its colour and texture. Material to be classified is heated using a light source, then left for cooling while it is being observed by thermal camera. Images obtained from thermal camera are enhanced using image processing techniques, and their descriptive features are extracted. Then, these features are evaluated and the material is classified. In this way, it is aimed to achieve an automated accessible system, which would both save manpower and be financially economical. The success of our system is calculated and presented on a data set we collected in our lab. 1. G ˙ IR ˙ IS ¸ Yas ¸adı˘ gımız c ¸a˘ gda hızla artan n¨ ufus ve t¨ uketim c ¸ılgınlı˘ gı, katı atık sorununun giderek daha da ciddi bir hal almasına neden olmaktadır. (Minelgait˙ e , Liobikien˙ e, 2019). Do˘ gal kaynaklar ¨ uretim ic ¸in kullanılmakta, hızla t¨ uketilmekte ve son olarak da atılmaktadır. Ekonomik b¨ uy¨ ume ve hayat standartlarındaki artıs ¸ da bu duruma destek olmaktadır (Grazhdani, 2016). Do˘ gru onetilemedi˘ gi takdirde katı atık sorunu bas ¸ta insan sa˘ glı˘ olmak ¨ uzere ekosistem, biyolojik c ¸es ¸itlilik gibi birc ¸ok de˘ gere olumsuz etki etmektedir (Mohammadi et al., 2019). Belirtilen sebepler katı atık y¨ onetimini her zamankinden daha kritik bir hale getirmis ¸tir (Stoeva , Alriksson, 2017). Katı atık y¨ onetimi bes ¸ ana kısımdan olus ¸maktadır. ˙ Ilk adım katı atıkların ¨ uretiminin engellenmesidir. Buna ¨ ornek olarak

Transcript of B˙ILG ˙ISAYARLI G OR¨ U TEKN¨ ˙IKLER ˙I KULLANILARAK ULAS ...eyuksel/Publications/2019... ·...

Page 1: B˙ILG ˙ISAYARLI G OR¨ U TEKN¨ ˙IKLER ˙I KULLANILARAK ULAS ...eyuksel/Publications/2019... · Buna ornek olarak¨ ATM’lerden is¸lem makbuzu almamak g¨osterilebilir. ˙Ikinci

BILGISAYARLI GORU TEKNIKLERI KULLANILARAK ULASILABILIR VEOTOMATIZE GERI DONUSUM SISTEMI

B. Akdemir∗, S. E. Yuksel

Hacettepe Universitesi, Elektrik ve Elektronik Muhendisligi, 06800 Ankara, Turkiye - (burakakdemir, eyuksel)@ee.hacettepe.edu.tr

ANAHTAR KELIMELER: Geri Donusum, Makine Ogrenmesi, Termal Goruntuleme, Sınıflandırma, Bilgisayarlı Goru

OZET:

Artan nufus ve kontrolsuz sehirlesmenin etkisi ile insanoglunun dogaya verdigi zarar gun gectikce daha vahim bir hal almaktadır.Bu yıkıcı etkide pay sahibi olan en buyuk faktorlerden biri cop sorunudur. Ornegin 2016 yılında insanlar tarafından yaklasık2.000.000.000.000 kg katı atık uretilmistir. Bu problemin ustesinden gelmek icin en onemli cozumlerden birinin geri donusumolmasına ragmen, onerilen cozumler yeterince otomatize ve ulasılabilir degildir. Kullanılan cozumler cogunlukla insan gucu veemegi temeline dayanmakta, hem maddi hem de is gucu bakımından iyilestirmeye ihtiyac duymaktadır. Bu asamadaki en buyuksorun materyallerin turlerine gore sınıflandırılmasıdır. Bilgisayarlı goru ve makine ogrenmesi alanlarındaki ilerlemeler sayesindebu soruna hem daha teknolojik hem daha ulasılabilir hem de insan hatasının en aza indirildigi cozumler uretmek mumkundur.Bu calısmamızda, pahalı cop ayrıstırma sistemlerine alternatif olarak, termal kamera ve yeni nesil bilgisayarlı goru yontemlerikullanarak, materyalin cinsine gore renginden ve deseninden bagımsız olarak sınıflandırma yapan bir cerceve sunulmustur. Onerilenyontemde materyal once ısık kaynagı ile ısıtılmıs, daha sonra aktif sogutmaya bırakılmıs ve termal kamera ile gozlemlenmistir.Termal kameradan alınan veri goruntu isleme teknikleri ile zenginlestirildikten sonra ayırt edici oznitelikleri bulunmus, guncelmakine ogrenme teknikleri degerlendirilmis ve maddenin sınıflandırılması yapılmıstır. Bu sayede hem ulasılabilir hem de otomatizebir sistem elde edilmesi, insan gucu ve maliyetten tasarruf edilmesi hedeflenmistir. Sistemimizin basarısı kendi olusturdugumuzveri kumesi uzerinden hesaplanmıs ve sunulmustur.

ACCESSIBLE AND AUTOMATIZED RECYCLING SYSTEM USING COMPUTERVISION TECHNIQUES

KEY WORDS: Recycling, Machine Learning, Thermal Imaging, Classification, Computer Vision

ABSTRACT:

With the increasing population and the effect of uncontrolled urbanization, the damage caused by humanity to nature is gettingworse. One of the biggest factors that contribute to this destructive effect is the solid waste problem. Although the most importantsolution to overcome this problem is recycling, the proposed solutions are not sufficiently automated nor are they accessible. Forinstance, in 2016, approximately 2,000,000,000,000 kg of solid waste was produced by humans. Even though, recycling is the bestremedy for that problem, the proposed solutions are neither automatized nor accessible enough. They usually rely on human effortand require improvement in terms of work force and cost. In the recycling stage, hardest task is classifying the materials accordingto their type. With recent progress in computer vision, it is possible to come up with a more reachable, technologically advancedsolution which also minimizes the human error. In this study, we propose a framework that is an alternative to expensive solidwaste classification approaches. In the proposed method, a thermal camera and new generation computer vision techniques areused to classify the material regardless of its colour and texture. Material to be classified is heated using a light source, then left forcooling while it is being observed by thermal camera. Images obtained from thermal camera are enhanced using image processingtechniques, and their descriptive features are extracted. Then, these features are evaluated and the material is classified. In thisway, it is aimed to achieve an automated accessible system, which would both save manpower and be financially economical. Thesuccess of our system is calculated and presented on a data set we collected in our lab.

1. GIRIS

Yasadıgımız cagda hızla artan nufus ve tuketim cılgınlıgı, katıatık sorununun giderek daha da ciddi bir hal almasına nedenolmaktadır. (Minelgaite , Liobikiene, 2019). Dogal kaynaklaruretim icin kullanılmakta, hızla tuketilmekte ve son olarak daatılmaktadır. Ekonomik buyume ve hayat standartlarındaki artısda bu duruma destek olmaktadır (Grazhdani, 2016). Dogru

yonetilemedigi takdirde katı atık sorunu basta insan saglıgıolmak uzere ekosistem, biyolojik cesitlilik gibi bircok degereolumsuz etki etmektedir (Mohammadi et al., 2019). Belirtilensebepler katı atık yonetimini her zamankinden daha kritik birhale getirmistir (Stoeva , Alriksson, 2017).

Katı atık yonetimi bes ana kısımdan olusmaktadır. Ilk adımkatı atıkların uretiminin engellenmesidir. Buna ornek olarak

Page 2: B˙ILG ˙ISAYARLI G OR¨ U TEKN¨ ˙IKLER ˙I KULLANILARAK ULAS ...eyuksel/Publications/2019... · Buna ornek olarak¨ ATM’lerden is¸lem makbuzu almamak g¨osterilebilir. ˙Ikinci

ATM’lerden islem makbuzu almamak gosterilebilir. Ikinciadım ise tekrar kullanmaktır. Ornek olarak tek kullanımlıkposet yerine bir fileyi birden fazla kez kullanmak verilebilir.Ucuncu asama ise geri donusumdur. Kagıt, cam veya plastiksiseler bu asamada en onemli olanlardır. Dorduncu asama iseatıklardan enerji elde ederek enerjinin geri kazanılmasıdır. Katıatıklar yakılarak enerjinin geri donusu saglanabilir. Son adımise atıkların yok edilmesi gelir. Ornegin gomulmesi.

Katı atık yonetimi halkalarının en onemlilerinden biri katıatıkların geri donusturulmesidir. Bu kısımda her maddeturune gore farklı islem gorecegi icin katı atıkların turlerinintanımlanması ve atıkların sınıflandırılması kacınılmazdır (Tillet al., 2018). Bu islemi icra etmek icin bir cok yontemonerilmistir. Bu yontemlerin en yaygın olarak kullanılanıkatı atıkların boyutlarına gore ayrılmasını hedefleyen elemetanburu yontemidir (Size separation of particulates in a trommelscreen system, 2010). Adından da anlasılacagı gibi buyontemde buyuk bir tanbur kullanılır. Uzerinde acıklıklar olanbu tanbur surekli dondurulur. Icerisine giren materyallerdenebatları acıklıktan buyuk olanların iceride kalması saglanır.Bu sekilde ayrısma islemi gerceklestirilir (Ashkiki et al.,2019). Diger bir yontem ise hava akımını kullanılarak yapılanayrıstırma yontemidir. Bu ayırma yonteminde, katı atıklarahava akımı uygulanır. Kagit, karton gibi ozkutlesi dusukmaddeler hava akımı ile hareketlenir ve metal, beton gibiozkutlesi yuksek materyallerden ayrılır (Sun et al., 2019).Manyetik ayrıstırma katı atıkları ayırmak icin kullanılanbir diger yontemdir. Adından da anlasılacagı uzere buyontemde kuvvetli bir manyetik alan olusturulur. Demir,celik gibi ferromanyetik maddeler bu alan icerisine girdigindekuvvete maruz kalacakları icin plastik, kagıt gibi ferromagnetikolmayan maddelerden ayrılırlar. Bu yontem ozellikle bakır gibiyarı kıymetli materyallerin ayrılmasında kullanılır (Hamerskiet al., 2019). Bu yonteme benzer bir diger yontemde iseelektrostatik yukler kullanılır. Bu sayede iletken maddeleriniletken olmayanlardan ayrıstırılması saglanır (Touhami et al.,2019).

Anlatılan tekniklere ek olarak, termal kamera yardımı ilekatı atık ayrıstırma islemi yapan otomatize bir sistembulunmamaktadır (Gundupalli et al., 2017b). Termalkameraların katı atık ayrıstırma sistemlerinde kullanımıhakkında cok az sayıda calısma yapılmıstır. Yapılan calısmadaayrıstırılacak maddeler karanlık ve sıcaklıgı sabit ortamdatutulmus, termal kamera ile gozlemlenmistir. Aynı sıcaklıktakifarklı maddelerin farklı yayılım katsayıları olacagı icin yayılımkatsayısı kullanılarak ayrıstırma islemi yapılmıstır (Gundupalliet al., 2017a).

Bu bildiride yukarıda bahsi gecen yontemlere alternatifolarak, termal goruntuleme teknikleri kullanan, plastik,metal ve kagıt materyallerin ayrılmasını saglayan bir yontemsunuyoruz. Termal kameralar materyal tanımlamada kullanılandiger kameralara gore daha ucuzdur. Ornegin hiperspektralkameraların kullanıldıgı teknikler, lazer teknolojisininkullanıldıgı teknikler, optik sıralama tekniklerinin kullanıldıgıyontemler daha pahalıdır (Artzai Picon, 2012), (Gurell et al.,2012), (Koyanaka , Kobayashi, 2011). Bu avantajın yanındaonerilen yontem materyallerin sabit bir sıcaklıkta kalmasınıgerektirmemektedir.

Bu bildirinin en onemli katkısı i) ucuz, ulasılabilir vegerceklenmesi kolay bir yontem sunması ii) materyallerinbelirli bir sıcaklıkta sabit kalmasını gerektirmedigi icin hızlısonuc veren bir sistem sunmasıdır.

Bildirinin kalan kısmı su sekildedir. 2 kısımda termalgoruntulemenin temel ilkeleri ve sistemimizde kullanılantermal prensipler ozetlenmistir. 3 kısımda uygulamamızınduzenegi, 4 kısımda isleyisi, 5. kısımda yapılan calısmalaranlatılmıs, 6. kısımda ise sonuclar verilmis ve yorumlamalarıyapılmıstır.

2. TERMAL GORUNTULEME

Termal goruntuleme, mutlak sıfır (-273.15◦) sıcaklıgınınuzerindeki butun objelerin yaydıgı gorunmez radyasyonunanaliz ve oznitelik cıkarmak icin gorunur hale getirilmesidir.Termal goruntuleme teknolojilerinde, ısıma yapan objeninyaydıgı radyasyon, kamera lensi ile toplanarak dedektorunuzerine odaklanır. Daha sonra dedektor tarafından olcumyapılır. Termal goruntuleme isleminde, saydam cisimlerharic, sadece yuzey sıcaklıgı olculebilir. (Michael Vollmer,2018). Olcum esnasında dedektor, radyasyonu elektrik akımınadonusturen bir donusturucu olarak gorev yapar. Bu asamadansonra elde edilen veri goruntu isleme ve bilgisayarlı goruteknikleri ile islenebilir.

Termal goruntuleme, ozunde askeri amaclar icin gelistirilmisolsa da, havacılık, tarım, tıp gibi farklı alanlarda da oldukcayaygın olarak kullanılmaktadır. Ornegin, yapıların izolasyondenetimi veya bozuk elektrik bilesenlerinin tespiti basit birtermal kamera ile kolayca yapılabilir (Williams, 2009).

Bu bildiride de termal kameralar katı atıkların sınıflandırılmasıicin kullanılmıstır. Plastik, metal ve kagıt materyaller ısıtıcılamba kullanılarak ısıtılmıs, daha sonra sogumaya bırakılaraktermal kamera ile gozlemlenmistir. Bahsedilen maddelertermal ozellikleri farklı oldugu icin surec icerisinde farklıdavranmıslardır. Davranıslarındaki farklılıklar kullanılarakayırt edilmislerdir. Isıtıcı lambaların ısıyı iletmesi buyukolcude radyasyon ile olur. Lambalardan elde edilen enerjitemas ettigi objelere aktarılır ve objenin sıcaklıgı artmısolur. Farklı materyallerin ısı sıgaları faklı oldugu icin esitenerji aldıklarında sıcaklıklarındaki degisim de farklı olacaktır.Sistemimiz bu prensip uzerine insa edilmistir.

3. DUZENEK

Deney duzenegimiz bir adet FLIR T-400 kameradan, iki adet100 Watt Osram R80 ısıtıcı lambadan ve lambaların oturtuldugutabladan olusmaktadır. Tablanın ust kısmına egim verilereklambaların daha verimli sekilde kullanılması saglanmıstır.Bu tabla, lambalar objelerden 20 cm geride olacak sekildeayarlanmıstır. Onerdigimiz sistem, teste tabi tutulacak objelerinicinde bulunacagı herhangi bir muhafaza gerektirmemektedir.Tum deneyler oda kosullarında icra edilmistir. Her deneyde ikiobje teste tabi tutulmus, bu objelerin her biri icin objenin tamkarsısına gelecek sekilde bir ampul konumlandırılmıstır. Bunaek olarak, lambalara enerji es zamanlı olarak uygulanmıstır.Objelerin sıcaklıklarındaki degisimler lambalardan 50 cmgeride bulunan termal kamera ile kaydedilmistir. Asagıdakisekilde sistemimiz gorsel olarak anlatılmıstır.

Page 3: B˙ILG ˙ISAYARLI G OR¨ U TEKN¨ ˙IKLER ˙I KULLANILARAK ULAS ...eyuksel/Publications/2019... · Buna ornek olarak¨ ATM’lerden is¸lem makbuzu almamak g¨osterilebilir. ˙Ikinci

Sekil 1. Isı lambaları ve termal kameradan olusansistemimizin kurgusu.

4. MATERYALLER

Sekil 1’de gorulecegi gibi sistemimiz oda ısıgındave kosullarında, herhangi bir muhafaza olmaksızıncalısabilmektedir. Lambalar enerjileri objelere en fazlaenerjiyi aktaracak sekide, yani tam karsısına ve objelerinmerkezine bakacak sekilde ayarlanmıstır. Kullanılan objelerplastik, metal ve karton olmak uzere uc cesittir ve asagıdakisekilde gosterilmistir.

Sekil 2. Farklı renkte ve desende olmak uzere iki plastik,dort metal, iki karton maddeden olusmus toplamda sekiz

farklı obje kullanılmıstır.

Sekil 2’de goruldugu uzere, aynı renkte ancak farklı renklerdemateryaller mevcuttur. Ornegin kırmızı renkten metal plastikve karton; yesil renkten plastik ve metal bulunmaktadır.

5. UYGULAMALAR

Onerilen yontemin denenmesi icin belirtilen duzenekkurulduktan sonra, lambalara henuz enerji verilmeden,termal kamera ile kayıt yapılmaya baslanır. Bir sure sonra,ısı labmalarına enerji verilerek objelerin sıcaklıklarınınyukselmesi saglanır. Bu isleme yaklasık olarak 10 saniyeboyunca devam edilir. Isıtılan objeler hic bir aktif sogutmaelementi kullanmaksızın kendiliginden sogumaya bırakılırkengozleme devam edilir. Bu islemin sonunda elde edilen termalgoruntuler kullanılarak objelerin hangi maddeden yapıldıgıtahmin edilir.

5.1 Sıcaklık Degerlerinin Elde Edilmesi

Termal kameradan alınan goruntuler yatay eksende 320 piksel,dikey eksende 240 piksel cozunurlugunde, saniye 30 kare olmaozelligine sahiptir. Termal kameradan gelen goruntu tek kanallıolmasına ragmen daha net ve anlasılabilir gorseller elde etmekadına renk haritası kullanarak renklendirilmislerdir. Bu renkharitası sayesinde, sıcaklıgı yuksek bolgeler kırmızı, dusukbolgeler mavi tonlarında gorunmektedir. Asagıdaki sekilde buislem sonucunda elde edilen iki tipik kare gosterilmektedir.

(a)

(b)

Sekil 3. Objelere ısı uygulanmadan onceki ve bir sure ısıuygulandıktan sonraki kareler. Sıcaklıgı yukselen kısımlar

kırmızı ve tonlarında, diger bolgeler ise mavi ve mortonlarındadır.

Ilk asamada, goruntuden elde edilen karelerden dikeyde 50.pikselden 200. piksele yatayda ise ilk pikselden 300. pikselekadar olacak sekilde ilgi bolgesi cıkartılır. Bu islemin amacıhem hesaplama eforunu azaltmak, hem de zaman gostergesigibi fazlalıklardan kurtulmaktır. Sekil 4 bu kareye ornek olarakverilmistir.

Sekil 4. Ilgi alanı

Sonraki adımlarda kullanılacak bolutleme algoritmasının dahakararlı calısmasını saglamak adına bir onceki adımda eldeedilen kareye Gauss yumusatma uygulanır. Bu adımdagoruntunun netliginden fedakarlık yapılarak sistemin dahakararlı calısması saglanmıstır. Ancak sistemimizde karaktertanıma benzeri islemler yapılmadıgı icin bu fedakarlıgınsistemimiz icin bir maliyeti yoktur.

Elde edilen karenin icindeki objelerin arka plandan ayrılması,sonrasında ise objelerin kare icindeki yerlerine gore sıcaklıkolcumu yapılacak alanın bulunması gerekmektedir.

Bu islemin ilk adımı olarak Gauss yumusatma uygulanmıs

Page 4: B˙ILG ˙ISAYARLI G OR¨ U TEKN¨ ˙IKLER ˙I KULLANILARAK ULAS ...eyuksel/Publications/2019... · Buna ornek olarak¨ ATM’lerden is¸lem makbuzu almamak g¨osterilebilir. ˙Ikinci

Sekil 5. Gauss yumusatma uygulanmıs kare.

kareye SLIC bolutleme algoritması uygulanır. Bu algoritmada,islenecek goruntu L, a, b renk uzayında ifade edilir.Yataydaki ve duseydeki konumu da kullanılarak 5 boyutlu biruzaya konumlandırılır. Daha sonra birbirlerine yakın olanpikseller gruplanarak superpikseller elde edilir. Bu islem,derlitopluluk (compactness) ve toplam elde edilmek istenensuperpiksel sayısı olmak uzere 2 parametreyi de girdi olarakalır. Derlitopluluk superpiksellerin seklinin ne kadar duzenliolacagını ifade eder (Radhakrishna Achanta , Suusstrunk, June2010). Sistemimizde derlitopluluk 10, toplam superpikselsayısı ise 300 olarak secilmistir. Bu adımın sonucu sekil 6’degosterilmistir.

Sekil 6. SLIC algoritması kullanılarak elde edilmisgoruntu.

Bir sonraki adımda, superpiksellerden olusan goruntu gritonlarına donusturulur, bu goruntunun ortalaması alınır ve sonolarak, ortalamanın uzerinde kalan bolgeler bir diger bolgelersıfır olacak sekilde ikili nicemleme (binary quantization)yapılır. Bu islemin sonucunda arka plan ve on plan ayrımıtamamlanmıs, on plan 1 arka plan 0 olarak ifade edilmistir.Daha sonraki adımlarda ikili nicemlemenin sonucu objelerinkonumlarını ayırt etmek icin kullanılacaktır. Bu isleminsonucunda olusan kare sekil 7’de gosterilmistir.

Sekil 7. Ikili nicemleme sonucunda olusan kare.Goruldugu uzere objeler beyaz arka plan siyah olarak

ifade edilmistir.

Objelerin yerlerini tespitten sonraki adım ise objelerinsıcaklıklarının olculecegi ilgi alanlarının cıkarılmasıdır. Buislem icin objelerin merkezleri bulunmus ve etrafına sınırlayıcıkutu cizilmis ve kutunun icerisinde kalan piksel degerlerininortalaması alınmıstır.

Bu islemin ilk adımı, ikili bolutleme sonucunda elde

edilen goruntunun kumeleme algoritması ile gruplanmasısonrasında ise her grubun merkezinin bulunmasıdır. Kumelemealgoritması olarak kOrtalamalar yontemi kullanılmıstır. Bualgoritmada kume sayısı belirlenir, her nokta en yakın kumeyeatanır, kume merkezi hesaplanır ve bu islemler bir durdurmakriteri saglanıncaya kadar tekrarlanır (Jiawei Han, 2012).

Sistemimizde kume sayısı iki olarak belirlenmistir. Islemsuresini azaltmak icin kume merkezlerinin baslangıc konumlarısecilmis ve en cok tekrarlama sayısı 10 ile sınırlandırılmıstır.Bulunan kume merkezlerini tam orta noktaya koyacak sekilde,40 piksel genisliginde 100 piksel yuksekliginde kutular Gaussyumusatma goruntusune cizilmistir. Bu islemin sonucundaolusan goruntu sekil 8’de gosterilmistir.

Sekil 8. Objelerin merkezleri cevreleyen kutular.

Gauss yumusatma goruntusunde, cizilen kutuların icerisindekalan piksellerin ortalama degeri bize objenin ortalamasıcaklıgı hakkında bilgi verir. Bu deger saniyede 30 kezhesaplanır ve depolanır. Farklı maddelerin ısıl ozellikleri farklıoldugu icin bu degerlerdeki degisimler de farklı olacaktır. Sekil9 buna ornek olarak verilmistir.

Sekil 9. Bir metal ve bir plastik objenin zamana baglıortalama piksel degeri degisim grafigi. Metal mavi,

plastik turuncu ile ifade edilmistir.

Yukarıdaki figurde metalin ve plastigin ilgi alanındaki ortalamasıcaklık degisimi verilmistir. Objelerin ısıtılma surecibasladıgı anda ortalama sıcaklık da artmaya baslamıstır.Ortalama sıcaklıkların tepe noktası ısıtıcı lambaların guclerininkapatıldıgı andır. Bu andan sonra metal ve plastigin farklıısıl ozellikler gostermistr ve metal plastige gore daha hızlısogumustur. Sistemimiz bu farklılıkları gozlemleyerek tahminyapmaktadır.

5.2 Sıcaklık Degerlerinin Yorumlanması

Objelerin sıcaklık degerlerini kullanarak maddenin turunutahmin etmek icin sıcaklık degerlerinden oznitelikler cıkartılıp,bu oznitelikler bir sınıflandırma algoritmasına sokulmustur.Sekil 9’de metalin ve plastigin soguma sırasında gosterdiklerifarklılıkların, ısınma anında gosterdikleri farklılıktan dahabelirgin oldugunu gorulmustur. Bu sebepten dolayı metal veplastik objelerin ayrılmasında soguma anı goz onune alınmıstır.

Page 5: B˙ILG ˙ISAYARLI G OR¨ U TEKN¨ ˙IKLER ˙I KULLANILARAK ULAS ...eyuksel/Publications/2019... · Buna ornek olarak¨ ATM’lerden is¸lem makbuzu almamak g¨osterilebilir. ˙Ikinci

Karton ve metal icin aynı deney tekrarlanmıs ve sonucasagıda gosterilmistir. Isıtıcı lambaların yakıldıgı an sıcaklıkdegerlerinin yukselmeye basladıgı ana, kapatıldıgı an isesıcaklık degerlerinin tepe noktasına denk gelmektedir.

Sekil 10. Bir metal ve bir karton objenin zamana baglıortalama piksel degeri degisim grafigi. Metal mavi, karton

turuncu ile ifade edilmistir.

Yukarıdaki sekilden gozlemlenecegi uzere, metal ve kartonobjelerin sıcaklık degerlerinin farklılastıgı bolge ısınmatarafında daha barizdir. Isıtıcı lambalar yakıldıktan sonrakartonun sıcaklıgı daha hızlı ve daha fazla yukselmistir.

Karton ve plastik icin aynı duzenek kurulup aynı prosedur icraedildiginde ise sekil 11 elde edilmistir.

Sekil 11. Bir karton ve bir plastik objenin zamana baglıortalama piksel degeri degisim grafigi. Karton mavi,

plastik turuncu ile ifade edilmistir.

Plastik ve karton maddelerin sıcaklık degisimlerigozlemlendiginde bu ikilinin de ısınma asamasında, tıpkıkarton ve plastik durumunda oldugu gibi ayırt edilebilecegigozlemlenmistir. Bu bilgiler ısıgında teste tabi tutulanobjenin plastikten mi, metalden mi yoksa kartondan mıyapıldıgını anlamak icin oncelikle ısınma asamasında kartonolup olmadıgını, ikinci asamada ise soguma esnasındakidavranıslarından metal mi yoksa plastik mi oldugunu anlamayoluna gidilmistir.

5.3 Ozniteliklerin Cıkarılması

Yukarıda farklılık gosteren sıcaklık grafiklerinin yorumlanmasıicin tasvir gucu yeterince yuksek ozniteliklerin anlamlıbolgelerden cıkarılması ve degerlendirilmesi gerekmektedir.Oznitelik olarak, metal ve plastigin kartondan ayrılmasısırasında sıcaklık grafiginin yukselen kısmı kullanılacagıicin bu bolgede kullanılacak olan oznitelikler, ozniteligibelirlenecek olan nokta ile ilerisine dogru olan 25 ardısıknoktanın her biri ile arasındaki sıcaklık farkı olarak secilmistir.Kısacası yukselen sıcaklık degerlerinde kullanılan oznitelikler1 deki gibidir.

F [i] = X[i]−X[i+ n] n = 1 : 25 (1)

Plastik ve metal kartondan ayrıldıktan sonra, plastik ve metalibirbirinden ayırmak icin sıcaklıgın dusmeye basladıgı alandakullanılacak oznitelikler, ozniteligi cıkarılacak nokta ile 25nokta gerisine kadar olan butun noktalar arasındaki fark olaraksecilmistir. Kısaca asagıdaki denklem ile gosterilebilir:

F [i] = X[i]−X[i− n] n = 1 : 25 (2)

Her oznitelik belirtilen kosullarda cıkarılmıs ve belirtilen amacicin kullanılmıstır. Daha acıklayıcı olmak gerekir ise, sıcaklıgınarttıgı anlarda denklem 1’deki oznitelik cıkarılacak, kartonumetal ve plastikten ayırt etmek amacı ile kullanılacaktır.Denklem 2 ile ifade edilen oznitelik ise sıcaklıgın dusmekteoldugu anlarda cıkarılacak ve metal ile plastigi birbirinden ayırtetmek icin kullanılacaktır.

5.4 Sınıflandırıcının Egitilmesi

Sınıflandırıcı, daha once anlatıldıgı gibi, cıkarılan oznitelikleridegerlendirecek ve objenin materyali hakkında bir tahminyapacaktır. Daha once de bahsedildigi gibi sistemimizdeiki tane sınıflandırıcı vardır ve herbiri kendisi icin dizaynedilmis oznitelikleri kullanmaktadır. Bir tanesi metal veplastigi kartondan ayıracak, digeri ise plastik ve metalibirbirinden ayıracaktır. Sınıflandırıcı olarak destek vektormakineleri secilmistir. Bu teknikte ayrımı yapılacak olangruplar arasındaki marjini en buyuk yapan sınır secilir (Bishop,2006). Buna ek olarak oznitelik boyularını arttıran kernelyontemi de kullanılabilir.

Plastik ve metali kartondan ayırt eden sınıflandırıcı egitilirkenkartondan cıkarılan ozniteliklere pozitif etiketi, plastik vemetalden cıkarılan ozniteliklere negatif etiketi verilmis veegitme islemi bu sekide tamamlanmıstır. Toplamda ontane karton, on tane karton olmayan objenin ısıtılmasıesnasında elde edilen veri kumesi kullanılmıstır. Plastik ilemetali birbirinden ayırt eden sınıflandırıcı icin kullanılan verikumesinde ise on altı adet metal, on iki adet plastik maddeninsoguma suresince cıkarılan oznitelikler kullanılmıstır.

Her iki sınıflandırıcı icin de cekirdek olarak radyal temel(radial basis) fonksiyonları kullanılmıs, hataların ne kadar ciddicezalandırılacagını belirleyen C degeri ise 1 olarak secilmistir.Kartonu plastik ve metalden ayıran sınıflandırıcıda kartonoznitelikleri icin 436, karton olmayan oznitelikler icin 438destek vektoru bulumus, metal ve plastigi birbirinden ayıransınıflandırıcıda metal oznitelikleri icin 720, plastik oznitelikleriicin 773 destek vektoru bulunmustur.

5.5 Sınıflandırıcının Sonuclarının Degerlendirilmesi

Egitilen sınıflandırıcılardan kartonu metal ve plastikten ayırtetmek icin kullanılana kendisi icin tasarlanmıs ozniteliklersıcaklık verisinden cıkarılarak verilir. Sınıflandırıcı, kendisineverilen oznitelikleri kullanarak her nokta icin tahminde bulunur.Bu tahminlerin sıcaklıgın en yuksek oldugu noktadan geriyedogru olan 200 tanesi alınır. Unutulmamalıdır ki kartonu digermaddelerden ayırmak icin bu aralık kullanılmaktadır. Egerkarton olarak tahmin edilenlerin sayısı fazla ise objenin kartonoldugu belirtilir. Sekil 12’de turuncu renk ile sıcaklık degerleri,mavi renkle ise yapılan tahminler ifade edilmistir. Kırmızı

Page 6: B˙ILG ˙ISAYARLI G OR¨ U TEKN¨ ˙IKLER ˙I KULLANILARAK ULAS ...eyuksel/Publications/2019... · Buna ornek olarak¨ ATM’lerden is¸lem makbuzu almamak g¨osterilebilir. ˙Ikinci

Sekil 12. Turuncu: Objeye iliskin sıckalık degeri, Mavi:Sınıflandırıcının tahmini, Kırmızı cizgiler: Sıcaklıgın en

yuksek oldugu yer ve 200 nokta gerisi.

dikey cubuklar ise sıcaklıgın en yuksek oldugu yer ile 200 noktagerisini gostermektedir.

Bu ornekte 200 noktanın 131’i karton olarak tahmin edildigiicin obje karton olarak belirlenmistir. Ornekte kullanılan veriegitim kumesinde yoktur ve tahmin dogrudur.

Plastik ile metalin ayırt edilmesi icin kullanılan sınıflandırıcıda benzer sekilde calısmaktadır. Bu kez oznitelikler denklem2’de gosterildigi gibi cıkarılır, sınıflandırıcıya yollanır vesınıflandırıcıdan tahminler alınır. Sınıflandırıcıdan alınantahminlerin sıcaklıgın en yuksek degere ulastıgı yer ile200 nokta sonrası arasında olan kısmındaki degerler sayılır.Unutulmamalıdır ki metal ve plastik birbirinden bu aralıktaayrılmaktadır. Eger pozitif tahminler cok ise objeninmetalden olustugu, negatif tahminler cok ise plastikten olustugusonucuna varılır.

Sekil 13. Turuncu: Objeye iliskin sıcaklık degeri, Mavi:Sınıflandırıcının tahmini, Kırmızı cizgiler: Sıcaklıgın en

yuksek oldugu yer ve 200 nokta sonrası.

Yukarıdaki ornekte toplam 200 tahminden sadece 4 tanesiplastik, kalan 196 tanesi metal lehinedir. Sonuc olarak objebuyuk bir fark ile metal olarak tahmin edilmistir ve tahmindogrudur. Kullanılan veri egitim kumesinde mevcut degildir.

6. SONUCLAR VE YORUMLAR

Sistemimiz egitim veri kumesinde bulunmayan 22 objekullanılarak test edilmistir. Test icin kullanılan 10 kartonobjenin ve 5 plastik objenin hepsi dogru sınıflandırılmıs, 7metalden 6 tanesi dogru sınıflandırılmıstır. Kullanılan sistemdeobjelerin renkleri farklı dahi olsa, aynı maddeden oldugu surecedogru sınfılandırıldıgı gosterilmistir.

Onerilen sistem kapalı bir hazne gerektirmedigi ve deneyleroda sartlarında gerceklestirildigi icin kullanım ve gerceklemeacısından kolaylık saglamaktadır. Ayrıca oznitelikler objeninbir referans noktası ile arasındaki sıcaklık farkına dayanmadıgıicin surekli aynı sıcaklıkta bir referans noktası gereksinimi deyoktur. Buna ek olarak, objelerin belirli bir sıcaklık degerindesabit tutulması ihtiyacı da yoktur.

Bu bildiride hızla ivmelenerek buyuyen katı atık problemine,otomatize cozum sunacak bir cerceve onerilmektedir. Bucalısma ile farklı renkte katı atıkların, aynı maddedenyapıldıgı surece aynı muameleyi gordugunu ve aynısekilde sınıflandırıldıgı gosterilmistir. Onerdigimiz yontemsınıflandırılacak objelerin bir referans noktası ile ya dabirbiri ile arasındaki sıcaklık farkına dayanmamaktadır.Bunun yerine objelerin ısınma ve soguma rutinleri suresincekendi sıcaklıgınındaki degisimlere dayanmaktadır. Bilgimizdahilinde, onerdigimiz cozum katı atık sınıflandırmasındatermal kamera ile sıcaklık degisimlerinin gozlemlendigi ve busekilde sınıflandırmanın yapıldıgı ilk calısmadır. Sistemimizdekullanılan python kodları ve veriler su adresten elde edilebilir(https://github.com/akde/recycle, 2019).

KAYNAKLAR

Artzai Picon, Aranzazu Bereciartua, Jone Echazarra OvidiuGhita Paul F. Whelan Pedro M. Iriondo, 2012. Real-timehyperspectral processing for automatic nonferrous materialsorting. Journal of Electronic Imaging, 21, 1 - 10 - 10.

Ashkiki, Alireza Rajabpour, Felske, Christian, McCartney,Daryl, 2019. Impacts of seasonal variation and operatingparameters on double-stage trommel performance. WasteManagement, 86, 36 - 48.

Bishop, Cristopher M., 2006. Pattern Recognition and MachineLearning. Springer.

Grazhdani, Dorina, 2016. Assessing the variables affecting onthe rate of solid waste generation and recycling: An empiricalanalysis in Prespa Park. Waste Management, 48, 3 - 13.

Gundupalli, Sathish Paulraj, Hait, Subrata, Thakur, Atul,2017a. Multi-material classification of dry recyclables frommunicipal solid waste based on thermal imaging. WasteManagement, 70, 13 - 21.

Gundupalli, Sathish Paulraj, Hait, Subrata, Thakur, Atul,2017b. A review on automated sorting of source-separatedmunicipal solid waste for recycling. Waste Management, 60,56 - 74. Special Thematic Issue: Urban Mining and CircularEconomy.

Gurell, J., Bengtson, A., Falkenstrom, M., Hansson, B.A.M.,2012. Laser induced breakdown spectroscopy for fast elementalanalysis and sorting of metallic scrap pieces using certifiedreference materials. Spectrochimica Acta Part B: AtomicSpectroscopy, 74-75, 46 - 50. 6th Euro-MediterraneanSymposium on Laser Induced Breakdown Spectroscopy(EMSLIBS 2011).

Hamerski, Fernando, Krummenauer, Alex, Bernardes,Andrea M., Veit, Hugo M., 2019. Improved settings ofa corona-electrostatic separator for copper concentrationfrom waste printed circuit boards. Journal of EnvironmentalChemical Engineering, 7, 102896.

Page 7: B˙ILG ˙ISAYARLI G OR¨ U TEKN¨ ˙IKLER ˙I KULLANILARAK ULAS ...eyuksel/Publications/2019... · Buna ornek olarak¨ ATM’lerden is¸lem makbuzu almamak g¨osterilebilir. ˙Ikinci

https://github.com/akde/recycle, 2019. https://github.com/akde/recycle, Last accessed on 2019-04-22.

Jiawei Han, Micheline Kamber, Jian Pei, 2012. Data MiningConcepts and Techniques.

Koyanaka, Shigeki, Kobayashi, Kenichiro, 2011. Incorporationof neural network analysis into a technique for automaticallysorting lightweight metal scrap generated by ELV shredderfacilities. Resources, Conservation and Recycling, 55, 515 -523.

Michael Vollmer, Klaus-Peter Mollmann, 2018. InfraredThermal Imaging.

Minelgaite, Audrone, Liobikiene, Genovaite, 2019. Wasteproblem in European Union and its influence on wastemanagement behaviours. Science of The Total Environment,667, 86 - 93.

Mohammadi, Maryam, Jamsa-Jounela, Sirkka-Liisa,Harjunkoski, Iiro, 2019. Optimal planning of municipalsolid waste management systems in an integrated supply chainnetwork. Computers Chemical Engineering, 123, 155 - 169.

Radhakrishna Achanta, Appu Shaji, Kevin Smith Aure-lienLucchi Pascal Fua, Suusstrunk, Sabine, June 2010. Slicsuperpixels. Technical report, EPFL TechnicalReport 149300.

Size separation of particulates in a trommel screen system,2010. Size separation of particulates in a trommel screensystem. Chemical Engineering and Processing: ProcessIntensification, 49, 1214 - 1221.

Stoeva, Katya, Alriksson, Stina, 2017. Influence ofrecycling programmes on waste separation behaviour. WasteManagement, 68, 732 - 741.

Sun, Zhanpeng, Sun, Guogang, Peng, Peiying, Liu,Qinggang, Yu, Xinqi, 2019. A new static cyclonic classifier:Flow characteristics, performance evaluation and industrialapplications. Chemical Engineering Research and Design, 145,141 - 149.

Till, Zoltan, Varga, Tamas, Soja, Janos, Miskolczi, Norbert,Chovan, Tibor, 2018. Kinetic identification of plastic wastepyrolysis on zeolite-based catalysts. Energy Conversion andManagement, 173, 320 - 330.

Touhami, S., Aksa, W., Maammar, M., Zeghloul, T., Medles,K., Dascalescu, L., 2019. Numerical simulation of thebehavior of insulating particles in a free fall tribo-electrostaticseparator with four vertical cylindrical electrodes. Journal ofElectrostatics, 97, 8 - 14.

Williams, Thomas L., 2009. Thermal Imaging Cameras. CRCPress.