1

Beágyazott elektronikus rendszerek (P-ITEEA_0033)

2. előadás

2016. Február 17.

Érzékelők I:

Fizikai világ érzékelése

Fizikai szenzorok

Áttekintés

• A fizikai világ érzékelése

• Szenzorok jellemzői– Affin szenzor modell

– Mérési tartomány

– Dinamika tartomány

– Kvantálás

– Zaj

– Mintavételezés

• Fizikai szenzorok– Mozgás

– Távolság

Embedded system

Embedded system

Electronic hw

components:

• Processor

• Memory

• Other circ. comp.

Interface to physical world

Com-

muni-

cation

actuatorssensors

Physical world

power

host

machine

Internet

user

Software:

• Application

• Real-time OS

Érzékelés

• Érzékelő: kapcsolat a fizikai világ és a kiber tér

között

• A mért érték lehet fizikai (hőmérséklet), kémiai

(ph), biológia (egyedszám) vagy származtatott

(esőszenzor)

• Szenzor kimenete:

– Skalár

– Vektor

– Mátrix

• Lineáris szenzor (pl. feszültségmérő)

f(x(t)) = a x(t)

• Affin szenzor (pl. hőmérő)

f(x(t)) = a x(t)+b

ahol x(t): a fizikai mennyiség

f(x(t)): a szenzor által mért érték

a,b: konstans

• Nemlineáris szenzor

– Logaritmikus

– Utólag linearizált

Szenzor modellMérési- és dinamika tartomány

• Mérési tartomány

– A legkisebb és a legnagyobb mérhető érték közti tartomány

• Dinamika tartomány

– A legkisebb és a legnagyobb mérhető érték hányadosa

ahol D: dinamika tartomány

L, H: alsó és felső mérhető értékek (általában 0 és 1)

p: felbontás (két szomszédos mérhető mennyiség

különbsége)

2

Kvantálás

• Kvantálás

– A mérhető fizikai mennyiséget először egy analóg szenzor analóg

feszültséggé alakítja (folytonos megfeleltetés)

– Ezt követően egy AD konverter digitális jelet készít

– n bites szenzor dinamika tartománya:

=

Szenzor pontossága és zaja

• Pontosság

– A szenzor relatív pontossága a mért értéktől függ

• A kvantálási hiba ±0,5 bit

• A skála legalján 100% hiba

• A skála tetején ez 1/2n (n bites szenzornál)

• Zaj

– A szenzor által mért érték és a valós érték közti különbség

• Lehet:

– Konstans

– Időbeli

– Függ az éppen mért értéktől (munkapont)

– Szenzor beállításaitól

Mintavétel

• Kvantálás

– Az analóg érzékelő folyamatosan követi a jelet (ha a sávszélessége

nagyobb)

– Az AD konverter egy-egy adott pillanatban vesz mintát

– Gyorsan változó jelnél erre

figyelni kell!

Nyquist kritérium!

Szenzorok típusai

• Fizikai:

– Feszültség

– Hőmérséklet

– Fényerő

– Mágnesesség

– Ellenállás

– Fogyasztás

– Erő

– Hang

– Gyorsulás

– Elfordulás

– Távolság

• Kémiai:

– ph

– Anyag

koncentráció

– Összetétel

• Biológiai:

– Káros anyag

tartalom

– Fajta

meghatározás

– Sugárzás

kártékony

hatása

• Komplex:

– Esőszenzor

– Mosolyszenzor

– Álmosság mérő

• Képalkotók:

– Kamerák

különböző

hullámhossz

tartományban

– Orvosi

képalkotók (Ultrahang, PET,

Röntgen, CT, MR)

11

MEMS accelerometer

12

MEMS accelerometer

3

13

MEMS accelerometer

14

Draper Tuning Fork Gyro

• The rotation of tines causes the Coriolis Force

• Forces detected through either electrostatic, electromagnetic or piezoelectric.

• Displacements are measured in the Comb drive

15

Inercia szenzorok

• Gyorsulás és giroszkóp kombinációja (6D)

• A differenciális jelek egyszeres (sebesség)

vagy kétszeres integrálása (elmozdulás)

• Felbontás: milli g

16

Optikai távolság mérés

• Fényimpulzus “repülési” ideje (time-of-

flight)

• 1ns: 30cm (15 cm oda-vissza)

• cm-es pontosság: 66ps felbontás

• Sok-ezer impulzus kiadása és átlagolása

esetén mérhető

• Egyetlen pont detektor: geodézia, építészet

Beágyazott elektronikus rendszerek (P-ITEEA_0033)

2. előadás

2016. Február 17.

Érzékelők II:

Képérzékelő szenzor tömbök

(Imagers)

Áttekintés

• A fény mértékegységei

• Érzékelő típusok

– Elektroncsöves kamerák

– CCD szenzor

– CMOS szenzor

– Speciális szenzorok és kamerák

• Színes képérzékelés

• Hőszenzorok

4

Az ember által érzékelhető fény mértékegységei

• Lumen (megvilágítás fotometriai mértéke, SI):

– A látható tartományra eső elektromágneses sugárzás teljesítménye

– Egysége: 1 lm amelynek radiometriai teljesítménye: 1/683 W

– 1 lm = 1 cd·sr = 1 lux·m2 (sr az egység gömb felszíne adott térszögben)

• Candela (fényerősség egy térszögben, SI alapmértékegység):

– Pontszerű forrásból kibocsájtott fényerősség egy térszögbe

– Egysége: 1 cd (egy gyertya által kibocsátott fény teljesítménye a láthatótartományban, 1/683 W/sr)

• Lux (fényáram, SI):

– Felületi teljesítmény sűrűség a látható tartományban

– Egysége: 1 lux (10 lux: egy tárgyategy láb távolságból egy gyertyával

megvilágítunk)

• Ablak:

– Egy folytonos frekvenciájú jelet mérünk egy véges frekvenciaablakon keresztül.

– A frekvenciaablak a szemünk vagy a műszer érzékenysége.

– A frekvenciaablak burkoló-görbéjét a műszer kvantum-hatásfoka és szűrő ablaka határozza meg.

Lux: egységnyi felületre eső

fényenergia mennyiség, a szem spektrális

érzékenységi görbéjének ablakán

keresztül mérve (sötétkék).

Kiadott

radiometrikus

fényteljesítmény

0,66W

1,2W

1,6W

2,3W

Fényforrások

Kísérlet: melyik fényforrás erősebb?

d1 d2

I1(d1) I2(d2)

I(d)~ d2

Tipikus megvilágítás értékek

Erős napsütés 32,000–100,000 lux

TV stúdió megvilágítás 1000 lux

Napkelte, napnyugta (felhőtlen) 400 lux

Irodai megvilágítás 200–400 lux

Lakás megvilágítás 50-100 lux

Gyertya 30 centiről 10 lux

Telihold 0.25 lux

Negyed hold 0.01 lux

Holdmentes sötét (tiszta) éjszaka 0.001 lux

Holdmentes sötét (borús) éjszaka 0.0001 lux

Két további fontos szenzor mérőszám:

Egy képen belüli átfogás (intra-frame) (szem: ~80dB, 1:10,000)

A szenzor teljes átfogása (inter-frame) (szem: ~120dB, 1:1,000,000)

Elektroncsöves kamerák

• Első elektroncsöves képérzékelők: 1910

• Sorfolytonos jelkimenet

• Videojel

• Vidicon: 1930– Nagy érzékenység

– Kevés zaj

– Kis felbontás

– Törékeny

– Drága

– Nagy méret

– A túl erős fény kiégeti

– Ma már ritkán használt

– Kiszorította a CCD és a fotoelektron sokszorozó

Analóg videó jel (sor)

5

Analóg videó jel (teljes kép) CCD technológia és szenzorok

• CCD: Charge Coupled Device

• 1974 Bell Laboratórium

• 1980-tól folyamatosan leváltja az elektroncsöves kamerákat

• Jelenleg a kamerák jelentős részében CCD található

– A CMOS hamarosan kiszorítja

• Alkalmazás– Ipari kamerák

• Viszonylag kis sebességet (videó sebesség), de nagy érzékenységet és alacsony zajszintet megkövetelő ipari alkalmazások

• Viszonylag olcsó félvezető technológia

• Gyártási technológiája nem kompatibilis a CMOS technológiával

CCD érzékelők működése I

• Érzékelő mátrix (szemben a vidicon-nal, itt térben diszkrét pixelekből

építkezik -> diszkretizálás)

• Beeső fotonok szabad elektronokat gerjesztenek

• A túl kis energiájú (infravörös) nem gerjeszt elektront

• A túl nagy energiájú (ultra ibolya) hamar elnyelődik, nem ér el a

megfelelő mélységbe

• Kvantum hatásfok tipikusan 70% (egy fotonból hány elektron lesz?)

• Ezek az elektronok az előre elkészített potenciál

lyukakban (zsebekben) gyűlnek

(2-100,000 db elektron)

• Zsebek túlcsordulása: “Blooming”

CCD érzékelők működése II

• Kiolvasás:

Három fázisú órajel

• Az első CCD kamerákba

mechanikus shutter kellett,

amely gátolta, hogy a tömb

fényt kapjon kiolvasás alatt

• Ma a töltés továbbító

regisztersor elkülönül a

fényérzékelőtől, így shutterre

nincs szükség, de a fill factor

csökken.

A CCD kiolvasásaExponálás, kiolvasás

• Működés:

– A CCD tömb inicializálása (reset)

– Integrálás (shutter open)

– Kiolvasás (shutter closed)

• Shutter (mindig global shutter):

– Mechanikus (fizikailag kinyílik)

– Elektronikus shutter

• Frame transfer

• Interlaced

• Integrálási idő

– Min: 10-5 sec

– Max: 1/frame rate

6

A CCD tipikus hibái

• “Reset” zaj

– A “reset” feszültség, amely a cellákat inicializálja, változik

cellánként

• Sötét áram (szivárgási áram)

• Ellenállások termikus zaja

• ADC kvantálási hiba

• “Smear” effektus

– Túlcsordulás (blooming) a

teljes oszlopban

kTRBenw 4

Tipikus CCD kamera paraméterek

• Tér-időbeli felbontás:

– 762x526 videó kamera 30 Hz

– 1980x1024 HD kamera 60Hz

– 1280x1024 ipari kamera 15 Hz

– 3000x4000 digitális fényképezőgép 1 Hz

– 12000x12000 katonai, űrkutatási alkalmazások 0.1 Hz

• CCD pixel órajel:

– 10MHz (12 bit felbontás)

– 1MHz (16 bit felbontás)

CCD kamera

• Mivel a CCD kamerában nincsenek bent a különböző

időzítők, erősítők, exponálási időt automatikusan beállító

áramkörök, AD konverterek, stb, ezért csak sok chipet

tartalmazó kártyákon lehet azokat integrálni. Mobil

telefonok, webkamerák ezért nem is alkalmazzák.

CMOS technológia és szenzorok

• 60-as évektől ismert az elv:

- foto-elektromos átalakítás a szilícium felületen

• A NASA Jet Propulsion Laboratórium

- 93-ban készítették az első működő példányt

• CCD-CMOS érzékelők versengése

- alkalmazási terület függő, hogy melyik a

megfelelőbb

- manapság szinte minden területen a CMOS átvette

a vezető szerepet, kivéve a global shutteres ipari

alkalmazásokat

Érzékelő cella architektúrák

• Standard CMOS technológia-> tág játéktér

• Néhány architektúra:

– Standard lineáris integráló cella (aktív pixel CMOS szenzor, ez legegyszerűbb és a legelterjedtebb)

– Nagydinamikájú cella• Logaritmikus

• Több, különböző érzékenységű szenzor egy pixelben

• Többször indított integrálás

– Nagydinamikájú lokálisan adaptív szenzor (“inter-pixel”)• Lokális integrálási idő kontrol

– Irány szelektív, vagy mozgás szelektív szenzorok

– Retina emuláló architektúrák

– Érzékelő processzorok• Q-Eye, SCAMP, …

Nagy dinamika, “blooming”

Nagy dinamikájú CMOS:nincs telítésben, de

alacsony a kontraszt

Lineáris sensor:telítésbe kerül, de a kontrasztok jobbak. Nincs “smear effect”

7

Alap CMOS érzékelő architektúra:

Active pixel sensor• Működés:

– Reset (a kapacitások inicializálása)

– Integrálás (a fotoáramok az intenzitásuktól függően kisütik a kapacitásokat)

– Kiolvasás (sorok és oszlopok címzése)

Column select multiplexer

Tipikus hibák

• “Fix pattern” zaj

• Oszlop “offset”

Érzékelt Zaj Kompenzált kép

Basic CMOS sensor architecture

• Active pixel:

– Pixels can be individually addressed

– Region of interest (ROI)

– Integrated AD converter

Kiolvasás

• Egy vagy néhány AD-n osztozik a tömb (30-100FPs)

• Minden oszlopban egy AD (1,000 FPs)– Multiplexelt kimenet

– Párhuzamos kimenet

• Minden cellában egy AD (10,000 FPs)

“Noise floor”,

avagy hogyan kapunk a zajból kiemelkedő jelet

Jellemző CCD

(CCD47-10, e2V)

CMOS

(IBIS5)

Hány elektront viszi telítődésbe? [e-] 100 000 50 000

Sötét áram @ 20Celsius [e-/s] 115 (átlag) 410 (átlag)

Sötét áram hány fokonként

kétszereződik?

4 8

Hány elektron az LSB? 2 35

Teljes dinamika 50 000:1 1 600:1

Quantum hatásfok 80% 30%

1000 foton 800 e- (400LSB) 300 e- (8LSB)

Maximális integrálási idő

(hiba kisebb mint 10%)

Hőmérséklet CCD

(CCD47-10, e2V)

CMOS

(IBIS5)

-40C 200 000s (51 óra) 1810s

-20C 10 000s 320s

0C 900s 56s

20C 85s 10s

40C 8s 1.8s

8

Rolling Shutter vs Global

Shutter

• Gyorsan mozgó tárgyak alakja változik

• A kamera mozgása esetén a tárgyak

elhajlanak• http://www.diyphotography.net/everything-you-wanted-to-know-about-rolling-shutter/

43beginning of the frame end of the

frame

captured

image

Speciális CMOS szenzorok:

Logaritmikus működés

• A dióda árama egy logaritmikus

ellenálláson folyik át

• Időben folytonos jel

Speciális CMOS szenzorok:

Több, különböző érzékenységű

szenzor egy pixelben• Területtel arányos érzékenység

– Erős megvilágítás -> két nagyobb telítésbe megy, kicsi mér

– Közepes megvilágítás -> legnagyobb telítésbe megy, kicsin még alig van jel

– Gyenge megvilágítás -> két kisebb alig van jel, nagy mér

• Megjelenítéshez utóprocesszálás szükséges

• Pixel méret, tömb méret “trade-off”

• “Aliasing”

t

u Az egyes szub-pixelek

karakterisztikái, egy

adott megvilágításnál.

Speciális CMOS szenzorok:

Többször indított integrálás

• A fényesebb helyeken újraindítjuk az integrálást, hogy elkerüljük a telítődést

Lineáris

integráló

szenzor

2 bit memória

komparátor

reset

T¾T½T

Reset szint

u

um

um

Speciális CMOS szenzorok:

Nagydinamikájú látvány

• Integráló típusú lineáris kamerával felvett képsorozat: (int. idő:1ms-230ms)

• 16 bites képet nem lehet megjeleníteni (display 7-8

bit)

Logaritmikusan tömörített kép

(szimuláció)

Lokálisan adaptív

nagydinamikájú szenzor

Pixelenként állítható integrálási idő (szimuláció)

9

Lokálisan adaptív nagydinamikájú

szenzor dinamikus adaptációja

szimuláció

Speciális CMOS szenzorok:

Locally Adaptive Sensor Array:

Measurement Results

Strongly, asymmetrically

illuminated face captured

by the sensor array with global

integration time control

The same image captured

by the sensor array with

local integration time

control

Integration time map

(controls local

adaptation)

Speciális CMOS szenzorok:

Irány szelektív, vagy mozgás szelektív

szenzorok

• 20% pontos elmozdulás szenzor:

optikai egér

• “Motion blur” kiküszöbölése

CMOS kamera felépítése

• Néhány olcsó elemből összerakható egy digitális kamera

• Mobiltelefon, webkamera, HD video kamera mind CMOS

CMOS

szenzor,

ADC-vel

processzor

memória

kommunikáció

Tipikus CMOS kamera paraméterek

• Térbeli felbontás

– 128x128-tól 4000x6000-ig

• Pixel órajel: 20-160 Mpixel/sec

• Ablakozhatóság• “Frame-rate” arányos az ablakmérettel

• “Frame-rate” (időbeli felbontás)

– 15-1000-ig ablakozás nélkül

– Akár 10,000 ablakozva

• Pontosság (lineáris integráló) 6-10 bit

Csillagfény erősítésű kamerák

(Image intensifyers)• 50,000-szeres erősítés

• Nappal: Tized

nanoszekundumos gating

– (cm pontos távolság

mérés)

• Közel megapixeles

felbontás

Modern képerősítő

10

Színes szenzor technikák

- színcsatornára bontás

• Időben :

– Szín kerék, color wheel

• Térben

– “Bayern pattern”

• Szenzor szám növelés

– 3 szenzoros rendszer (3 CCD camera)

kamera

CCD

CCD

CCD

Színes kép interpoláció “Bayern patterns”

megoldásnál

• Mind a CMOS, mind a CCD kamera ezt

használja (kivéve a 3CCD)

Vertikális színszűrő szenzor tömb

– egy új technológiai irányvonal: Foveon

A Foveon cég piacon

van. Működő

szabadalmaztatott

technológia,

versenytársa a másik

kéttechnológiának.

Hőszenzorok

• Nem szilícium bázisú hőszenzorok

• MEMs alapú szenzorok

• Nano-technológiás IR szenzorok

Infravörös tartomány felfedezése

William Herschel - az Uranus bolygó felfedezőjének - kísérlete (1800)

A színek “hőmérséklete” nő az ibolyától a vörösig,

és a vörösön túl is!

Az infravörös tartomány

LWIR (8-12mm)

MWIR (5-8mm)

Near IR (0.8-2mm)

Near infrared 0.8-2mm

Short wave IR (SWIR) 2-5mm

Middle wave IR (MWIR) 5-8mm

Long wave IR (LWIR) 8-12mm

11

Nem szilícium bázisú érzékelők

• Félvezetők más

anyagokból

– Pl: InGaAs

• Hűtött

szenzorok

Mikro-bolométer

25

• Standard CMOS technológia

• Vékony amorf szilícium

lapkát ér a fény

• Melegedés hatására változik

az ellenállása

• Akár megapixeles felbontás

• Nem hűtött

• „Olcsó”, manapság elterjedt

Nanoantenna detektor

• Jelenleg még csak laboratóriumban

• A fény hullámtermészetét használja ki

• THz-es frekvencia, szilíciumon nem kezelhető

• Detektoros “rádió”pixelenként

• Nem hűtött

1 mm

Nano

MOM

tranzisztor

64

Optikai távolságmérő tömb

Kinect

65

Canesta távolság mérő tömb

• 160x120-as tömb

• Minden pixel két detektorból áll

• A detektorok a megvilágítás fázisában vannak kapcsolva (ellentétes fázisban)

66

Canesta távolság mérő tömb

• Aktív pulzusos megvilágítás

• A detektorok a megvilágítás fázisában vannak kapcsolva (ellentétes fázisban)

• Sok ezer pulzus integrálása

• Detektorok DC szintje: háttér világítás

• Detektorok differenciája: arányos az objektum távolságával

12

67 68

Járdaszegély detekció

• Automatikus parkolás