Tema 1 LFA

Limbaje regulate

George Daniel MITRA

21 noiembrie 2013

Cuprins

1 Specificat, ii tema 31.1 Cerint, a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.2 Limbaje de programare . . . . . . . . . . . . . . . . . . . . . . . 31.3 Sistem de operare . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.4 Cont, inutul arhivei . . . . . . . . . . . . . . . . . . . . . . . . . . 31.5 Specificat, ii program . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.5.1 Parametri ın linie de comanda . . . . . . . . . . . . . . . 31.5.2 Intrari . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41.5.3 Ies, iri . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1.6 FLEX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2 Not, iuni introductive 42.1 Limbajul de descriere . . . . . . . . . . . . . . . . . . . . . . . . . 42.2 Simbol, Alfabet, S, ir, Limbaj . . . . . . . . . . . . . . . . . . . . . 5

2.2.1 Simbol . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52.2.2 Alfabet . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52.2.3 S, ir . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52.2.4 Limbaj . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

3 Expresii Regulate(ER) 63.1 Descriere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63.2 Specificat, ii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

4 Automate Finite Deterministe(AFD) 74.1 Descriere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74.2 Specificat, ii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

5 Automate Finite Nedeterministe(AFN) 85.1 Descriere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85.2 Specificat, ii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

6 [Bonus]Gramatici Regulate(GR) 96.1 Descriere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96.2 Gramatici regulate dreapta . . . . . . . . . . . . . . . . . . . . . 96.3 Gramatici regulate stanga . . . . . . . . . . . . . . . . . . . . . . 96.4 Specificat, ii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1

7 [Ghid de utilizare]Checker 10

8 Punctaj 108.1 Checker . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108.2 Depunctari . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

9 Sugestii 11

10 Concluzii 11

Bibliografie 12

2

Rezumat

Tema consta ın implementarea unui program care face conversii ıntretoate formele de reprezentare finita a limbajelor regulate.

1 Specificat, ii tema

1.1 Cerint, a

Sa se implementeze un program care, primind o forma de reprezentare finita aunui limbaj regulat, sa ıl converteasca ıntr-o alta forma sau sa stabileasca dacaanumite cuvinte fac parte din limbaj.

Programul trebuie sa foloseasca FLEX pentru parsarea intrarii. Vezi sect, iunea1.6 pentru mai multe detalii. Solut, iile care nu folosesc FLEX vor fi depunctatedupa cum e ment, ionat ın sect, iunea 8.

Nu trebuie implementate toate metodele de conversie. Detalii putet, i gasi ınsect, iunea 9.

1.2 Limbaje de programare

Pentru aceasta tema se pot folosi C/C++, Java sau Haskell. Daca avet, i o altapropunere pentru care exista un generator de parsere de tipul flex, postat, i peforum s, i daca e suficient de similar va vom aproba utilizarea.

1.3 Sistem de operare

Pentru tema se pot folosi atat sisteme *NIX, cat s, i Windows.

1.4 Cont, inutul arhivei

Arhiva trebuie sa cont, ina:

• surse, a caror organizare nu va e impusa de noi

• un fis, ier Makefile care sa aiba target de build s, i run.

• un fis, ier README care sa respecte exact formatul din exemplul de pesite, ın care sa descriet, i abordarea pentru lexer/parser, ce algoritmi at, iimplementat s, i de ce i-at, i ales s, i care e limbajul ales pentru ultimele patrupuncte.

1.5 Specificat, ii program

1.5.1 Parametri ın linie de comanda

Programului i se vor da parametri ın linie de comanda. Parametrii pot descrieintrarea sau ies, irea. Din fiecare grup va aparea exact un exemplar.

Parametrii care descriu intrarea sunt:

• --from-RE: Specifica faptul ca se va citi o expresie regulata, ın formatulspecificat mai jos

• --from-DFA: Specifica faptul ca se va citi un automat finit determinist

3

• --from-NFA: Specifica faptul ca se va citi un automat finit nedeterminist

• --from-RG: Specifica faptul ca se va citi o gramatica regulata

Parametrii care descriu ies, irea sunt:

• --to-RE: Specifica faptul ca se va afis,a o expresie regulata

• --to-DFA: Specifica faptul ca se va afis,a un automat finit determinist

• --to-NFA: Specifica faptul ca se va afis,a un automat finit nedeterminist

• --to-RG: Specifica faptul ca se va afis,a o gramatica regulata

• --contains: Permite interogari ale apartenent,ei cuvintelor la limbajul des-cris. Parametrii de dupa

”--contains” sunt cuvintele cautate. Pot fi zero

sau mai multe cuvinte.

1.5.2 Intrari

Programul va citi de la intrarea standard expresia, automatul sau gramatica, ınformatul specificat ın sect, iunea alocata fiecaruia.

Se considera corect orice primes,te programul ca intrare.

1.5.3 Ies, iri

Programul va afis,a la ies, irea standard rezultatul, ın formatul corespunzator. Incazul unei interogari de tipul

”--contains”, pentru fiecare cuvant se va afis,a pe

cate o linie”True”, respectiv

”False”, daca limbajul cont, ine cuvantul sau nu.

1.6 FLEX

FLEX este o unealta pentru generarea de analizoare lexicale. Variantele accep-tate sunt:

• flex(C/C++) [1, 2, 3]

• jflex(Java) [4, 5, 6]

• alex(haskell) [7, 8, 9]

Daca gasit, i un alt flex, va putem aproba folosirea limbajului pentru care afost facut daca postat, i pe forum s, i e suficient de apropiat de flex.

2 Not, iuni introductive

2.1 Limbajul de descriere

Limbajul este descris printr-o gramatica BNF s, i foloses,te aceeas, i convent, ie deculori ca articolul Wikipedia despre BNF:

• albastru - neterminali

• verde - operatori ai limbajului BNF s, i paranteze ajutatoare

• rosu - terminali (elemente care fac parte efectiv din limbajul descris)

4

2.2 Simbol, Alfabet, S, ir, Limbaj

2.2.1 Simbol

Un simbol este un caracter, semnal sau orice obiect ce poate fi interpretat cumva.Exemple de simboluri sunt ın sect, iunea 2.2.2

In tema, un simbol poate fi litera, cifra sau caracter special:<symbol> ::= <lower-case letter> | <digit> | <other><lower-case letter> ::= ( a | b | c | d | f | g | h | i | j | k | l | m | n | o | p | q

| r | s | t | u | v | w | x | y | z )<digit> ::= ( 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 )<other> ::= ( ! | # | $ | % | & | - | . | / | : | ; | < | > | = | @ | [ | ] | ˆ | ‘ | ˜ )

2.2.2 Alfabet

Un alfabet este orice mult, ime nevida finita de simboluri.Exemple:

• alfabetul roman: Σ = {A,B,C, ..., Z}

• alfabetul format din cifre: Σ = {0, 1, 2, ..., 9}

• alfabetul semnalelor pentru 3-Way Handshake: Σ = {SYN, ACK, SYN-ACK}

In limbajul temei, un alfabet cont, ine cel put, in un simbol, deci se declaraastfel:

<alphabet> ::= { <symbol> ( , <symbol> )* }

2.2.3 S, ir

Un s, ir(cuvant) este o secvent, a finita de simboluri dintr-un alfabet. Un s, ir poatesa nu cont, ina niciun caracter. Acesta, s, irul vid, se noteaza cu e(ın alte surse senoteaza cu ε).Lungimea unui s, ir w se noteaza cu |w| s, i reprezinta numarul de simboluri dincare e format w.Exemple:

• Σ = {a, b, c, d}, w = cbba, |w| = 4

• Σ = {0, 1}, w = 10010101, |w| = 8

• Σ = {a, b}, w = e, |w| = 0

In limbajul temei, s, irul vid se noteaza cu e, ın timp ce alte s, iruri reprezinta oconcatenare de unul sau mai multe simboluri. Din acest motiv, e nu se considerasimbol, deci nu va face niciodata parte din niciun alfabet.

<word> ::= e | ( <symbol> )+

5

2.2.4 Limbaj

Un limbaj peste un alfabet Σ este o mult, ime de cuvinte formate din simboluridin Σ. Limbajul vid se noteaza cu ∅, s, i este limbajul ın care nu se afla niciuncuvant. Acesta este diferit de limbajul care cont, ine doar s, irul vid. Un limbajpoate fi finit sau infinit.Exemple:

• L = ∅, |L| = 0

• L = {e}, |L| = 1

• L = {e, a, ab}, |L| = 3

• L = {a, aa, aaa, ...}, |L| =∞

In tema, limbajele apar reprezentate doar sub forma de expresii regulate,automate finite s, i gramatici regulate.

3 Expresii Regulate(ER)

3.1 Descriere

Expresiile regulate reprezinta o metoda de reprezentare finita a limbajelor. Elepot descrie orice succesiune finita de operat, ii de reuniune, concatenare s, i KleeneStar.

Fie Σ un alfabet. O expresie regulata este o secvent, a finita de simboluri dinΣ ∪ {∪, ∗, (, ),∅, e}, t, inand cont de urmatoarele proprietat, i:

1. ∅ s, i e sunt expresii regulate, reprezentand limbajul vid, L1 = ∅, respectivlimbajul care cont, ine doar s, irul vid, L2 = {e};

2. ∀a ∈ Σ, a este expresie regulata, reprezentand limbajul ce cont, ine unsingur cuvant format din simbolul a, L = {a};

3. ∀α, β expresii regulate, α ∪ β este expresie regulata, reprezentand reuniu-nea limbajelor descrise de expresiile regulate α s, i β, L(α∪β) = L(α)∪L(β);

4. ∀α, β expresii regulate, αβ este expresie regulata, reprezentand concatena-rea limbajelor descrise de expresiile regulate α s, i β, L(αβ) = L(α) ◦L(β);

5. ∀α expresie regulata, α∗ este expresie regulata, reprezentand aplicareaoperatorului Kleene Star limbajului descris de expresia regulata α, L(α∗) =L(α)∗;

6. ∀α expresie regulata, (α) este expresie regulata. Parantezele cresc priori-tatea operatorilor. Operatorii, ordonat, i de la prioritate maxima la minimasunt: Kleene Star, operator de concatenare, operator de reuniune;

7. Orice altceva nu este expresie regulata.

Notat, ii ajutatoare:

• Fie α o expresie regulata. Notam α+ = αα∗.

6

• Fie α o expresie regulata. Notam α? = (α ∪ e)

Exemple:

• E = e∪ab∪bb∗. L(E) = L(e)∪L(ab)∪L(bb∗) = {e}∪{ab}∪L(b)◦L(b∗) ={e, ab}∪{b}◦L(b)∗ = {e, ab}∪{b}◦{b}∗ = {e, ab}∪{b}◦{e, b, bb, bbb, ...} ={e, ab} ∪ {b, bb, bbb, bbbb, ...} = {e, ab, b, bb, bbb, ...};

• E = (a∪b)∗. L(E) = L((a∪b)∗) = {a, b}∗ = {e, a, b, aa, ab, ba, bb, aaa, ...};

• E = a∗∪b∗. L(E) = L(a∗)∪L(b∗) = {e, a, aa, aaa, ...}∪{e, b, bb, bbb, ...} ={e, a, aa, aaa, ..., b, bb, bbb, ...};

3.2 Specificat, ii

In tema, din cauza faptului ca le folosim pentru a desemna elemente constitutiveexpresiilor regulate, caracterele {|, ∗,+, ?, O, e, (, )} nu pot face parte din niciunalfabet. O expresie regulata se defines,te ın felul urmator:

<RE> ::= <alphabet> : <expression><expression> ::= O | e | <symbol> | ( <expression> | <expression> ) | (

<expression> <expression> ) | ( <expression> * ) | ( <expression> + ) | (<expression> ? ) | ( <expression> )

In tema, | reprezinta reuniunea, O reprezinta expresia limbajului vid, e re-prezinta expresia limbajului care cont, ine doar s, irul vid.

4 Automate Finite Deterministe(AFD)

4.1 Descriere

Un automat finit este un model de calcul care primes,te la intrare o banda desimboluri s, i ıs, i modifica starea interna ın funct, ie de ce are la intrare. Acestapoate fi privit ca o cutie neagra cu nis,te stari ıntre care face tranzit, ii ın funct, iede intrare, la fiecare tranzit, ie mis,cand capul de citire la dreapta.

Formal, un automat finit determinist este un tuplu M = (K,Σ, δ, s, F ), cuurmatoarele proprietat, i:

• K este mult, imea starilor. K este finita, de unde vine s, i numele automa-tului;

• Σ este alfabetul din care sunt formate cuvintele acceptate de automat;

• δ se numes,te funct, ie de tranzit, ie. δ : K × Σ → K. δ(p, a) = q; p, q ∈K; a ∈ Σ ınseamna ca automatul, daca se afla ın starea p s, i primes,te pebanda a, trece ın starea q. Fiindca δ este funct, ie, toate tranzit, iile dinfiecare stare pentru fiecare simbol trebuie sa fie definite.

• s ∈ K este starea de start. Aceasta este starea ın care se afla automatulınainte de a primi ceva pe banda.

• F ⊆ K este mult, imea starilor finale. Daca automatul se afla ıntr-o staref ∈ F dupa ce a terminat de citit s, irul ınseamna ca accepta s, irul.

7

4.2 Specificat, ii

In tema, un automat finit determinist este dat ca un tuplu, conform definit, iei:<DFA> ::= ( <states> , <alphabet> , <transitions> , <state> , <states>

)<states> ::= { <state> ( , <state> )* }<state> ::= <name><name> ::= ( <upper-case letter> | ) ( <lower-case letter> | <digit> |

) *<upper-case letter> ::= ( A | B | C | D | E | F | G | H | I | J | K | L | M |

N | P | Q | R | S | T | U | V | W | X | Y | Z )<transitions> ::= { <transition> ( , <transition> ) * }<transition> ::= d( <state> , <symbol> )= <state>

5 Automate Finite Nedeterministe(AFN)

5.1 Descriere

Un automat finit nedeterminist este un automat finit mai put, in restrictiv decatunul determinist. Acesta se bazeaza pe faptul ca se pot rula ın paralel o infinitatede ramuri de execut, ie s, i daca cel put, in una se termina ıntr-o stare finala, s, iruleste acceptat. De fapt, doar un numar finit de ramuri de execut, ie se ruleaza,fiindca nu e nevoie de mai mult. Acel numar e cel mult |K|.

Un automat finit nedeterminist permite:

• absent,a tranzit, iilor pe anumite simboluri. Daca se ıntampla ca la unmoment dat sa apara un simbol pentru care nu exista tranzit, ie, ramuracurenta de execut, ie se termina fara a accepta s, irul;

• existent,a mai multor tranzit, ii din aceeas, i stare pe acelas, i caracter. Dacase ıntampla acest lucru, automatul lanseaza mai multe ramuri de execut, ie,cate una pentru fiecare tranzit, ie posibila;

• tranzit, ii pe s, iruri. Fiindca se pot neglija tranzit, ii, un lant, de tranzit, ii ıncare din starile intermediare nu pleaca nicio tranzit, ie se poate considera osingura tranzit, ie pe un s, ir.

• tranzit, ii pe s, irul vid. Automatul ıs, i poate modifica spontan starea fara aciti vreun caracter.

Un automat nedeterminist este tot un tupluM = (K,Σ,∆, s, F ) cu urmatoareleproprietat, i:

• K este mult, imea finita a starilor;

• Σ este alfabetul din care sunt formate cuvintele acceptate de automat;

• ∆ ⊂ (K×Σ∗×K) nu este funct, ie, este relat, ie. ∆ este o finita. (p, u, q) ∈ ∆ınseamna ca automatul poate trece din starea p ın starea q citind s, irul u;

• s ∈ K este starea de start;

• F ⊆ K este mult, imea starilor finale.

8

5.2 Specificat, ii

In tema, un automat finit nedeterminist este tot un tuplu, definit ın felulurmator:

<NFA> ::= ( <states> , <alphabet> , <relations> , <state> , <states> )<relations> ::= O | { <relation> ( , <relation> ) * }<relation> ::= ( <state> , <word> , <state> )Din cauza confuziei ce poate aparea, urmatoarul caracter nu va aparea ın

vreun alfabet: ’,’. Fiindca un automat finit nedeterminist poate sa nu aibatranzit, ii, mult, imea de tranzit, ii poate fi vida.

6 [Bonus]Gramatici Regulate(GR)

6.1 Descriere

O gramatica reprezinta o mult, ime de reguli de combinare a simbolurilor dintr-unalfabet dat ın cuvinte din limbajul descris.

O gramatica este, din punct de vedere formal, un tuplu G = (V,Σ, R, S),unde V reprezinta mult, imea simbolurilor ce pot aparea ın reguli, Σ reprezintaalfabetul, R reprezinta mult, imea regulilor s, i S reprezinta simbolul de start.

Σ este alfabetul, numit s, i mult, ime de terminali. V este mult, imea tuturorsimbolurilor care apar ın reguli, dar, pe langa terminali, cont, ine s, i nis,te sim-boluri care nu apar ın cuvintele limbajului, numite neterminali. Un astfel desimbol este S ∈ V \ Σ.

R este mult, imea finita a regulilor de product, ie. O regula este un tuplu,(A, γ), A ∈ V \ Σ, γ ∈ V ∗, care ınseamna ca neterminalul A poate fi ınlocuit cus, irul de terminali s, i neterminali γ. Regula (A, γ) se noteaza cu A→ γ. Modulın care este definit face ca R ⊂ (V \Σ)×V ∗. In cazul ın care ∃A ∈ V \Σ,∃γ, β ∈V ∗, (A, γ) ∈ R∧ (A, β) ∈ R, atunci regulile se pot scrie A→ γ|β, ınsemnand caA se poate ınlocui fie cu γ, fie cu β.

Pentru ca o gramatica sa fie regulata, ea trebuie sa fie fie regulata dreapta,fie regulata stanga.

6.2 Gramatici regulate dreapta

O gramatica este regulata dreapta daca toate regulile au una din formele urmatoare:

• A→ wB;A,B ∈ V,w ∈ Σ∗;

• A→ w;A ∈ V,w ∈ Σ∗.

6.3 Gramatici regulate stanga

O gramatica este regulata stanga daca toate regulile au una din formele urmatoare:

• A→ Bw;A,B ∈ V,w ∈ Σ∗;

• A→ w;A ∈ V,w ∈ Σ∗.

9

6.4 Specificat, ii

In tema vom folosi doar gramatici regulate dreapta. In limbajul temei ele arataın felul urmator:

<RG> ::= ( <(non)terminals> , <alphabet> , <productions> , <nonter-minal> )

<(non)terminals> ::= { <nonterminal> ( , ( <nonterminal> | <terminal>) ) * }

<nonterminal> ::= <name><terminal> ::= <symbol><productions> ::= { <production> ( , <production> ) * }<production> ::= ( <nonterminal> -> <word> ) | ( <nonterminal> ->

<word> <nonterminal> )

7 [Ghid de utilizare]Checker

Va fi completata cand apare checker.

8 Punctaj

8.1 Checker

Checker-ul va oferi un punctaj ıntre 0 s, i 10. Primele 9.6 puncte sunt ımpart, ite ıntrei grupe, cate una pentru ER, AFD s, i AFN. Intr-o grupa de 3.2 de puncte, suntcate opt teste de conversie la fiecare metoda de reprezentare s, i de verificare aapartenent,ei cuvintelor. Pentru ultimele 0.4 puncte, aleget, i un limbaj, descriet, iın limbajul descris ın enunt, ER, AFN s, i AFD s, i scriet, i-le ın nis,te fis, iere numitemy-er, my-afd, respectiv my-afn. Checker-ul va face nis,te verificari s, i va oferipunctajul.

Pe langa cele 10 puncte ale temei, checker-ul poate da s, i punctaj bonus.Acest punctaj este doar pentru a reduce depunctarea pentru ıntarzieri, nu pen-tru a completa lipsa unor teste anterioare. In categoria bonus intra tot ce implicagramatici regulate.

8.2 Depunctari

Pentru fiecare zi de ıntarziere se scad 0.25 puncte. Depunctarea pentru ıntarzierese va trunchia la 3.14 puncte. Bonusul valoreaza cel mult 3.2 puncte, deci poateanula complet depunctarile pentru ıntarzieri.

Implementarile care nu folosesc flex deloc vor fi punctate cu cel mult 20%din punctajul dat de checker. Parsarea de mana ın C/C++/Java/Haskell seva depuncta la latitudinea asistentului care corecteaza. Pentru a lua punctajmaxim, se recomanda sa folosit, i cat mai multe din facilitat, ile flex/jflex/alex.

Temele care nu respecta formatul de README nu vor fi punctate, fiindcachecker-ul nu se va descurca.

Deadline soft pentru tema: 01.12.2013, ora 23:59. Calculul ıntarzierilor seva face la ora 03:00. Deadline hard: 05.01.2014, ora 23.59.

10

9 Sugestii

Nu trebuie sa implementat, i toate conversiile pentru a le putea face pe toate. Oconversie se poate face s, i printr-un stadiu intermediar. Pentru a le putea facepe toate, graful conversiilor trebuie sa fie tare conex.

Pentru parametri ın linie de comanda ın Haskell, putet, i folosi ca referint, a[10].

Pentru makefile, putet, i folosi [11] sau sa ıntrebat, i pe forum.

10 Concluzii

ER, AFD, AFN, GR sunt echivalente ca forme finite de reprezentare ale lim-bajelor regulate. Niciuna din ele nu are putere de descriere mai mare sau maimica decat celelalte.

11

Bibliografie

[1] flex homepage

[2] Lexical Analysis with Flex

[3] Using flex

[4] jflex homepage

[5] jflex user manual

[6] jflex user manual in japanese

[7] alex homepage

[8] alex user guide

[9] Alex Haskell professional

[10] Haskell command line parameters

[11] Laborator 1 SO: Makefile

12