Dezvoltarea sistemelor Web › ~busaco › teach › courses › ... · ga .ro / ~ co Dezvoltarea...

profs.in

fo.uaic.ro/~busa

Dezvoltarea sistemelor Web

(re)găsirea resurselor Web

🕸de la motoare de căutare și SEO la date structurate

profs.in

fo.uaic.ro/~busa

“A well-defined problem is half solved.”

Michael Osborne

profs.in

fo.uaic.ro/~busa

Ce activități realizează un motor de căutare?

profs.in

fo.uaic.ro/~busa

Scop:localizarea resurselor existente pe Web

profs.in

fo.uaic.ro/~busa

conținut textual

documente Web, știri, comentarii, cod-sursă,însemnări în cadrul aplicațiilor Web sociale etc.

profs.in

fo.uaic.ro/~busa

conținut multimedia

imagini (fotografii, diagrame, ilustrații), audio, video, prezentări,… (în formă fizică și/sau electronică

– gratuite ori comerciale)

profs.in

fo.uaic.ro/~busa

entități

persoane, organizații, evenimente, cunoaștere (cărți, software), de interes personal/social

(bunuri reale/digitale – produse și/sau servicii),…

profs.in

fo.uaic.ro/~busa

Tipuri de căutări – maniera tradițională:

pe bază de indecși

explorare a Web-ului (crawling) +prelucrarea conținutului textual (indexing)

Lycos – 1994 (Carnegie Mellon University)AltaVista – 1995 (Digital Equipment Corporation)

profs.in

fo.uaic.ro/~busa

pe baza ierarhiilor de termeni(servicii de tip catalog – topic directory, taxonomii)

Yahoo! – Yet Another Hierarchical Officious Oracle1994 (Stanford)

Jerry and David’s guide to the World Wide Web

profs.in

fo.uaic.ro/~busa

hibrideindecși + taxonomiiportal Web

Excite – 1994 (inițial Architext – Stanford)

profs.in

fo.uaic.ro/~busa

pe baza legăturilor hipertext(hyperlink analysis)

Google – 1996 (inițial BackRub – Stanford)

vezi și S. Buraga, „Căutarea resurselor Web” (2016)www.slideshare.net/busaco/sabin-buraga-cutarea-resurselor-web

profs.in

fo.uaic.ro/~busa

Un motor de căutare trebuie să satisfacănevoia de informații a utilizatorului

(user information-seeking)

profs.in

fo.uaic.ro/~busa

Caracteristici ale unui motor de căutare ideal

căutarea oricărei resurse existente

profs.in

fo.uaic.ro/~busa

viteză

rezultatele să fie disponibile imediat

direcție de interes major: real-time Web search

profs.in

fo.uaic.ro/~busa

disponibilitate

actualizarea permanentă(orice modificare să fie indexată „instantaneu”)

profs.in

fo.uaic.ro/~busa

„reamintire” – recall

găsirea tuturor resurselor relevantepentru o cerere dată

profs.in

fo.uaic.ro/~busa

precizie

rezultatul conține doar resurse relevante

prezent: recurgerea la tehnici din inteligența artificială

profs.in

fo.uaic.ro/~busa

categorisire eficientă – ranking

cele mai relevante resurse Websunt plasate primele

profs.in

fo.uaic.ro/~busa

Care sunt principalele componenteale unui motor de căutare?

profs.in

fo.uaic.ro/~busa

coRobot Webextrage informații

Index (catalog)stochează – în mod persistent – (meta)date

despre resursele existente pe Web

Mecanism de evaluare (ranking)pe baza cererii utilizatorului,

oferă răspunsuri – de dorit, utile

profs.in

fo.uaic.ro/~busa

structura generică a unui motor de căutare (Chakrabarti, 2003)

profs.in

fo.uaic.ro/~busa

Preluarea + indexarea resurselor se pot realiza:

automat – via roboți Webmanual – recurgând la experți umani

hibrid

profs.in

fo.uaic.ro/~busa

Preluarea și indexarea resurselor

strategii:natura datelor/relațiilor (data/relation mining)

detectarea subiectului conținutului (topic distillation)

meta-date – date descriind date (e.g., doar însemnări ca replici la alte mesaje)

căutare socială (tag-uri, anturaj, aplicații Web sociale)

context (e.g., localizare geografică, timp, dispozitiv)

profil al utilizatorului – personalizare(e.g., istoric al căutărilor, preferințe lingvistice)

profs.in

fo.uaic.ro/~busa

Am putea recurge la extragerea automatăa datelor expuse pe Web?

profs.in

fo.uaic.ro/~busa

Roboți

programe ce traversează automat Web-ul,cu scopul de a extrage date

spiders, crawlers, Web bots

robot Web navigator Web

profs.in

fo.uaic.ro/~busa

Roboți

pornind de la un URL, realizează o conexiune HTTPla un server Web, pentru a întreprinde anumiteacțiuni privitoare la reprezentarea unei resurse– uzual, HTML – și, recursiv, din toate resursele

(documentele) desemnate de legăturile existenteîn cadrul reprezentării

profs.in

fo.uaic.ro/~busa

Roboți

pornind de la un URL, realizează o conexiune HTTPla un server Web, pentru a întreprinde anumiteacțiuni privitoare la reprezentarea unei resurse– uzual, HTML – și, recursiv, din toate resursele

(documentele) desemnate de legăturile existenteîn cadrul reprezentării

acțiuni: extrage de date, copiere, agregare de conținut, monitorizare, realizare a unui rezumat etc.

profs.in

fo.uaic.ro/~busa

roboți: pericole

Operarea în foc rapid (rapid-fire)

trafic de rețea

supraîncărcarea serverelor Webdenial of service

profs.in

fo.uaic.ro/~busa

roboți: pericole

Actualizarea cu întârziere a bazelor de dateale motoarelor de căutare

profs.in

fo.uaic.ro/~busa

roboți: pericole

Actualizarea cu întârziere a bazelor de dateale motoarelor de căutare

necesitatea specificării timpului de revizitare a situluide către robotul Web

profs.in

fo.uaic.ro/~busa

roboți: pericole

Exploatarea (ne)controlată de către utilizatori

atacuri „brute”

profs.in

fo.uaic.ro/~busa

roboți: pericole

Intrarea în „găurile negre”

profs.in

fo.uaic.ro/~busa

roboți: pericole

Accesarea unor date nerelevante

profs.in

fo.uaic.ro/~busa

roboți: identificare

Fiecare robot Web trebuie să se identifice(nume, domeniu, creator,...)

uzual, va fi folosit câmpul User-Agent

din antetul unei cereri HTTP

profs.in

fo.uaic.ro/~busa

Ai motoarelor de căutare majore

Baidu – Baiduspider: www.baidu.com/search/spider.html

Bing – Bingbot, BingPreview, AdIxBotwww.bing.com/webmaster/help/which-crawlers-does-bing-use-8c184ec0

DuckDuckGo – duckduckgo.com/duckduckbot

Google – APIs-Google, AdSense, AdsBot, Googlebot, Googlebot-Image, Googlebot-News, Googlebot-Video,…

support.google.com/webmasters/answer/1061943

Yahoo! – Slurp: help.yahoo.com/help/us/ysearch/slurp

Yandex – YandexBot, YandexImages etc.:yandex.com/support/webmaster/robot-workings/check-yandex-robots.html

profs.in

fo.uaic.ro/~busa

Specializați

e.g., validarea codului HTML, scurtarea lungimiiURL-urilor, scanare de vulnerabilități, statistici,

arhivarea conținutului disponibil pe Web,…

exemplificări: ChangeDetection, citeseerxbot, Distill,Feedity, Heritrix (folosit de archive.org),

extensii Nagios, Scrapy, W3C Validator

profs.in

fo.uaic.ro/~busa

Personali

rulați de utilizatori

exemplificare: software de „oglindire” (copiere) a conținutului unui (fragment de) sit Web

aplicații notorii disponibile în regim deschis:curl – curl.haxx.se/ wget – www.gnu.org/software/wget/

profs.in

fo.uaic.ro/~busa

Roboți (potențial) malefici

pot cauza breșe de securitate, exploatând diverse vulnerabilități ale siturilor/aplicațiilor Web

exemple tipice: JS/PHP/SQL/link injection, atacuri XSS (Cross-Site Scripting)

www.botreports.com/badbots/

profs.in

fo.uaic.ro/~busa

66.249.65.173 - - [09/Nov/2019:11:26:31 +0200] "GET /~introp/ HTTP/1.1" 304 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

93.158.178.188 - - [09/Nov/2019:11:25:08 +0200] "GET /~adria/...pdf HTTP/1.1" 200 198738 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

66.249.65.70 - - [09/Nov/2019:11:22:06 +0200] "GET /~busaco/teach/courses/cliw/ HTTP/1.1" 200 2120 "-" "Mozilla/5.0 (iPhone; …Safari/600.1.4 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

180.76.5.101 - - [09/Nov/2019:11:22:02 +0200] "GET /~busaco/ HTTP/1.1" 200 1907 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

98.137.206.250 - - [09/Nov/2019:11:21:07 +0200] "GET /~busaco/ HTTP/1.1" 200 1907 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

157.55.39.73 - - [09/Nov/2019:11:20:43 +0200] "GET /~webdata/…/OCT.pdf HTTP/1.1" 403220 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

208.115.111.71 - - [09/Nov/2019:11:20:42 +0200] "GET /%7Eorar/ HTTP/1.1" 200 12705 "-" "Mozilla/5.0 (DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)"

63.249.66.212 - - [09/Nov/2019:11:14:55 +0200] "GET /~croitoru/ag/ HTTP/1.1" 200 2575 "-" "Mozilla/4.0 (compatible; MSIE 6.0; http://www.changedetection.com/bot.html)"

66.249.65.70 - - [09/Nov/2019:11:12:47 +0200] "GET /~busaco/paint/leaf/leaf-9.jpg HTTP/1.1" 304 - "-" "Googlebot-Image/1.0"

157.55.39.177 - - [09/Nov/2019:11:11:53 +0200] "GET /~lrc/ HTTP/1.1" 200 1914 "-" "msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)"

136.243.9.23 - - [09/Nov/2019:09:40:35 +0200] "GET /~busaco/ HTTP/1.0" 200 1907 "-" "Mozilla/5.0 (… James BOT - WebCrawler http://cognitiveseo.com/bot.html"

cereri HTTP efectuate de diverși roboți Web(menționate în fișierul de jurnalizare Apache)

profs.in

fo.uaic.ro/~busa

statistici + detalii:www.botsvsbrowsers.org

profs.in

fo.uaic.ro/~busa

Cum putem „instrui” roboții Websă nu viziteze anumite zone ale sitului?

profs.in

fo.uaic.ro/~busa

Orice robot trebuie să respectestandardul de excludere

„inhibă” vizitarea anumitor zone (secțiuni) ale unui sit Web

în rădăcina unui domeniu Web se poate plasa fișierul robots.txt

www.robotstxt.org/robotstxt.html

profs.in

fo.uaic.ro/~busa

# https://developer.mozilla.org/robots.txt

User-agent: * # toți roboții

Crawl-delay: 5 # 5 sec. între cereri

Sitemap: https://developer.mozilla.org/sitemap.xml

Disallow: /admin/ # căi ce nu trebuie vizitate

Disallow: /*/dashboards/*

Disallow: /*docs/feeds

fișierul robots.txt poate cuprinde extensii recunoscute doar de un anumit crawler Web

cazul Google: developers.google.com/search/reference/robots_txt

profs.in

fo.uaic.ro/~busa

de studiat câteva exemple reale de fișiere robots.txt:www.amazon.com/robots.txt

www.facebook.com/robots.txt

github.com/robots.txt

www.google.com/robots.txt

User-agent: *

Disallow: /user/*

Disallow: /addtocart*

Disallow: /proces_comanda

Disallow: /cart/*

Disallow: /checkout

Disallow: /imagini/*

Disallow: /images/*

Disallow: /compare/*

Disallow: /thank-you$

Disallow: /cat-*/pid-*/ord-*/p-*

Disallow: /adauga-review

Disallow: /adauga-intrebare

Disallow: /header-cart

Disallow: /header-wl

Disallow: /product_get_recommandations/*

Disallow: /get_back_to_search_url

Disallow: /search-tools/*

Disallow: /ajax_live_products

Disallow: /box_user_history

Disallow: /gr_box_bottom_landing/*

Disallow: /site_ajax_ads

Allow: /*/*/*all-products

User-agent: 008

Disallow: /

profs.in

fo.uaic.ro/~busa

Orice robot trebuie să respectestandardul de excludere

evitarea indexării conținutului:

profs.in

fo.uaic.ro/~busa

motoare: căutarea

Activitatea generală a unui robot (crawler) simplu:

F = mulțimea de URL-uri de start (frontiera)cât-timp F este nevidăextrage un URL u din Fpreia pagina (resursa Web) p cu adresa udacă p este relevantăstochează p în indexpentru-fiecare legătură v din p

dacă v nu este în index și v nu aparține lui Fși v ar putea fi vizitată

adaugă v la F

profs.in

fo.uaic.ro/~busa

motoare: căutarea

Robotul/motorul de căutare decide momentulrevizitării resursei care urmează a fi reindexată

sau doar verificată

profs.in

fo.uaic.ro/~busa

Cum se realizează indexarea?

profs.in

fo.uaic.ro/~busa

motoare: indexarea

Necesitatea folosirii sistemelor de baze de date depozit distribuit de stocare (eventual, în cloud)

optimizarea regăsirii

profs.in

fo.uaic.ro/~busa

motoare: indexarea

optimizarea regăsirii

modele non-relaționale de stocare – „mișcarea” NoSQL

printre primele abordări: BigTable (Chang et al., 2006)research.google.com/archive/bigtable.html

profs.in

fo.uaic.ro/~busa

motoare: indexarea

arhivarea datelor indexate

e.g., recurgerea la algoritmul de compresiebzip2 – www.bzip.org (cazul Google)

profs.in

fo.uaic.ro/~busa

motoare: indexarea

Utilizarea nu doar a datelor propriu-zise(conținutului textual), ci și a meta-datelor

e.g., limbă, cuvinte-cheie, autor, format,data ultimei actualizări, frecvența modificărilor,…

profs.in

fo.uaic.ro/~busa

motoare: indexarea

Indexare bazată pe cuvinte-cheie

relevanță, amplasare – e.g., context de apariție –, meta-date, procesarea limbajului natural,

clasificare (semi-)automată via învățare automată(machine learning) sau alte tehnici,...

profs.in

fo.uaic.ro/~busa

motoare: indexarea

Indexare semantică – recurge la concepte

clasificare socială via adnotare de resurse – tagging (folksonomy)

+ folosirea tehnologiilor Web-ului semantic

profs.in

fo.uaic.ro/~busa

motoare: interogarea

Cererile sunt formulate via o interfață Web

unele motoare de căutare acceptăfolosirea unor operatori specifici

profs.in

fo.uaic.ro/~busa

exemplificare: o parte dintre operatorii Google

"expresie" ~termen –termen

related: URL cache: URL link: URL

intitle: termen(i) allintitle: termen(i)

intext: termen(i) allintext: termen(i)

inurl: termen(i) allinurl: termen(i)

site: domeniu info: domeniu

define: termen filetype: extensie

unit1 in unit2 număr1 .. număr2

detalii la www.googleguide.com/advanced_operators_reference.html

profs.in

fo.uaic.ro/~busa

digital camera $700 .. 1400

intitle:design –intitle:web

"burse de merit"

site:uaic.ro

inurl: art nouveau

allinurl: ES6 library

16 cm in inch

related:www.w3.org

js mvc inanchor:slideshare

define:design

cache:http://devdocs.io/

map:iasi,romania

firefox filetype:svg OR filetype:png

unii operatori sunt permiși doar pentru anumite tipuri de căutări – e.g., știri, imagini, hărți

profs.in

fo.uaic.ro/~busa

Interogările din prisma utilizatorului:

grad mare de subiectivitate

e.g., “miserable failure”

profs.in

fo.uaic.ro/~busa

depind de contextul social/cultural

exemple:“pants” în UK versus US

“madonna and child”

profs.in

fo.uaic.ro/~busa

dependente de scop (user intent)

informațional (listă, locație, sfat)

navigațional

vizând accesul la (tipuri de) resurse(download, amuzament, interactivitate, tranzacții,…)

profs.in

fo.uaic.ro/~busa

semantici diferite ale unei interogărinecesitatea înțelegerii limbajului natural

www.google.com/search/howsearchworks/algorithms/

profs.in

fo.uaic.ro/~busa

Remarci:

utilizatorii obișnuiți nu înțeleg limbajul logic – „booleana”

exemplu:“hotels located in Bucharest and Iasi”

profs.in

fo.uaic.ro/~busa

Remarci:

interogările uzual sunt scurte,dar focalizate – e.g., 25% pe business – conform Yahoo!

apar confuzii:URI vs. text

lipsa spațiilorvocabular

profs.in

fo.uaic.ro/~busa

Remarci:

implicit, termenii de căutare trebuie să se regăseascăidentic în cadrul conținutului unui document Web

e.g., căutând “children”, nu vom obține neapărat și paginile care includ “kids”

profs.in

fo.uaic.ro/~busa

interacțiunea cu motorul de căutare poate fi facilitată

și de un agent software conversațional

Apple Siri, Amazon Alexa, Google Assistant, Google Now, Microsoft Cortana, Mycroft.ai,

Dragon Go!, SpeakToIt Assistantthereisabotforthat.com botpress.io

profs.in

fo.uaic.ro/~busa

Detalii despre calculul relevanței?

profs.in

fo.uaic.ro/~busa

motoare: relevanță

Evaluarea relevanței:

1. Analizarea interogării (tokenizing)2. Căutarea în indecșii termenilor3. Scanarea documentelor4. Evaluarea relevanței paginilor5. Eliminarea duplicatelor + sortarea6. Afișarea primelor N documente relevante

(URI + alte informații)

profs.in

fo.uaic.ro/~busa

Conținutul fiecărui document extraseste analizat și divizat în token-uri

profs.in

fo.uaic.ro/~busa

Unele construcții se ignoră/constrâng

e.g., “the”, “is”/“are”/“were” → “be”, “running” → “run”

procesare de bază a conținutului textual

profs.in

fo.uaic.ro/~busa

Fiecărui token i se reține și poziția aparițieiîn document

poziția poate fi folosităla determinarea relevanței termenului

profs.in

fo.uaic.ro/~busa

Criterii vizând calculul relevanței:

ranking bazat pe clasificare umană

resurse clasificate de oameni

profs.in

fo.uaic.ro/~busa

ranking bazat pe informații privitoarela utilizarea unei resurse

timpul de vizită, periodicitatea vizitei,frecvența actualizării resursei, importanța relativă etc.

profs.in

fo.uaic.ro/~busa

ranking bazat pe conectivitate

analiza relațiilor (legăturilor hipertext) cu alte pagini

eventual, în funcție de reputațiee.g., importanța domeniului Internet

(sunt luați în calcul factori ca vechimea, localizarea,…)

profs.in

fo.uaic.ro/~busa

Calculul relevanței:

tehnici privind IR (Information Retrieval)

căutări bazate pe similaritate – similarity search

recurgând la învățare automată

clasificarea conținutului hipermedia

social network analysis – bibliometrie, prestigiu,…

profs.in

fo.uaic.ro/~busa

Page Rank (Google)Larry Page & Sergey Brin, 1998

evaluarea relevanței pe baza contextului de apariție

exploatarea relațiilor dintre diferite pagini Web

o legătură de la resursa A la B reprezintăun vot dat resursei B de către A

infolab.stanford.edu/~backrub/google.html

profs.in

fo.uaic.ro/~busa

Actualmente, se iau în considerațieconcepte (cunoștințe), nu cuvinte

“things, not strings”

de vizionat prezentareaM. Lanthaler, “The Future of the Web– From Strings to Things” (2015)

vimeo.com/133137907

profs.in

fo.uaic.ro/~busa

Motoarele tind să „recompenseze” siturile:

de mari dimensiuni

cu viață lungă

specializate, de „nișă”

aparținând unor autorități de încredere

profs.in

fo.uaic.ro/~busa

timp strategie

înainte de 2000

conținut – indexarea textului(titlu, anteturi, URL, descriere via <meta>)

2000—2010conținutautoritate (via legături desemnate de URL-uri)

2010—prezent

conținutautoritatepersonalizare (social media + profil utilizator)

2012—prezent

conținutautoritatepersonalizareconcepte (date structurate + Web of data)context (localizare geo, limbă, timp, dispozitiv,…)

adaptare după (K. Bodnar & J. Hopkins, 2011)de studiat și www.slideshare.net/randfish/presentations

profs.in

fo.uaic.ro/~busa

coInstrumente software open source pentru implementatori: Apache Lucene, Apache Nutch, Apache Solr,

mnoGoSearch, Namazu, Xapian,…

API-uri publice: www.programmableweb.com/category/search

disponibilitatea datelor indexate în regim deschis în vederea analizării ulterioare:

commoncrawl.org

profs.in

fo.uaic.ro/~busa

SERP (Search Engine Result Page)

specifică maniera de redare a rezultateloroferite de motorul de căutare

motoare: afișarea rezultatelor

profs.in

fo.uaic.ro/~busa

SERP (Search Engine Result Page)

se includ recomandări pe baza:preferințelor utilizatorului

istoricului căutărilorURL-urilor partajate via rețele sociale

meta-datelor (rich snippets)adnotărilor realizate de utilizatorilocalizării geografice (local search)

motoare: afișarea rezultatelor

profs.in

fo.uaic.ro/~busa

a se considera și DuckDuckGo Instant Answers: duck.co/ia

motorul de căutareDuckDuckGo este axat

asupra asigurării intimitățiiutilizatorului în ceea ce privește

căutările acestuia pe Web

profs.in

fo.uaic.ro/~busa

“At any one time you rank #1 or #8 or #40based on who is searching, where they search,

and what is happening.”

K. Bodnar & J. Hopkins, 2011

profs.in

fo.uaic.ro/~busa

În ce mod prezentăm conținutulaltor clienți – diferiți de cei umani?

profs.in

fo.uaic.ro/~busa

SEO – Search Engine Optimization

suită de strategii de redactare a codului HTMLîn vederea obținerii unei relevanțe ridicate

a conținutului, astfel încât pagina/situl să fieregăsite în urma unei căutări specifice efectuate

cu un instrument de căutare

profs.in

fo.uaic.ro/~busa

Structurarea codului-sursă al documentelor Web

Structurarea conținutului (textual, grafic,…)

Structurarea legăturilor cu alte resurse

profs.in

fo.uaic.ro/~busa

Se recurge la semnificația logică a marcatorilor HTMLPOSH (Plain Old Semantic HTML)

titluri plasate ierarhic via elementele <h1>, <h2>,…

conținut tabelar cu <table>

aranjament vizual (layout)via stiluri CSS și nu tabele (<table> <tr>…)

profs.in

fo.uaic.ro/~busa

divizarea conținutului: <section> <article> <header> <footer> <aside> etc.

marcajarea elementelor vizând navigabilitatea cu <nav>

liste specificate cu <ul> <ol> <li>

profs.in

fo.uaic.ro/~busa

section

articlep

header

profs.in

fo.uaic.ro/~busa

conținut textual alternativ pentru imagini (<img alt="..." />), legături (<a title="...">), tabele (<table summary="...">),

multimedia,…

atașarea de meta-date externe în antetul paginii Web via <head>, <meta /> și <link />

Josh Buchea, A free guide to <head> elements – gethead.info

profs.in

fo.uaic.ro/~busa

de evitat elementele învechite – e.g., cadre (frame-uri) –sau proprietare (<blink> ori <marquee>)

documentul trebuie să fie bine-formatatverificarea corectitudinii codului HTML cu instrumentul

oferit de Consorțiul Web – validator.w3.org

a se considera și html5boilerplate.com

profs.in

fo.uaic.ro/~busa

coConținutul primează – content is king

o importanță majoră o are titlul paginiiUntitled Document – aproape 63 de milioane de rezultate

situl trebuie actualizat periodic, frecvent

numele fișierelor (imagini, stiluri,…) conteazătehnică utilă:

„rescrierea” URL-urilor – e.g., mod_rewrite la Apache

anumite date pot fi „ascunse” de roboți via robots.txt

profs.in

fo.uaic.ro/~busa

Realizarea legăturilor între pagini (hipermedia)

obligatoriu, de inclus legături spre alte resurse(ale sitului propriu ori ale altor situri)

dorim legături spre/de la situri importanteavând conținut similar cu situl nostru

de verificat și menținut structura hipertextuluiinstrumentul LinkChecker – validator.w3.org/checklink

profs.in

fo.uaic.ro/~busa

de citit cap. 2 din S. Buraga, Proiectarea siturilor Web, Polirom, 2005www.slideshare.net/busaco/sabin-buraga-proiectarea-siturilor-web

tehnici clasiceașa-zis „demodate”:

interschimb de adrese(link-uri) – banner-e, blogroll-uri

marketing bazat pe contexte.g., produse/servicii înrudite

profs.in

fo.uaic.ro/~busa

recurgerea la aplicații Web socialeSMO – Social Media Optimization

partajare în rețeaua de „prieteni”,apreciere, comentarii, opinii,…

S. Buraga, Design Patterns for Social (Web/mobile) Interactions, prelegere la materia Human-Computer Interaction, FII, UAIC, 2019

profs.info.uaic.ro/~busaco/teach/courses/hci/hci-film.html#week7

profs.in

fo.uaic.ro/~busa

de evitat paginile de eroare – 404 Not Found

orice pagină de eroare poate fi „convertită”într-o resursă folositoare omului/robotului

uzual, se oferă harta sitului (site map), legături relevante, motor intern de căutare,…

alistapart.com/article/perfect404

alistapart.com/article/amoreuseful404

profs.in

fo.uaic.ro/~busa

a nu se folosi navigarea bazată pe JavaScript ori – mai desuet – pe tehnologii proprietare (Flash/Silverlight)

<p>participanții: <a href="javascript:sari(3);">aici</a></p>

<h5><a href="javascript:window.history.back();">la prima pagină</a></h5>

profs.in

fo.uaic.ro/~busa

Alte aspecte de interes despre SEO?

profs.in

fo.uaic.ro/~busa

Specificarea structurii unui sit Web

crearea documentului sitemap.xml

pentru a fi ulterior procesat de motorul de căutare

www.sitemaps.org/protocol.html

complementar fișierului robots.txt

furnizează structura hipertext a unui sit Web

datele pot fi furnizate și în formatele Atom, RSS și text obișnuit

profs.in

fo.uaic.ro/~busa

Specificarea structurii unui sit Web

<?xml version="1.0" encoding="UTF-8"?>

<loc>https://developer.mozilla.org/en-US/docs/Archive</loc>

</url>

</urlset>

cazuri concrete:developer.mozilla.org/sitemap.xml

techcrunch.com/sitemap.xml

instrument Web de generare: www.xml-sitemaps.com

profs.in

fo.uaic.ro/~busa

Evitarea spam-ului Web

e.g., legături încrucișate între pagini similareale aceluiași sit Web ori ale unei colecții de situri

motoarele de căutare detectează + penalizează spam-ul!searchenginewatch.com/?s=spam

profs.in

fo.uaic.ro/~busa

Paginile de „acoperire” (page cloaking)

scop: oferirea de conținut diferit,în funcție de un anumit criteriu

(aici, conținut special pentru roboții de căutare)

black-hat page cloakingtehnică penalizată: support.google.com/webmasters/answer/66355

profs.in

fo.uaic.ro/~busa

Oferirea de conținut via documenteadoptând formate de date nestandardizate

Titluri identice pentru toate paginile unui sit

Pagini de eroare oferite de servervia codul de stare HTTP 200 Ok

Redirecționări incorecte/malițioase

Abuzul de transferuri asincrone (Ajax)

de evitat

profs.in

fo.uaic.ro/~busa

Regăsirea informațiilor disponibile pe Web trebuie considerată într-un context mai larg

accesibilitatea – utilizatorii cu nevoi speciale

Web Accessibility Initiativewww.w3.org/WAI/

Web Accessibility in Mindwebaim.org

profs.in

fo.uaic.ro/~busa

Regăsirea informațiilor disponibile pe Web trebuie considerată într-un context mai larg

performanța aplicațiilor Web

aspect important: timpul de încărcare a unei pagini Web

profs.in

fo.uaic.ro/~busa

Resurse de interes:

Google Webmaster Centraldevelopers.google.com/webmasters/

Learn SEO and Search Marketingmoz.com/learn/seo

Search Engine Landsearchengineland.com

Search Engine Watchsearchenginewatch.com

Search Engine Roundtablewww.seroundtable.com

Search Engines @ VideoLecturesvideolectures.net/Top/Computer_Science/Search_Engines

profs.in

fo.uaic.ro/~busa

Invisible Web (Deep Web)

acea parte a spațiului WWW care nu este detectată de motoarele de căutare sau

de alte tipuri de aplicații de regăsire a resurselordisponibile pe Web

profs.in

fo.uaic.ro/~busa

Dark Web

acea parte a spațiului informațional reprezentat de Deep Web care în mod intenționat e ascunsă

și inaccesibilă via navigatoare Web comune

exemplu notoriu:rețele anonime (VPN – Virtual Private Network)

accesate cu TOR Browser

profs.in

fo.uaic.ro/~busa

Cum am putea descrie conținutul resurselor Webastfel încât să poată fi procesat „inteligent”?

profs.in

fo.uaic.ro/~busa

Idee:specificarea unor meta-date direct în cadrul

documentelor HTML pentru a „explica” unui program (software – e.g., motor de căutare)

conținutul unei resurse Web

profs.in

fo.uaic.ro/~busa

Soluții actuale aliniate problematicilor Web-ului semantic – Web of Data

scheme de microdate HTML5 – schema.org

RDFa (standard al Consorțiului Web) – rdfa.info

profs.in

fo.uaic.ro/~busa

Microdata HTML 5

specificație HTML Living Standard (6 decembrie 2019)

html.spec.whatwg.org/multipage/microdata.html

profs.in

fo.uaic.ro/~busa

Microdata HTML 5

posibilitatea de a specifica perechi de proprietăținume—valoare „scufundate” în HTML

profs.in

fo.uaic.ro/~busa

Microdata HTML 5

grupurile de perechi de proprietăți nume—valoare sunt denumite items

profs.in

fo.uaic.ro/~busa

Microdata HTML 5

creare via atributul itemscope

stabilește și domeniul de vizibilitate

profs.in

fo.uaic.ro/~busa

Microdata HTML 5

specificarea unei proprietăți prin atributul itemprop

profs.in

fo.uaic.ro/~busa

Microdata HTML 5

referire cu ajutorul atributului itemref

profs.in

fo.uaic.ro/~busa

Microdata HTML 5

asocierea unui tip de date se face cu atributul itemtype

profs.in

fo.uaic.ro/~busa

Microdata HTML 5

pentru identificarea unui item se folosește itemid

profs.in

fo.uaic.ro/~busa

Există o serie de modele de date(exprimate via microdate)ce pot fi indexate și folosite

de actualele motoare de căutare?

profs.in

fo.uaic.ro/~busa

schema.org

colecție de vocabulare (scheme de date)– e.g., Book, Event, LocalBusiness, Movie, Offer, Person,

Place, Recipe, Review, TVSeries,… – recunoscute șiindexate de roboții principalelor motoare de căutare

istoric și viziune:R. Wallis, “Schema.org: Structured Data – What, Why, & How”, 2018

www.slideshare.net/rjw/schemaorg-structured-data-the-what-why-how-125885618

profs.in

fo.uaic.ro/~busa

schema.org

colecție de vocabulare (scheme de date)– e.g., Book, Event, LocalBusiness, Movie, Offer, Person,

Place, Recipe, Review, TVSeries,… – recunoscute șiindexate de roboții principalelor motoare de căutare

Bing, Google, Yahoo!, Yandex

amănunte la schema.org/docs/gs.html

modeleconceptuale

profs.in

fo.uaic.ro/~busa

profs.in

fo.uaic.ro/~busa

tipurile primare de date definite de schema.org

profs.in

fo.uaic.ro/~busa

diverse proprietăți ce relaționează Integer cu alte concepte

profs.in

fo.uaic.ro/~busa

Thing – schema cea mai generală, incluzând conceptualizări(clasificări realizate riguros)

Action

BroadcastService

CreativeWork

Intangible

MedicalEntity

Organization

Person

Product

Property

profs.in

fo.uaic.ro/~busa

Person – modelează conceptul „persoană”http://schema.org/Person

profs.in

fo.uaic.ro/~busa

MusicRecording – specifică o înregistrare muzicală (sub-clasă a conceptului CreativeWork)

profs.in

fo.uaic.ro/~busa

schema.org

relațiile dintre entități sunt precizate via proprietăți

profs.in

fo.uaic.ro/~busa

<div lang="en" itemscope="" itemtype="http://schema.org/RealEstateAgent"><span itemprop="name">Tuxy Unlimited</span><div itemprop="address" itemscope=""

itemtype="http://schema.org/PostalAddress"><span itemprop="streetAddress">Banchiza, 1</span><span itemprop="addressLocality">Iasi</span>,<span itemprop="addressRegion">Iasi</span><span itemprop="postalCode">700550</span>

</div>Phone: <span itemprop="telephone">+4032201090</span><a href=

"http://www.openstreetmap.org/way/243817200#map=18/47.17493/27.57378" itemprop="maps">Details on OpenStreetMap</a>

</div>

fapte vizând domeniul imobiliar

…pe baza modelului conceptual schema.org

profs.in

fo.uaic.ro/~busa

<p itemid="#busaco" itemscope="" itemtype="http://schema.org/Person">This discipline is taught by

<span itemprop="honorificPrefix">Dr.</span> <a href="https://profs.info.uaic.ro/~busaco/"

title="Visit the Website of Sabin-Corneliu Buraga" itemprop="url"><span itemprop="name">

<span itemprop="givenName">Sabin</span>-<span itemprop="additionalName">Corneliu</span> <span itemprop="familyName">Buraga</span>

</span></a>.

</span></p>

specificarea (adnotarea explicită a) faptului: „entitatea având numele Sabin-Corneliu Buraga este o persoană, posedă titlul Dr. și are situl Web propriu

disponibil la adresa https://profs.info.uaic.ro/~busaco/”

profs.in

fo.uaic.ro/~busa

<section id="web-nodejs"><h2>Web Supplement</h2><ul>

<li itemscope="" itemtype="http://schema.org/CreativeWork"itemid="#nodejs" class="lecture"><p>Tutorial: <a itemprop="url" title="…"

href="presentations/web-nodejs.pdf"><span itemprop="name">Web Application Development

with Node.js</span></a></p><div class="terms" itemprop="keywords"> Web, development, server,

Node.js, JavaScript, programming, npm, tools</div></li>…

</ul></section>

specificarea în HTML5 a lucrărilor creative de tip CreativeWork conform schema.org

profs.in

fo.uaic.ro/~busa

extragerea/verificarea de date structurate via Structured Data Testing Tool – search.google.com/structured-data/testing-tool

profs.in

fo.uaic.ro/~busa

extragerea informațiilor din HTML5aici, despre prelegerile asociate unei materii

profs.in

fo.uaic.ro/~busa

<h2>Tema</h2><p itemprop="description">Concursul este destinat studenților<span itemprop="location" itemscope="" itemtype="http://schema.org/Place">

<a href="http://www.info.uaic.ro/" itemprop="url" title="Spre situl FII><span itemprop="name">FII</span></a> (UAIC <span itemprop="address">Iași, România</span>)</span>

și constă în optimizarea conținutului și structurii unui sit Web.</p>…<p>Perioadă de desfășurare: <span itemprop="startDate" content="2018-10-15T00:00">15 octombrie 2018</span>—<strong><span itemprop="endDate" content="2019-01-07T17:00">7 ianuarie 2019, ora 17:00</span></strong>.</p>

</section>…</articol>

pe baza schema.org, se pot modela în HTML date vizând un eveniment (Event) și locul de desfășurare (Place)

profs.in

fo.uaic.ro/~busa

date pentru „consum” uman vs. date structurate interpretate și prelucrate, ulterior, de algoritmi

profs.in

fo.uaic.ro/~busa

inspectarea datelor structurate cu OpenLink StructuredData Sniffer – extensie de browser: osds.openlinksw.com

specificarea meta-datelor privitoare la instanța de Article

aici, o instanță ImageObject

profs.in

fo.uaic.ro/~busa

<div itemscope="" itemtype="http://schema.org/Product"><img itemprop="image" src="tux-de-catifea-cu-paiete.jpg" /><span itemprop="name" lang="ro">Tux de catifea cu paiete</span>

<div itemprop="aggregateRating"itemscope="" itemtype="http://schema.org/AggregateRating"><span itemprop="ratingValue">74</span>din <span itemprop="bestRating">100</span> de punctepe baza a <span itemprop="ratingCount">33</span> de evaluări ale utilizatorilor

</div>

<div itemprop="offers" itemscope=""itemtype="http://schema.org/AggregateOffer">disponibil de la

<span itemprop="lowPrice">30</span> la <span itemprop="highPrice">130</span> de RON pe baza ofertei a <span itemprop="offerCount">10</span> comercianți

Oferta zilei:<div itemprop="offers" itemscope itemtype="http://schema.org/Offer">

<a itemprop="url" href="http://jucarii.biz/tucsi/tux-catifea-paiete">Jucării de sărbători pentru toți, acum și cu paiete!</a>

</div></div>

</div>modelarea cunoștințelor privind

produse și oferte comerciale

profs.in

fo.uaic.ro/~busa

alte exemplificări: pinterest.com/kidehen/structured-metadata-related/

TripAdvisor

construcții RDFa utilizând Open Graph Protocol (Facebook) – ogp.me

utilizarea conceptelor Country și AggregateRating

profs.in

fo.uaic.ro/~busa

acțiuni asociate vizualizării unui produs (instanță a clasei Product) – detalii la schema.org/docs/actions.html

vezi și Increase user engagement with actions in emailsdevelopers.google.com/gmail/markup/

acțiuni ce pot fi efectuate de utilizator(ViewAction e sub-concept al Action)context: dispozitive mobile, e-mail,…

profs.in

fo.uaic.ro/~busa

Diverse utilizări practice:

artefacte culturalevezi prezentările lui A. Isaac despre Europeana

www.slideshare.net/antoineisaac/presentations

biblioteci digitale (digital libraries)R. Wallis, prelegeri la Smart Data’15, BIBFRAME’18,…

www.slideshare.net/rjw/presentations

lucrări științificeformatul Scholarly HTML

w3c.github.io/scholarly-html/

medicină + sănătateschema.org/docs/meddocs.html

health-lifesci.schema.org

profs.in

fo.uaic.ro/~busa

Diverse utilizări practice:

finanțeextensia schema.org privitoare la FIBO (Financial Industry Business Ontology)

wiki.edmcouncil.org

schema.org/FinancialProduct

industria autoauto.schema.org

IoT (Internet of Things)iot.webschemas.org/docs/iot-gettingstarted.html

turismC. Bizer, Schema.org Annotations in Websites. Opportunities

& Challenges for the Tourism Industry, TFF’15www.slideshare.net/TourismFastForward/bizer-christian-schema-orgtourism

profs.in

fo.uaic.ro/~busa

Scheme de microdate HTML5în sistemele de management de conținut

(CMS – Content Management Systems)

M. Mössmer, Schema.org Plugins for CMS Systems (2014)oc.sti2.at/sites/default/files/schemaorg_cmsplugins.pdf

profs.in

fo.uaic.ro/~busa

Scheme de microdate HTML5în sistemele de management de conținut

DokuWikiwww.dokuwiki.org/plugin:semantic

Joomlaextensions.joomla.org/extension/google-structured-data-markup

MediaWikiwww.mediawiki.org/wiki/Extension:GoogleRichCards

TYPO3extensions.typo3.org/extension/schema_org/

WordPresswordpress.org/plugins/all-in-one-schemaorg-rich-snippets/

profs.in

fo.uaic.ro/~busa

statistici vizând includerea de meta-date

direct în codul HTMLtrends.builtwith.com/docinfo

profs.in

fo.uaic.ro/~busa

Microdatele HTML5 sunt indexate de motoarele de căutare

Bing Webmastertinyurl.com/b9mx2f2

Google Structured Datadevelopers.google.com/structured-data/

research.googleblog.com/search/label/schema.org

Yandex Webmasteryandex.com/support/webmaster/schema-org/

Dezvoltarea sistemelor Web › ~busaco › teach › courses › ... · ga .ro / ~ co Dezvoltarea...

Documents

Transcript of Dezvoltarea sistemelor Web › ~busaco › teach › courses › ... · ga .ro / ~ co Dezvoltarea...

TENDINŢE PRIVIND DEZVOLTAREA SISTEMELOR · PDF fileAplicaţii pentru sisteme mecanice inteligente ... O reducere cu 50% a costului de integrare al roboţilor pentru un fabricant auto

Introducere (descrie sumar continutul ghidului si scopul) · Web viewI. 2 Axa prioritară 2 “Dezvoltarea sistemelor de management integrat al deşeurilor şi reabilitarea siturilor

Curriculum vitae Europass...Alte activitǎţi - realizarea de platforme experimentale de laborator (peste 20 de lucrari de laborator) incluzand aici dezvoltarea sistemelor de studiat,

Buget 2019 - Investitori TeraPlast · 2020. 4. 27. · (canalizare,apasigaz) Obiective: Dezvoltarea sistemelor de canalizare din PE & PP: tevi coextrudate si multistrat pentru canalizare

Sisteme solide orale cu eliberare în colon - farma.com.ro · restricţiona transportul prin mucoasa colonului spre circulaţia sistemică (14); 4. o problemă în dezvoltarea sistemelor

~busaco - profs.info.uaic.robusaco/teach/courses/net/presentations/... · Dr. Sabin-Corneliu Buraga –busaco/ Retele de calculatoare Protocoale de comunicatie I SabinCorneliuBuraga

Dreptul securitatii sociale - Brindusa Marian · 2021. 3. 9. · 1.2.Apariţia și dezvoltarea sistemelor de securitate socială ..... 12 1.3. Definiţia și ... Pensiile de serviciu

Strategia naţională privind incluziunea socială şi ...€¦ · Dezvoltarea sistemelor de monitorizare și evaluare ... pentru 2015 și care include un aviz al Consiliului privind

Asociatia RENINCO ROMANIA cu cerinte educative specialereninco.ro/images/buletine/BI-RENINCO_nr._28__anul_2__sapt_13-19oct2014(1).pdf · dezvoltarea sistemelor de stimulente şi de

B1.5. Realizarea a 4 dezbateri privind raportul ... · intern/managerial, cuprinzând standardele de control intern/managerial la entit ățile publice și pentru dezvoltarea sistemelor

DEZVOLTAREA UNOR MODELE INOVATIVE DE MANAGEMENT AL ... teze doctorat/document… · Desfăşurarea auditului şi implementarea sistemelor Total Quality Management .....86 3.5. Managementul

Dezvoltarea Durabila a Sistemelor Energetice

PROIECT FINANŒAT DE UNIUNEA EUROPEANÅ Ministerul ... · • Dezvoltarea sistemelor de instruire æi educare în æcoli profesionale æi servicii sociale; • Dezvoltarea sectorului

Point Busaco Revetment · revetment (Point Busaco revetment) to provide erosion protection to the Cristals site, with the revetment designed to maintain the existing buffer currently

busaco/books/web.html Hipermedia ...busaco/publications/articles/hiper...A treia figura importanta in istoria multimediei este Ted Nelson, inventatorul termenului de hipermedia si

Dezvoltarea sistemelor Webbusaco/teach/courses/websys/...php: caracterizare Server de aplicații Web oferăun limbaj de programare de tip script, interpretat poate fi inclus direct

Contributii ˆın dezvoltarea sistemelor de control neuronal al misc˘arii ...

Dezvoltarea IMM-urilor prin servicii profesionale de ...€¦ · Dezvoltarea unui plan de afaceri Implementarea sistemelor de management Organizare, opera Ńiuni Consultan Ńă tehnic

3 17 · calculatorului la locurile de muncă automatizate; dezvoltarea aptitudinilor creative şi independente în alegerea soluţiilor optimale; studierea sistemelor AD/AM moderne

~busaco - Alexandru Ioan Cuza Universitybusaco/teach/courses/net/presentations/net4.pdf · Dr. Sabin-Corneliu Buraga –busaco/ “Hildebrant’sPrinciple: If you don’t know where