Come funzionano i motori di ricerca: dalla scansione al posizionamento

Quando digiti una domanda nella barra di ricerca, ciò che accade dopo sembra magia. Miliardi di pagine esistono sul web, eppure, in qualche modo, le migliori appaiono istantaneamente davanti a te. Per capirlo, addentriamoci nel mondo della scansione, dell'indicizzazione e del posizionamento, non come passaggi aridi, ma come una storia di come le macchine trasformano il caos di internet in ordine.

Scansione: L'esplorazione infinita

Immagina internet come un grafo infinito:

G=(V,E)G=(V,E)

dove V rappresenta le pagine web (nodi) ed E rappresenta i link (archi).

I motori di ricerca impiegano "crawler", che si muovono da un nodo all'altro seguendo gli archi. Proprio come un camminatore casuale nella teoria dei grafi, un crawler ha una distribuzione di probabilità di visitare una nuova pagina:

P(v∣u)=1/outdeg(u)

il che significa che la probabilità di visitare la pagina v dalla pagina uu dipende da quanti link in uscita u ha.

In pratica, i crawler non si muovono in modo casuale—danno priorità alla freschezza, all'autorità e all'importanza delle pagine. Ma, in fondo, la scansione è il processo di scoprire nodi in questo enorme grafo web.

Indicizzazione: Costruire la biblioteca digitale

Una volta scoperta, ogni pagina deve essere archiviata e organizzata. L'indicizzazione trasforma l'HTML grezzo in informazioni strutturate. Immagina l'indice come una funzione:

I:word→{pages containing word}

Ad esempio:

I(“AI”)={p1,p2,p3,...}

Questo è chiamato un indice invertito—invece di mappare le pagine alle parole, mappa le parole alle pagine.

Proprio come un catalogo di biblioteca, consente un recupero istantaneo. Quando cerchi "come funzionano i motori", il sistema interseca questi insiemi:

I(“how”)∩I(“engines”)∩I(“work”)

e recupera solo i documenti che contengono tutti e tre.

Classificazione: Scegliere il Migliore

Ora arriva l'arte e la matematica della classificazione. Non tutte le pagine sono uguali. Alcune sono più autorevoli, altre più pertinenti. La classificazione combina più segnali in una funzione di punteggio:

S(d,q)=w1⋅R(d,q)+w2⋅A(d)+w3⋅U(d)

dove:

• R(d,q) = Rilevanza del documento dd per la query qq
• A(d) = Autorità del documento (basata su backlink, fiducia, ecc.)
• U(d) = Segnali di esperienza utente (velocità, compatibilità mobile, coinvolgimento)
• w1,w2,w3 = pesi ottimizzati dal motore di ricerca

Una famosa formula iniziale è PageRank. In forma semplificata, l'importanza di una pagina PP è data da:

PR(P)=1−d​/N+d*∑​L(Q)PR(Q)​ (Q∈M(P))

dove:

• d = fattore di smorzamento (solitamente ~0.85)
• N = numero totale di pagine
• M(P) = insieme delle pagine che puntano a P
• L(Q) = numero di link in uscita dalla pagina Q

Questa elegante formula cattura l'intuizione che una pagina è importante se altre pagine importanti vi si collegano.

‍

L'evoluzione della ricerca

I primi motori di ricerca si basavano molto su misure di autorità basate sui link come PageRank, un modello matematico sviluppato dai fondatori di Google alla fine degli anni '90. Nel tempo, questi segnali sono stati arricchiti con modelli più complessi che hanno incorporato il comportamento dell'utente, il significato semantico, e la personalizzazione in tempo reale.

I moderni motori di ricerca utilizzano l'apprendimento automatico per stimare la probabilità che un documento sia rilevante per una query:

P(relevant∣q,d)=fθ(q,d)

dove fθ è una funzione di punteggio neurale (spesso alimentata da modelli di deep learning come transformers). A differenza delle formule statiche, questi modelli apprendono da miliardi di query passate, clic e segnali di soddisfazione.

In pratica, ciò significa che il motore di ricerca non si limita più a chiedere: “La pagina contiene le parole giuste?” Invece, chiede: “Questa pagina risponde davvero a ciò che l'utente intende?”

‍

‍

L'avvento dei motori generativi

Stiamo entrando in una nuova era: il passaggio da motori di recupero (come Google Search, Bing) a motori generativi(come ChatGPT, Perplexity, o la ricerca di Google basata su Gemini).

Un motore di ricerca tradizionale segue questo schema:

Query  →  Recupero documenti  →  Classificazione risultati

Un motore generativo segue invece:

Query    →    Recupera conoscenza + Inferenza del modello    →    Genera risposta sintetizzata

La differenza è cruciale:

• I motori di ricerca ti indirizzano a documenti.
• I motori generativi producono risposte direttamente, a volte senza mostrare la fonte a meno che non sia esplicitamente collegata.

Da un punto di vista matematico, un motore generativo non sta calcolando:

arg⁡max⁡  P(relevant∣q,d)

ma piuttosto:

arg⁡max⁡  P(answer=a∣q,K)

dove K non è solo l'indice dei documenti, ma anche la conoscenza latente codificata nei parametri del modello (Lewis et al., 2020 — Retrieval-Augmented Generation).

‍