Votazioni e statistiche

[marsi]

Dopo aver letto (sia pur un po in ritardo) alcuni interventi che constatando, come la distribusione dei voti al quarto scrutinio avesse un andamento gaussiano (a campana), vi leggevano in questa un indice di "bontà" del sistema di votazione, voglio aprire questo thread per dissentire completamente da questa teoria.

Ho preparato una simulazione software ed ho simulato al calcolatore usando i medesimi dati dell'ultimo scrutinio di dicembre (4455 foto ed una media di 92 sfide a foto) i risultati che si sarebbero ottenuti se ciascun votante avvesse votato ASSOLUTAMENTE A CASO (in pratica buttando la classica monetina)

Sorpresa sorpresa .... la distribuzione dei voti risulta ancora più gaussiana e molto più ben concentrata verso il centro di quanto non si è ottenuto al precedente scrutinio

In verità se proprio vogliamo leggere nella distribuzione dei voti ottenuti allo scrutinio un "indice di bontà" del sitema, questo non va ricercato per quanto la distribuzione si avvicina alla gaussiana, ma piuttosto per quanto questa si allontana da essa.

Se ci fosse un unico metro di valutazione (ovvero se tutti condividessimo esattamente le stesse opinioni) la distribuzione dovrebbe essere omogenea, il fatto che viceversa è più prossima ad una gaussiana è dovuto per l'appunto al fatto che alla medesima sfida ciascuno di noi risponde in modo diverso e personale (ovvero in pratica casuale)

[Federico Scaroni]

Il che è una buona parte di verità...

[daniele1357]

Ciao Marsi,

interessante la tua simulazione, mi spieghi come l'hai fatta?

Io ne ho fatta una stamattina, incuriosito dai tuoi risultati, e ho ottenuto risultati assolutamente differenti.

Ti spiego come ho fatto.
Ho ipotizzato una classifica della qualità oggettiva della foto. Quindi ho messo le 4455 foto in un ordine virtuale di bellezza.
Vuol dire che se ogni votante avesse gli stessi gusti darebbe lo stesso voto ad ogni coppia di foto in competizione, e essendoci una classifica a priori dalla più bella alla più brutta posso decidere da programma quale sarà votata.

Quindi per ogniuna delle 4455 foto ho creato 92 competizioni con fotografie random, e contato quante sfide avrebbe vinto ogni foto.
In parallelo ho creato un voto casuale in modo da simulare la situazione peggiore.

daniele

[marsi]

Avevo impostato il sistema esattamente nello stesso modo che hai fatto tu, ma poi, quando si simula il voto casuale ovviamente la classifica di qualità oggettiva della foto non serve a nulla.
Comunque nel tuo algoritmo manca l'ultimo passaggio che immagino avrai fatto ... alla fine vado a conteggiare quante foto hanno vinto 0 sfide, quante ne hanno vinte 1 sola .... quante ne hanno vinte 92.


Aggiungo però inoltre un'ulteriore considerazione:

Se ci fosse un solo ed unico giudice (ovvero se tutti la pensassimo allo stesso modo) la foto migliore in assoluto non avrebbe dovuto perdere nemmeno una sfida e totalizzare un 92 su 92 netto (mentre nella realtà la migliore ha un misero 79/92 ) analogamente la foto appena di un punto pù bruttina dovrebbe totalizzare anche un 92/92 o al limite un 91/92 se ha proprio la sfiga di scontrarsi contro la bellissima (probabilità un po remota visto che si sono 4455 foto con cui scontrarsi) e così via.

Analogamente la più brutta non avrebbe dovuto vincere nemmeno una sfida (mentre nella realtà ne ha vinto ben 20 su 92)

... da questo semplice ragionamento vedi che se ci fosse un solo giudice in grado di mettere in ordine dalla più brutta alla più bella tutte le foto (ovvero se tutti la pensassimo allo stesso modo) le code della distribuzione dovrebbero essere moolto più alte (in pratica la distribuzione docrebbe essere uniforme), mente viceversa la distribuzione gaussiana è figlia della casualità nel voto.

[daniele1357]

Si, ovviamente il voto casuale è casuale, non c'entra con la classifica.

Non so cosa sbaglio, ma simulando come scritto sopra quello che succede quando poi vado a fare l'istogramma delle frequenze per le votazioni simulate ottengo una curva piatta, mentre col voto casuale ottengo la gaussiana.
La logica del programma è la seguente.

- Con il generatore di numeri casuali determino due numeri tra 1 e 4455, e queste sono le due foto in competizione.
- Incremento un indice per entrambe per contare il numero di competizioni
- confronto i due numeri quello più basso fa incrementare il voto +1 a quella foto (ipotizzo la numero 1 come più bella)

itero quanto sopra avendo cura di non oltrepassare le 92 sfide ma accettando anche che alla fine tre foto abbiano 89 sfide.

Non è esattamente un montecarlo... diciamo che è programmino molto casalingo ma dovrebbe essere efficace.

Però il risultato è come ho scritto sopra. Piatto.

daniele

[marsi]

Si, ovviamente il voto casuale è casuale, non c'entra con la classifica.

Non so cosa sbaglio, ma simulando come scritto sopra quello che succede quando poi vado a fare l'istogramma delle frequenze per le votazioni simulate ottengo una curva piatta, mentre col voto casuale ottengo la gaussiana.

daniele

Non sbagli assolutamente niente ed ottieni esattamente i miei stessi risultati e che stavo analizzando qui sopra:

Se tutti votassimo in base allo stesso metro di giudizio si "dovrebbe" ottenere una curva piatta !
Se tutti votassero assolutamente a caso si ottiene una gaussiana (moderatamente stretta)

.... purtroppo il risultato reale si avvicina più alla gaussiana che alla distribuzione uniforme
(da cui ognuno può trarre le conclusioni che vuole )

[renzo52]

Se ci fosse un unico metro di valutazione (ovvero se tutti condividessimo esattamente le stesse opinioni) la distribuzione dovrebbe essere omogenea, il fatto che viceversa è più prossima ad una gaussiana è dovuto per l'appunto al fatto che alla medesima sfida ciascuno di noi risponde in modo diverso e personale (ovvero in pratica casuale)

Io penso che una fotografia non possa essere condivisa da tutti nello stesso modo e seguendo le stesse regole. Questo capita anche nei concorsi fotografici "normali", quando una giuria usa motodologie diverse da altre giurie.
Questo però non vuole dire che il metodo di valutazione sia casuale, forse diverso.

[marsi]

Questo però non vuole dire che il metodo di valutazione sia casuale, forse diverso.

Se giudici diversi, con un diverso metro di giudizio danno giudizi diversi ad una medesima sfida, (cosa assolutamente legittima e fors'anco accettabile) il risultato rimane però inficiato dalla casualità che ha proposto quella certa sfida ad un giudice piuttosto che ad un'altro.

Poi per inciso qui non volevo criticare ne il sistema di voto ne l'esperienza dei giudici ne nulla di simile, notavo solo come la distribuzione dei voti dimostri che c'e' davvero poca convergenza tra i giudizi dei vari arbitri.

[daniele1357]

Io penso che una fotografia non possa essere condivisa da tutti nello stesso modo e seguendo le stesse regole. Questo capita anche nei concorsi fotografici "normali", quando una giuria usa motodologie diverse da altre giurie.
Questo però non vuole dire che il metodo di valutazione sia casuale, forse diverso.

Si sono d'accordo con questo punto di vista, però se si fa un ipotesi di lavoro su di un gruppo di dati si cerca di estremizzare le situazioni per capire/studiare dove deve tendere il risultato.
Come dice giustamente marsi il voto assolutamente casuale tende a restutuire una curva di un certo tipo, come quella che ha disegnato in un post qua sopra, che assomigliano a quelle che avevo disegnato io partendo dai dati della scorsa votazione.
Mentre il voto dato da una sola persona tenderebbe ad una curva assolutamente piatta.
Inutile a questo punto fare delle filosofie se questa affermazione della curva piatta è vera o meno, visto abbiamo simulato la votazione via software e contanto esattamente cosa deve succedere nei due casi estremi.
La presenza di una curva ad andamento palesemente gaussiano invece di confermare la bontà dei dati conferma che i dati in possesso possono in buona parte essere determinati dal caso.

Quindi, sapendo che abbiamo estremizzato le situazioni possiamo ipotizzare che la realtà sarà una via di mezzo tra i due estremi, ovvero una curva non proprio piatta ma neanche troppo stretta (in gergo piccata).

Credo che a fronte di queste due simulazioni, oltrettutto fatte da due persone che non si conoscono in due luoghi diversi e con strumenti differenti, la redazione dovrebbe ponderare un attimo il po tutto il sistema.
(però servirebbe un terzo esperimento per validare questi due).

Rimane il fatto che alla fine emergono comunque delle bellissime foto, ma questo buon risultato non dovrebbe far dormire sonni tranquilli più di tanto. Infatti visto che molte classifiche dipendono dal voto potrebbero verificarsi delle anomalie.

daniele

P.S. se ho un po di tempo proverò a fare una simulazione in modo che casualmente metà voti siano onesti o metà casuali.....

[marsi]

P.S. se ho un po di tempo proverò a fare una simulazione in modo che casualmente metà voti siano onesti o metà casuali.....

L'ho già fatto ... ma impostato in modo un pelo diverso:

per ogni sfida, dopo aver calcolato la differenza tra i punteggi delle due foto, la quale indicherebbe la distanza tra le due in termini di "qualità"
ho sporcato questo risultato con un valore casuale la cui ampiezza massima è utilizzata come parametro del processo.

In pratica se due foto sono di qualità simile è abbastanza probabile che giudici diversi abbiano opinioni diverse, mentre tra una molto bella ed una molto brutta la maggior parte dovrebbe convenire e votare la migliore.

Poi si regola il parametro in questione fintanto che la distribuzione teorica si sovrappone a quella reale (prova a farlo e noterai le curve si sovrappongono davvero molto bene) .... adesso guarda quanto vale il parametro usato per ottenere questo risultato .... avrai una bella sorpresa !!!

[Massimo Di Bello]

Giusto come inciso,
è da considerare che non solo c'è una variabilità soggettiva nei giudizi sulle foto,
ma anche le foto candidate in sé non è detto che abbiano una distribuzione "lineare"
è ad esempio ipotizzabile che foto davvero eccellenti siano poche, così le foto davvero brutte, mentre molte foto siano nella media
detto in altri termini potrebbe essere una gaussiana anche la distribuzione qualitativa delle foto,
a prescindere dai votanti

[daniele1357]

Giusto come inciso,
è da considerare che non solo c'è una variabilità soggettiva nei giudizi sulle foto,
ma anche le foto candidate in sé non è detto che abbiano una distribuzione "lineare"
è ad esempio ipotizzabile che foto davvero eccellenti siano poche, così le foto davvero brutte, mentre molte foto siano nella media
detto in altri termini potrebbe essere una gaussiana anche la distribuzione qualitativa delle foto,
a prescindere dai votanti

in altri termini potrebbe essere una gaussiana anche la distribuzione qualitativa delle foto,
a prescindere dai votanti

Si, ipotesi validissima, ma però è indiscutibile che se c'è una classifica questa è lineare, la prima, la seconda e così via fino all'ultima, non importa che gap c'è tra una e l'altra, ma solo la posizione in classifica.
Questo se tutto fosse ideale, uno solo votante ecc.ecc.
Il gap potrebbe inserirsi nel momento in cui la valutazione è incerta per il gusto differente dei vari votanti, un piccolo gap dovrebbe dare più indeterminazione di un grande gap.
Per simulare una situazione più reale cercherò di dividere le foto in 10 gruppi, equidistribuiti, di bellezza, in modo che il gruppo delle più belle sicuramente vinca le sfide contro le altre, e all'interno del gruppo le votazioni saranno assolutamente casuali. Successivamente, tepmpo permettendo, creerò i gruppi in modo le foto di bellezza media siano più delle bellissime e delle bruttissime, che forse è una situazione più vicina a quella reale.

daniele

[Ampelodesmos]

ehmmm! scusate, i vostri calcoli e le varie gaussiane, davvero pregevoli ma per me inarrivabili matematicalmente, mi hanno incuriosito molto.
Allora vorrei chiedere: ma non è sempre il fattore umano che alla fine fa la differenza?
Per esempio:
Supponiamo che il votante fotografo "tizio" abbia fotografato i comuni di "Vattelapesca" e di "Barcafiorita" e che allo scrutinio egli incontri gli stessi comuni. Sapendo benissimo che le foto sono della concorrenza, secondo voi cosa fà? secondo me non le vota a prescindere dalla magnificenza o tecnica eccellente che le foto possano avere.
Allora mi chiedo: considerata la grande mole di foto in concorso e di concorrenti, ipotizzando un buon 80% di concorrenti che non vota i comuni che egli stesso ha fotografato, come si potrebbe analizzare tutto questo con le curve e la matematica?

[daniele1357]

ehmmm! scusate, i vostri calcoli e le varie gaussiane, davvero pregevoli ma per me inarrivabili matematicalmente, mi hanno incuriosito molto.
Allora vorrei chiedere: ma non è sempre il fattore umano che alla fine fa la differenza?
Per esempio:
Supponiamo che il votante fotografo "tizio" abbia fotografato i comuni di "Vattelapesca" e di "Barcafiorita" e che allo scrutinio egli incontri gli stessi comuni. Sapendo benissimo che le foto sono della concorrenza, secondo voi cosa fà? secondo me non le vota a prescindere dalla magnificenza o tecnica eccellente che le foto possano avere.
Allora mi chiedo: considerata la grande mole di foto in concorso e di concorrenti, ipotizzando un buon 80% di concorrenti che non vota i comuni che egli stesso ha fotografato, come si potrebbe analizzare tutto questo con le curve e la matematica?

Infatti era giusto per capire cosa succede che stiamo valutando questi dati.
Tieni presente che in Italia ci sono più di 8000 comuni, ogni votante vota 400 foto su 20.000 circa, credo che la probabilità di trovare fotografie degli stessi comuni sia bassa, ma non 0, e comunqe se 2 o 3 voti dei 200 sono dopati non fa testo rispetto al gran numero di voti.
A confermare questa ipotesi io ho trovato poche foto dei comuni che ho fotografato, ma al solito una rondine non fa primavera, bisognerebbe chiedere ad almeno una cinquantina di utenti quante foto hanno trovato in comuni conosciuti e votati.

daniele

[Ampelodesmos]

ehmmm! scusate, i vostri calcoli e le varie gaussiane, davvero pregevoli ma per me inarrivabili matematicalmente, mi hanno incuriosito molto.
Allora vorrei chiedere: ma non è sempre il fattore umano che alla fine fa la differenza?
Per esempio:
Supponiamo che il votante fotografo "tizio" abbia fotografato i comuni di "Vattelapesca" e di "Barcafiorita" e che allo scrutinio egli incontri gli stessi comuni. Sapendo benissimo che le foto sono della concorrenza, secondo voi cosa fà? secondo me non le vota a prescindere dalla magnificenza o tecnica eccellente che le foto possano avere.
Allora mi chiedo: considerata la grande mole di foto in concorso e di concorrenti, ipotizzando un buon 80% di concorrenti che non vota i comuni che egli stesso ha fotografato, come si potrebbe analizzare tutto questo con le curve e la matematica?

Infatti era giusto per capire cosa succede che stiamo valutando questi dati.
Tieni presente che in Italia ci sono più di 8000 comuni, ogni votante vota 400 foto su 20.000 circa, credo che la probabilità di trovare fotografie degli stessi comuni sia bassa, ma non 0, e comunqe se 2 o 3 voti dei 200 sono dopati non fa testo rispetto al gran numero di voti.
A confermare questa ipotesi io ho trovato poche foto dei comuni che ho fotografato, ma al solito una rondine non fa primavera, bisognerebbe chiedere ad almeno una cinquantina di utenti quante foto hanno trovato in comuni conosciuti e votati.

Ok, capito, grazie per l'esaustiva risposta.






daniele