I Giudici Qualificati

Qui vi sono alcuni thread in cui si è discusso del concorso prima del suo inizio

I Giudici Qualificati

Messaggioda marsi » ven 30 apr 2010 09:16

Il concorso è molto migliorato dall'altro anno, ma qualcosa ancora si può fare. provo a ri-formulare una proposta che secondo me ha delle potenzialità:

A mio avviso uno dei punti ancora carenti è quello di potersi "fidare" di chi giudica le nostre foto: Si sono creati tanti gruppi di utenti: Gli utenti normali, i qualificati, i senior, poi ci sono i vincitori delle scorse edizioni, si stanno istituendo gli arbitri, i finalisti .... ma questi gruppi sono basati solo sui risultati conseguiti nelle foto sottomesse o sull'attività che si mantiene nel forum oppure alla propaganda elettorale e sull'appoggio di amici, non c'e' nè un modo obiettivo, nè tantomeno è previsto un gruppo di "giudici qualificati" (anche perchè finora il voto è sempre stato tenuto segreto).

Non sempre chi fa belle foto è anche in grado di giudicarle e nemmeno la vita attiva nel forum rende più competente un giudice.

Che il risultato ottenuto dalle nostre foto sia stata in parte frutto di una valutazione qualitativa obiettiva ed in parte casuale è una cosa ormai assodata ed appurata (viewtopic.php?f=1284&t=7989&p=119399&hilit=statistiche#p119399), così come è abbastanza condivisa l'idea che vi sia una minoranza (stimata attorno il 5 %) di utenti che vanno controcorrente puntando sulla più brutta, o che abusano del tastone (Altrimenti come ci si può spiegare foto con voti altissimi capaci di perdere diverse sfide al primo turno (quello delle ciofeche), come ci si spiega che spesso le percentuali dei voti ricevuti, invece di diminuire con il proseguire dei turni rimangono costanti, quando non addirittura salgono ... ???)
Ora questa minoranza non è così significativa da alterare sostanzialmente la classifica finale e pertanto le migliori emergono comunque, ma è comunque più che sufficiente per spsostare di qualche decina di posizioni verso l'alto o verso il basso la graduatoria di una foto ... e questo, per le finaliste fa una enorme differenza.

Per ovviare a questa distorsione BISOGNA in qualche modo riuscire a differenziare i giudici e questo si può ottenre in molti modi:
- creando degli incentivi, premi, onorificenze per i giudici più onesti ed obiettivi
- creando delle forme di penalizzazione,, emarginazione (dal voto) per i giudici controcorrente
- formando un gruppo dei "giudici qualificati"

Poi le attività possono essere palesi o nascoste e devono comunque essere predisposte dalla redazione che è la sola ad avere i dati sui singoli voti, mi rendo altresì conto che disquisire sul singolo voto può crare una grande polemica, ma sarebbe poi così sbagliato se la redazione stilasse una classifica (obbligatoriamente segreta) sulla competenza dei giudici e poi realizzasse in base a questa un gruppo di ... diciamo 200 giudici qualificati?

Per definre questa classifica ci si può basare su
- quante sfide nel corso del concorso ha votato un certo giudice (le ha fatte tutte?, il minimo sindacle, o addirittura ha saltato qualche turno?)
- ma soprattutto ... quante volte ha votato concordemente alla maggioranza e quante volte contro?

Questo lo ribadisco, non tanto per puntare il dito contro chi magari in buona fede ha idee diverse dalla maggioranza, ma soprattutto per poter contare su un gruppo di giudici qualificati che perlomeno ha capito le regole del concorso e dimostra di poter essere un buon campione statistico nell'interpretatare il giudizio della maggioranza.
Avatar utente
marsi
Utente Senior
 
Messaggi: 1490
Iscritto il: mer 27 ago 2008 10:03

Messaggioda ire » ven 30 apr 2010 10:32

Ehm..(non è il mio caso) ma chi s'intende parecchio di fotografia e vota (in buona fede, secondo i propri gusti e le proprie valutazioni) foto che dalla maggioranza non vengono considerate o che comunque sono poco apprezzate, non credo che non sia un giudice qualificato..anzi!
Votare le foto che "votano tutti" e prendono più voti, non significa essere più o meno qualificati di altri nel votare..uno può sapere di tutto e di più di fotografia e votare foto che magari sono passate inosservate (per intenderci, fotografi professionisti o anche solo semplici intenditori, hanno un'idea molto diversa di "bello" fotografico che nella maggior parte dei casi non corrisponde assolutamente alle foto che qui sono tra le più votate).
Aver compreso le regole non significa poi votare le foto che la maggioranza ritiene migliori..aver compreso le regole significa non votare le fc (quando questo è possibile)..e personalmente quando voto non penso a interpretare il gusto della maggioranza ma penso se la foto secondo me è ammissibile, corretta dal punto di vista tecnico e se mi colpisce, se mi da "qualcosa".
«L'uomo diventa spesso ciò che crede di essere. Se continua a dire che non si riesce a fare una certa cosa, è possibile che alla fine si diventi realmente incapaci di farla.»
Gandhi
Avatar utente
ire
Utente Qualificato
 
Messaggi: 3921
Iscritto il: lun 27 lug 2009 15:37

Messaggioda renzo52 » ven 30 apr 2010 10:57

Marsi, quello che scrivi è abbastanza condivisibile, capisco la tua proposta ma, come ben scrive Ire, è molto difficile realizzarla.
Nel corso delle votazioni, infatti, abbiamo visto la marea dei votanti indirizzarsi più verso le immagini "vistose" che verso quelle ben fatte.
Ora, andare a cercare quei fotografi che si sono distinti sia come interpretazione del regolamento che come capacità interpretativa e tecnica dell'immagine la vedo per la redazione un lavoraccio non di poco conto. :scratch:
Però mi chiedo: quando hai il piccolo esercito di 200 utenti "competenti", come li utilizzi?
Non credo per fare gli arbitri perchè quelli saranno eletti a votazione popolare. :mrgreen:
Ripeto, l'idea è buona, ho dei dubbi sulla sua applicazione. :fischio:
Avatar utente
renzo52
Utente Senior
 
Messaggi: 1943
Iscritto il: mar 27 gen 2009 16:17
Località: Trentino

Messaggioda marsi » ven 30 apr 2010 11:35

Il punto fondamentale che mi preme sollevare è che qui quasi tutto il lavoro, le segnalazioni, gli interventi al forum ecc. ruotano attorno alla fase di sottomissione, alle foto f.c., ai doppioni, tutte cose giustissime non fraintendetemi, ma pochissima attenzione viene messa nella fase più delicata, la votazione, che essendo secretata per forza di cose se ne può solo prendere atto senza peraltro sapere (anche giustamente) quali siano i motivi che hanno penalizzato una data foto.

C'e' chi ipotizza complotti, chi pensa che gli avversari lo abbiano preso di mira memorizzandosi le sue foto. chi non si capacita che il suo capolavoro non sia andato oltre il primo scrutinio, ecc. ecc.

Per rendere parzialmente più trasparente e più efficiace il voto bisogna garantire sull'operato dei giudici. Qui tutti sono concorrenti e tutti sono giudici alla stesso tempo, (il che per inciso crea anche qualche bel dubbio sul conflitto di interesse) ma mentre le foto hanno un giudizio ed in fondo anche un premio, la vase di votazione si conclude nel silenzio dell'urna.

Come attuare la selezione è tutto sommato facile (almeno per la redazione) poichè siamo tutti abbastanza concordi nel notare che tutto sommato con gli scrutinii le foto migliori comunque emergono, si possono usare questi risultati per guardare a ritroso come i giudici si sono comportati nelle varie sfide:

Se nella sfida di due foto una foto è uscita con 70,56 e l'altra con 3,4 un motivo c'e', orbene se su questa sfida qualcuno ha votato per la seconda, anche senza scomodare la malafede, qualche dubbio sulla competenza del giudice onestamente mi sorge spontaneo. Poi se le due foto sono uscite con 50,45 e 51,10 allora lì una discrepanza di giudizi è più che legittima.

Si può benissimo mettere a punto nella nuova versione del concorso un algoritmo che rianalizzando tutte le sfide vagliate da ogni utente/giudice assegni un punteggio (basato sulla differenza punti delle due foto e sulla scelta operata del giudice) per evidenziarne la competenza e stilare una graduatoria dei giudici, che poi potrebbe anche modificarsi nel tempo!

Cosa fare poi di questa graduatoria si può discutere:

- si rende o meno pubblico il punteggio ottenuto dal giudice oppure lo si fa sapere solo a lui ?
- si istituisce un premio anche per il miglior giudice ?
- si interdice dal voto coloro che hanno punteggi tanto bassi da ravvisarvi la malafede ?
- si usa la graduatoria per "pesare diversamente" i voti dei vari giudici - che ne so i voti dei giudici sopra una certa soglia pesano il doppio di quelli sotto soglia ...o in modo più sfumato
- si selezionano i "giudici qualificati" ai quali assegnare mansioni particolari di controllo (sarebbero comunque meglio degli arbirti elettivi eletti solo per propaganda elettorale)


Che il voto sia una cosa altamente soggettiva è innegabile, ma colui che ad esempio vota il 90% delle volte contro la maggioranza o è in malafede, oppure è estroso o ancora non ha capito i metri di giudizio applicati nel concorso. In tutti questi casi comunque sia non è un giudice affidabile, se ad una gar di tuffi, uno dei giudici dà punteggi strampalati e discosti da quella che eè la media, viene considerato incompetente ed al prossimo campionato non lo si invita più!

Qui non si parla di chi talvolta è di opinione diversa, ma di chi sistematicamente fa scelte controcorrente.
Avatar utente
marsi
Utente Senior
 
Messaggi: 1490
Iscritto il: mer 27 ago 2008 10:03

Messaggioda ire » ven 30 apr 2010 11:42

Si ma come fai a sapere se uno vota apposta foto che la maggioranza non apprezza (e non sto parlando di foto "oggettivamente poco belle") o se lo fa perchè ha un senso critico differente?
Inoltre se io ho in sfida la foto A contro B e un altro ha A contro C..questo cambia molto le cose..
«L'uomo diventa spesso ciò che crede di essere. Se continua a dire che non si riesce a fare una certa cosa, è possibile che alla fine si diventi realmente incapaci di farla.»
Gandhi
Avatar utente
ire
Utente Qualificato
 
Messaggi: 3921
Iscritto il: lun 27 lug 2009 15:37

Messaggioda marsi » ven 30 apr 2010 12:01

ire ha scritto:Si ma come fai a sapere se uno vota apposta foto che la maggioranza non apprezza (e non sto parlando di foto "oggettivamente poco belle") o se lo fa perchè ha un senso critico differente?
Inoltre se io ho in sfida la foto A contro B e un altro ha A contro C..questo cambia molto le cose..



Come ho detto se tu hai avuto in sfica A e B ed hai scelto di dare il tuo voto a B ... dopo, molto più tardi, alla fine dei scrutini, verifichi i punti ricevuti e scopri che A ha avuto 70,89 punti e B solo 3,01 ti chiedi come mai B ai più non sia piaciuta, può darsi che tu abbia avuto una visione diversa tra le due foto OK, ci può anche stare, ma se questo non accade solo una volta ma molte, moltissime, qualche dubbio può anche sorgere.

Chi viceversa ha avuto in sfida A e C e sceglie C, poi si scopre che A ha avuto i suoi 70,89, mentre C ha avuto 68,92 ... bhe lì direi che la divergenza di opinioni è molto più legittima.
Avatar utente
marsi
Utente Senior
 
Messaggi: 1490
Iscritto il: mer 27 ago 2008 10:03

Messaggioda daniele1357 » ven 30 apr 2010 12:10

marsi ha scritto:
ire ha scritto:Si ma come fai a sapere se uno vota apposta foto che la maggioranza non apprezza (e non sto parlando di foto "oggettivamente poco belle") o se lo fa perchè ha un senso critico differente?
Inoltre se io ho in sfida la foto A contro B e un altro ha A contro C..questo cambia molto le cose..



Come ho detto se tu hai avuto in sfica A e B ed hai scelto di dare il tuo voto a B ... dopo, molto più tardi, alla fine dei scrutini, verifichi i punti ricevuti e scopri che A ha avuto 70,89 punti e B solo 3,01 ti chiedi come mai B ai più non sia piaciuta, può darsi che tu abbia avuto una visione diversa tra le due foto OK, ci può anche stare, ma se questo non accade solo una volta ma molte, moltissime, qualche dubbio può anche sorgere.

Chi viceversa ha avuto in sfida A e C e sceglie C, poi si scopre che A ha avuto i suoi 70,89, mentre C ha avuto 68,92 ... bhe lì direi che la divergenza di opinioni è molto più legittima.


1700 votanti * 8 mesi * 400 sfide = 5.440.000 controlli ..... se non c'`e un chiaro modello matematico a cui riferirsi credo che sia impossibile capirci qualcosa.
Come sempre poi bisognerebbe valutare ogni situazione nei particolari..... bella storia.

daniele
- "A pensar male si fa peccato, ma spesso ci si indovina" (G.Andreotti)
- La lingua batte dove il dente duole.
- Biennale architettura 2012 - http://www.flickr.com/photos/daniele1357/sets/72157632061554879/show/
Avatar utente
daniele1357
Utente Qualificato
 
Messaggi: 5303
Iscritto il: mar 24 feb 2009 20:15
Località: Treviso - Padova

Messaggioda ire » ven 30 apr 2010 12:12

si ma dipende dalle sfide..guardare i primi turni servirebbe a poco perchè le foto sono molto disomogenee e per quanto mi riguarda mi capitavano quasi sempre o due foto poco belle o due foto fc o due foto "normali" e non fc

poi magari la foto A ha fatto più sfide con foto fc o "non stupende" e quindi ha preso tanti voti, mentre la foto B che magari è più bella però si è sfidata con foto più o meno alla pari e quindi pur essendo "migliore" ha perso di più
«L'uomo diventa spesso ciò che crede di essere. Se continua a dire che non si riesce a fare una certa cosa, è possibile che alla fine si diventi realmente incapaci di farla.»
Gandhi
Avatar utente
ire
Utente Qualificato
 
Messaggi: 3921
Iscritto il: lun 27 lug 2009 15:37

Messaggioda daniele1357 » ven 30 apr 2010 12:19

..si ma peró analizzando i primi due turni si potrebbe capire come fanno certe FC a arrivare in fondo alla votazione....

daniele
- "A pensar male si fa peccato, ma spesso ci si indovina" (G.Andreotti)
- La lingua batte dove il dente duole.
- Biennale architettura 2012 - http://www.flickr.com/photos/daniele1357/sets/72157632061554879/show/
Avatar utente
daniele1357
Utente Qualificato
 
Messaggi: 5303
Iscritto il: mar 24 feb 2009 20:15
Località: Treviso - Padova

Messaggioda marsi » ven 30 apr 2010 12:23

daniele1357 ha scritto:1700 votanti * 8 mesi * 400 sfide = 5.440.000 controlli ..... se non c'`e un chiaro modello matematico a cui riferirsi credo che sia impossibile capirci qualcosa.
Come sempre poi bisognerebbe valutare ogni situazione nei particolari..... bella storia.
daniele


Intanto sarebbe meglio ragionare mese per mese (ed eventualmente aggiornare la graduatoria ad ogni mese) = 680.000 controlli che qualsiasi calcolatore può sbrigare in pochi minuti, anche perchè l'algoritmo può essere particolarmente semplice. Non bisogna mica valutare i particolari di ogni sfida ma basarsi appunto sui grandi numeri e 400 - 800 sfide sono tutto sommato abbastanza per farne una proiezione statistica.

Es. presa la singola sfida tra due foto A e B che hanno preso rispettivamente i punteggi "a" e "b"
1- si calcola il valore assuluto della differenza tra i punteggi
2- se questo è minore di 15 si analizza la sfida seguente
3- se l'utente ha votato per la foto che ha preso più punti riceve un punto
4- se l'utente ha votato per la foto con meno punti gli si togli un punto

Se alla fine ha un punteggio positivo ... bene, se il punteggio è negativo ... pazienza avrà le sue idee ... se è fortemente negativo ......
Avatar utente
marsi
Utente Senior
 
Messaggi: 1490
Iscritto il: mer 27 ago 2008 10:03

Messaggioda ire » ven 30 apr 2010 12:27

daniele1357 ha scritto:..si ma peró analizzando i primi due turni si potrebbe capire come fanno certe FC a arrivare in fondo alla votazione....

daniele


Verissimo!
(però io non mi riferivo a chi vota le fc, o almeno il discorso mi sembrava fosse diverso e non rigurdasse esattamente le fc :oops: )

Per quanto riguarda l'algoritmo proposto da Marsi, potrebbe anche andar bene magari..ma secondo me gusti, preferenze e considerazioni personali non si possono ridurre ad un calcolo matematico :?
«L'uomo diventa spesso ciò che crede di essere. Se continua a dire che non si riesce a fare una certa cosa, è possibile che alla fine si diventi realmente incapaci di farla.»
Gandhi
Avatar utente
ire
Utente Qualificato
 
Messaggi: 3921
Iscritto il: lun 27 lug 2009 15:37

Messaggioda daniele1357 » ven 30 apr 2010 12:30

ire ha scritto:
daniele1357 ha scritto:..si ma peró analizzando i primi due turni si potrebbe capire come fanno certe FC a arrivare in fondo alla votazione....

daniele


Verissimo!
(però io non mi riferivo a chi vota le fc, o almeno il discorso mi sembrava fosse diverso e non rigurdasse esattamente le fc :oops: )


..si, intendevo che si potrebbe capire se qualcuno le fa passare votando contro foto validissime..... sempre dal punto di vista di capire come votiamo.

daniele
- "A pensar male si fa peccato, ma spesso ci si indovina" (G.Andreotti)
- La lingua batte dove il dente duole.
- Biennale architettura 2012 - http://www.flickr.com/photos/daniele1357/sets/72157632061554879/show/
Avatar utente
daniele1357
Utente Qualificato
 
Messaggi: 5303
Iscritto il: mar 24 feb 2009 20:15
Località: Treviso - Padova

Messaggioda marsi » ven 30 apr 2010 12:32

ire ha scritto: per quanto mi riguarda mi capitavano quasi sempre o due foto poco belle o due foto fc o due foto "normali" e non fc


Questa è un'"impressione soggettiva" anche condivisibile ma sicuramente poco veritiera, può capitare e capita di tutto, solo che ci si ricorda soprattutto dei casi critici.

ire ha scritto: poi magari la foto A ha fatto più sfide con foto fc o "non stupende" e quindi ha preso tanti voti, mentre la foto B che magari è più bella però si è sfidata con foto più o meno alla pari e quindi pur essendo "migliore" ha perso di più


Questo fenomeno che è abbastanza zaro capiti (e che sia raro lo dimostra il fatto che foto simili hanno poi preso punti simili) influenzerebbe in primis il risultato finale il che è ben più grave rispetto il fatto pesi parzialmente sul giudizio di un giudice e limitato ad una sola sfida.

Comunque se in questo concorso è stato definito un certo algoritmo per definire un punteggio e se grazie a questo punteggio si accede o meno alla finale, ai premi ecc. ecc. questo punteggio deve far fede, ormai è davvero tardi esprimere dubbi sulla bontà dei punti ricevuti.
Avatar utente
marsi
Utente Senior
 
Messaggi: 1490
Iscritto il: mer 27 ago 2008 10:03

Messaggioda clickANDgo » ven 30 apr 2010 12:41

C'è anche un altro aspetto da considerare:
se uno posta delle fotografie di scarsa qualità e le considera belle (perchè altrimenti non si capisce perchè le posterebbe se non runner) secondo voi è in grado in tutta franchezza di capire cosa sta votando?
O per meglio dire è in grado di capire se una foto è bella oppure è brutta?
Simile ama il suo simile e quindi postatori di ciofeche votano ciofeche , questo spiegherebbe già tante cose sopratutto perchè foto pessime passano i primi turni.
:fotografo:
Just nice picture!
Avatar utente
clickANDgo
Utente Senior
 
Messaggi: 489
Iscritto il: sab 06 set 2008 10:16

Messaggioda daniele1357 » ven 30 apr 2010 12:49

Quindi, per ogni mese si dovrebbe fare un calcolo su ogni sfida effettuata valutando quale foto è stata votata e quale ha preso più volti alla fine del turno.
Sommando i gap positivi e negativi alla fine avremmo quanto il votante si è discostato dal voto popolare.

In questo modo sarebbe possibile stilare una classifica dei votanti più distanti dal voto 'normale'.

Come studio di fattibilità se admin fosse in grado.... no... sicuramente è in grado.... se admin ha voglia di provare a stilare una classifica di questo genere per le foto del mese di gennaio, ad esempio, qualcuno, come i senior o la redazione stessa, potrebbe dare un occhio ai due o tre concorrenti in coda a questa classifica in modo di capire se questo tipo di elaborazione ha senso o no.

Mi spiego, se risultasse che le ultime posizioni corrispondessero a concorrenti che sistematicamente hanno votato foto invotabili forse qualche azione andrebbe intrapresa, sicuramente almeno chiedere spiegazioni.

Marsi, io provo a vedere quanto complicato è tirare fuori i miei dati, sarei cuirioso infatti di vedere un po di numeri, hai voglia di fare lo stesso sui tuoi?
Lo faccio sulla votazione di febbraio , il primo e il quarto turno.

daniele
- "A pensar male si fa peccato, ma spesso ci si indovina" (G.Andreotti)
- La lingua batte dove il dente duole.
- Biennale architettura 2012 - http://www.flickr.com/photos/daniele1357/sets/72157632061554879/show/
Avatar utente
daniele1357
Utente Qualificato
 
Messaggi: 5303
Iscritto il: mar 24 feb 2009 20:15
Località: Treviso - Padova

Prossimo

Torna a Discussioni preliminari

Chi c’è in linea

Visitano il forum: Nessuno e 4 ospiti