Validació d’un instrument per qualificar la competència futbolística a partir de WyScout

Rubén Sánchez-López

Ibon Echeazarra

Julen Castellano

Resum

L’objectiu d’aquest treball va ser dissenyar i validar un instrument (TOPSTATS) que permetés qualificar, classificar i comparar el rendiment dels jugadors professionals a partir del proveïdor de dades Wyscout. La validesa de contingut a través de la consulta amb tres experts va mostrar un acord considerable fent ús de l’índex kappa de Fleiss (k = .691). Extraient les dades de les actuacions dels jugadors de la temporada 2019-2020 a La Liga espanyola i la Premier League anglesa, es va calcular la validesa de criteri relacionant les puntuacions totals dels jugadors obtingudes a TOPSTATS amb les de Sofascore. La correlació de Pearson va evidenciar una associació significativa en totes les posicions de joc (r = 0.3-0.88, p < .05). Es va utilitzar el mateix procediment per garantir la validesa de constructe, relacionant les puntuacions totals dels jugadors amb el seu valor de mercat. En aquest cas, la correlació de Pearson va mostrar una associació significativa en 17 de les 24 posicions de joc (r = 0.36-0.80; p < .05). Es conclou que TOPSTATS va mostrar uns valors òptims de validesa. És un instrument capaç de comparar la competència futbolística que mostren els jugadors en les seves actuacions durant una mateixa competició, d’acord amb la seva posició de joc. Per això, l’eina permet calcular, d’una manera àgil i semiautomàtica, un índex de rendiment global obtingut a partir de la interacció i ponderació de variables que contenen dades proporcionades des de Wyscout, que és una plataforma de subscripció i compta amb cobertura en més de 200 competicions.

Introducció 

L’anàlisi de dades esportives ha despertat interès des de fa molt temps (Anderson i Sally, 2014; Bornn et al., 2018), però no ha estat fins aquests últims anys quan s’han desenvolupat estadístiques de futbol, gràcies a tecnologies que proporcionen grans fluxos de dades d’alta fiabilitat extretes en cada partit (Pappalardo et al., 2019b). Desafortunadament, la utilització i manipulació d’aquestes dades no és una tasca fàcil si es pretén valorar la competència futbolística (Parlebas, 2018) que mostren els jugadors durant les seves actuacions, ja que no es disposa d’una mètrica consolidada i àmpliament acceptada per mesurar la qualitat del rendiment en totes les seves facetes (Pappalardo et al., 2019a). Això és a causa que el futbol és un esport de màxima complexitat, que exigeix un abordatge multidimensional, ja que les respostes motrius dels jugadors són dinàmiques i no lineals (Garganta i Gréhaigne, 1999; Gréhaigne et al., 1997; Ric et al., 2016). 

Les respostes motrius dels jugadors prenen forma a partir de les conductes que despleguen d’acord amb el seu rol sociomotor. El rol de cada jugador és un estatus sociomotor concret (Parlebas, 2001), que va canviant durant el joc. Cada jugador desenvolupa les seves conductes partint de l’orientació particular que fa del seu rol (Lasierra, 1993). És a dir, a partir de les accions pròpies dels subrols sociomotors, que donen lloc a cada una de les possibles conductes que el jugador pot desenvolupar durant el joc (Hernández Moreno, 1995), on totes les conductes són una modalitat particular del concepte genèric “acció motriu” (Parlebas, 2023). L’eficàcia en les conductes que desplega cada jugador durant la seva actuació en un esdeveniment determinat o un conjunt d’esdeveniments determina el seu rendiment o performance. Mentre que la performance és quelcom concret i temporal, la competència és un concepte global que respon sobre el rendiment durador i estable en el temps producte de l’aprenentatge.

Fonamentalment, els proveïdors aporten dos tipus de dades: “tracking” i “eventing”. El tracking ofereix dades sobre la posició exacta del jugador en el camp (Otero-Saborido et al., 2021), la qual cosa permet avaluar comportaments emergents a través de les tendències de posició i moviments del jugador producte de la interacció amb companys i adversaris. A partir d’aquestes dades de posició, des de l’àmbit científic han vist la llum treballs orientats al futbol formatiu (Coutinho et al., 2022; Errekagorri et al., 2020), i al futbol d’elit (Castellano i Echeazarra, 2019). L’eventing consisteix a registrar i etiquetar les accions que exerceix el jugador, així com la seva eficàcia, normalment en relació amb la pilota (Otero-Saborido et al., 2021). Fent ús del proveïdor Wyscout, es poden trobar diversos treballs publicats recentment (Díez et al., 2021; Izzo et al., 2020; Zeng i Pan, 2021).

Dins de les plataformes d’eventing que ofereixen els proveïdors de dades es pot comparar el rendiment dels jugadors respecte a una variable. També és possible utilitzar gràfics de dispersió per comparar variables per parells, o fins i tot aglutinar diverses mètriques en un gràfic, que normalment és presentat en forma de radar. Tanmateix, cap d’aquestes opcions no sol permetre respondre a preguntes del tipus: quin jugador està rendint millor a la lliga?, quin jugador hauria de ser fitxat?, tenint en compte que la selecció de jugadors és un factor clau en el rendiment de qualsevol competició (Partovi i Corredoira, 2002). És a dir, si un davanter marca molts gols, potser el seu rendiment global es pugui considerar alt, perquè el gol és una variable molt determinant, però no és l’únic factor per considerar. De la mateixa manera, si un extrem té una gran eficàcia regatejant, o un central interceptant, no es pot aventurar que el seu rendiment global sigui alt, ja que el rendiment en futbol, com ja s’ha apuntat, és un constructe multifactorial. En aquest sentit, sí que és cert que en una posició de joc hi ha accions que són més importants que d’altres, perquè es donen més sovint o perquè són especialment rellevants. 

Actualment, es recopilen grans quantitats de dades, encara que en molts casos es desconeix la validesa de les mètriques, és a dir, com estan vinculades a l’èxit o si permeten definir diferents nivells de rendiment (Castellano i Clemente, 2020). És cert que estem assistint a un canvi progressiu de les mètriques clàssiques ofertes pels proveïdors a mètriques de caràcter més avançat i contextualitzat. D’aquesta manera, les accions de joc, tradicionalment registrades a partir de la relació del jugador amb la pilota, progressivament es van entenent com el resultat de la interacció funcional entre el jugador i el seu entorn amb un determinat propòsit (Araújo, 2005). A través de bases de dades prou àmplies, on s’hagin registrat les accions entorn de diferents variables, els analistes poden obtenir classificacions i qualificacions generals dels jugadors a través de l’avaluació de totes aquestes accions (Berrar et al., 2019). Per això, és important avaluar la validesa de les classificacions i els índexs de rendiment de manera quantitativa i exhaustiva, a través de conjunts de dades creats amb l’ajuda d’experts (Pappalardo et al., 2019a). 

En definitiva, apuntada la necessitat de calcular un indicador global del rendiment, producte del volum i l’eficàcia de les accions més representatives que van desplegant els jugadors d’acord amb la seva posició de joc, l’objectiu d’aquest treball va ser dissenyar i validar un instrument que permetés qualificar, classificar i comparar el rendiment dels jugadors professionals, entès com la competència futbolística que mostren en les seves actuacions, a partir del proveïdor de dades Wyscout.

Mètode

Disseny

El present treball va respondre a un estudi instrumental (León i Montero, 2007), destinat al disseny i la validació d’una eina de qualificació, classificació i comparació de la competència futbolística en jugadors de futbol professional. Es pot ressenyar que aquest estudi no va abordar el procés d’obtenció d’evidències de fiabilitat sobre les dades extretes des de la plataforma de Wyscout, ja que per confirmar la fiabilitat d’aquests es va recórrer als resultats trobats en un estudi previ (Pappalardo et al., 2019a), que va replicar el protocol realitzat per assegurar la fiabilitat de les dades d’Opta (Liu et al., 2013).

Participants 

Per al disseny i la validació de l’instrument TOPSTATS es va comptar amb la col·laboració de dos experts en futbol que, juntament amb l’investigador, van aportar els seus coneixements en quatre sessions de consulta i discussió. Els dos experts en futbol tenien més de 10 anys d’experiència en l’anàlisi de la Primera Divisió espanyola i la Premier League anglesa, respectivament.

Disseny de l’instrument    

L’instrument TOPSTATS va ser dissenyat en el programari Excel 2013, prenent en consideració les 111 variables que proporcionava el proveïdor Wyscout en el moment de validació de l’eina. Originalment, consta d’un conjunt d’arxius d’Excel dissenyats ad hoc que representen per separat les posicions de joc que, segons el judici dels experts que van intervenir en el procés de validació de l’instrument, es poden trobar en els equips de manera més habitual. Aquestes són nou: porter, defensa central, defensa lateral (dret i esquerre), mig centre defensiu, mig box-to-box, mig creatiu, mig de banda (dret i esquerre), extrem (dret i esquerre) i davanter. En cada posició s’analitza el rendiment general dels jugadors que actuen en aquesta posició, d’acord amb la interacció de les 12 variables més representatives, segons l’opinió dels experts.

Validació de l’instrument

Qualsevol instrument que pretengui ser científic, independentment de la seva tipologia i objectiu, s’ha d’enfrontar a un procés d’obtenció de validesa. Tradicionalment, es reconeixen tres tipus de validesa: la validesa de contingut, de constructe i de criteri (Cronbach i Meehl, 1955). La validesa de contingut avalua de manera qualitativa si l’instrument mesura el que es pretén mesurar. En aquest cas, per avaluar la competència futbolística d’un jugador caldrà seleccionar les variables més representatives d’acord amb la posició que exerceix. Per fer aquesta tasca, sembla necessari recórrer al judici d’experts. Una altra de les claus per validar aquest tipus d’instruments és la validesa de criteri, és a dir, comparar els resultats obtinguts en l’instrument a validar amb un criteri extern que pretengui mesurar-lo (Hernández et al., 2010), a fi d’assegurar que no hi ha diferències significatives entre els dos criteris de mesurament. Finalment, la validesa de constructe es pot manifestar de diverses maneres, i en aquest tipus d’instruments s’utilitza la perspectiva de validesa discriminant, ja que permet validar si l’instrument és capaç de distingir entre individus que s’espera que siguin diferents (Carvajal et al., 2011). Quant a la fiabilitat de les dades, depenen de forma directa dels proveïdors, tret que s’utilitzin eines ad hoc dissenyades amb aquest propòsit. Això pot ser habitual en departaments d’anàlisi que pretenen recollir dades d’una determinada manera a partir de l’observació. Si fos així, és necessari assegurar que l’eina és utilitzada de manera homogènia per tots els analistes que intervenen en el procés, de manera que es mesuri sempre de la mateixa manera. 

Procediment

El disseny de l’instrument i el procés de validació es van dur a terme en sis etapes (vegeu figura 1), seguint el procediment desenvolupat en altres estudis que han validat eines recentment (Sánchez-López et al., 2021, 2023c, 2023b): (a) revisió bibliogràfica i disseny provisional de l’instrument determinant set possibles posicions de joc, amb les seves respectives zones d’acció i mètriques associades, (b) consulta i discussió amb experts per aprovar o modificar les posicions de joc més utilitzades en els equips, (c) validació de contingut de l’instrument a partir de l’acord entre experts de les 12 variables més representatives en cada posició estudiada, (d) consulta i discussió amb experts per ajustar la ponderació de les variables prenent com a referència les dades extretes de La Liga i la Premier League, així com les àrees d’acció a filtrar per a cada posició de joc, (e) validació de criteri, i (f) validació de constructe de l’instrument.

Figura 1

Veure a mida completa

En la primera etapa, es va fer una revisió bibliogràfica sobre estudis que analitzessin les variables tecnicotàctiques més significatives en cada posició de joc (Dellal et al., 2010, 2011; Firiteanu Vasile, 2013; Hughes et al., 2012; Van Lingen, 1997; Wiemeyer, 2003; Yi et al., 2018) i les seves dades espaciotemporals (Konefał et al., 2019; Pappalardo, Cintia, Rossi et al., 2019), així com estudis destinats al disseny d’eines que avaluïn el rendiment esportiu a partir de les dades de proveïdors (Brooks et al., 2016; Duch et al., 2010; Pappalardo et al., 2019a). 

A partir d’aquesta revisió, es va dissenyar l’eina provisional, que va comptar al principi amb set posicions de joc (porter, central, lateral dret/esquerre, mig defensiu, mig ofensiu, banda dret/esquerre, davanter). Més tard, es van incloure dues noves posicions de joc. Per a cada posició de joc es van seleccionar les 12 variables més determinants segons el parer de l’investigador. Aquesta selecció de variables va estar condicionada per les mètriques que ofereix el proveïdor de subscripció Wyscout. En aquest cas, Wyscout va poder arribar a aportar un total de 111 variables sobre el jugador en el moment de validació de l’eina, les dades de la qual es poden descarregar a partir de l’opció “cerca avançada”, filtrant per lliga, període, posició, així com per qualsevol variable que pretengui conduir la cerca. 

La selecció provisional de variables per a cada posició de joc no es va compartir amb els experts fins a la tercera etapa, i aquestes dades van servir per comparar-les amb les dades extretes del criteri dels experts, i així validar l’eina. En aquesta fase, també es van determinar de manera provisional les àrees d’acció de cada posició de joc d’acord amb el filtre posicional que ofereix Wyscout. Aquesta selecció es va ajustar en la quarta etapa a través de la discussió amb experts. 

A partir de l’esmentada selecció prèvia de variables per posicions, es van dissenyar en Excel uns arxius per a l’anàlisi i el tractament de les dades obtingudes, que es van adaptar durant el procés fins a obtenir-ne la versió final, d’acord amb cada posició de joc. El programari se centra en les dades de les 12 variables seleccionades per a cada posició i estableix 7 intervals en funció de la dada mínima i màxima de cada variable estudiada. Posteriorment, els jugadors que compleixen el filtratge posicional són classificats en l’interval corresponent en cada variable utilitzant una escala de Likert 1-7, on 1 és gens competent, i 7 molt competent. D’aquesta manera, es normalitzen les variables perquè totes “parlin el mateix idioma”. Finalment, s’obté un informe que mostra l’índex de rendiment de tota la mostra de jugadors analitzats, a partir de la suma de les 12 qualificacions obtingudes, havent estat ponderades segons el seu nivell de rellevància en la posició de joc. 

En la segona etapa, l’investigador va presentar, en una primera sessió de discussió, les posicions de joc provisionals als experts, i es va arribar al consens d’incloure noves posicions de joc per reflectir de millor manera les més comunes en un equip de futbol. D’aquesta manera, es van tenir en compte nou posicions de joc (porter, central, lateral dret/esquerre, mig centre defensiu, mig box-to-box, mig creatiu, banda dret/esquerre, extrem dret/esquerre, davanter). Una vegada fet això, i per finalitzar la primera sessió de discussió, l’investigador va acordar amb els experts l’enviament d’una llista de 108 variables perquè seleccionessin, de manera independent, les més rellevants per posició de joc, abans de tornar a establir una nova sessió de discussió.

En la tercera etapa, els experts, de manera independent, van haver d’assenyalar les 12 variables que consideraven més rellevants per a cada una de les posicions de joc a l’hora de valorar la competència futbolística dels jugadors en les posicions esmentades. Es va permetre la selecció de 102 de les 111 variables que ofereix Wyscout, ja que es van descartar el nom del jugador, atès que és la variable representativa del jugador, la posició específica, atès que es va utilitzar aquesta variable per al filtratge, el valor de mercat que s’utilitzaria, posteriorment, per dur a terme el procés de validesa de constructe de l’eina, a més d’altres variables que no oferien dades quantitatives o rellevants segons el parer de l’investigador (equip actual, venciment contracte, país de naixement, passaport, peu, en préstec). Es va decidir no descartar altres variables que, tot i que no tinguessin una relació directa amb l’avaluació del joc, poguessin ser importants per determinar el rendiment dels jugadors. Per exemple, amb referència a la variable minuts jugats, els jugadors amb més volum de participació en els seus equips solen ser els jugadors més competents. La variable edat també podria influir en el rendiment a mitjà-llarg termini en els jugadors més joves. La variable alçada pot ser determinant en la posició del porter. També se’ls va aportar el glossari d’esdeveniments de Wyscout que descriu cada una de les variables (https://dataglossary.wyscout.com/). 

Per fer aquest procés es va utilitzar el programari Excel. L’investigador també va haver d’efectuar aquesta tasca amb les noves posicions de joc validades durant la primera sessió de discussió. Una vegada fet això, i un cop l’investigador havia rebut els arxius, es va calcular la validesa de contingut. D’aquesta manera, es va recórrer a la concordança de les seleccions dels dos experts, així com de la selecció provisional efectuada per l’investigador, comparant les dades de manera conjunta a través del coeficient kappa de Fleiss, així com per parells, utilitzant el coeficient kappa de Cohen. Obtingut un acord prou alt, es va fer una segona discussió amb els dos experts, i se’ls va mostrar la selecció provisional de variables per a cada posició efectuada per l’experimentador, així com les dues seleccions fetes per ells mateixos. Una vegada fet això, es van aprovar totes les variables que havien estat seleccionades pels tres experts per a cada posició, mentre que es van discutir les variables que havien estat seleccionades per un o dos experts, fins a arribar a un consens sobre la seva inclusió/exclusió, i determinar les 12 variables més representatives per a cada posició de joc. Per a la posició de davanter es va decidir incloure una mètrica resultant del nombre de gols dividit entre el nombre de rematades.

En la quarta etapa, es van fer una tercera i quarta sessió de discussió amb els dos experts per ponderar les 12 variables seleccionades per a cada posició. Per a això, es van utilitzar les dades de la temporada 2019-2020 de la Primera Divisió espanyola (jornades 1 a 27) i de la Premier League anglesa (jornades 1 a 29), i es va iniciar la discussió amb les variables sense ponderar, és a dir, totes tenien el mateix pes a l’hora de valorar el rendiment dels jugadors. Aquest procés es va decidir fer-lo en comú, i no de manera independent, ja que tant els experts com l’investigador podien aportar les seves idees i coneixements sobre com podia influir cada una de les variables, tenint en compte la dependència directa que sempre tindrien amb el perfil de jugador desitjat i l’estil de joc des del qual s’estigui avaluant. 

A la taula 1 es mostra la relació de variables seleccionades, així com la seva ponderació. Paral·lelament a aquest procés, i tal com s’ha esmentat a l’etapa 1, es van anar ajustant les àrees d’acció de cada posició de joc a través de l’anàlisi dels jugadors que anaven apareixent o desapareixent quan se seleccionava o no qualsevol de les àrees al filtre que ofereix Wyscout. D’aquesta manera, es van determinar les àrees més pertinents per a cada posició de joc. La figura 2 mostra les zones filtrades per a cada posició de joc una vegada van ser ajustades després del procés esmentat.

Taula 1

Variables seleccionades per a cada posició i la seva ponderació a partir del consens dels experts.

Veure Taula

Figura 2

Veure a mida completa

En la cinquena etapa, es va calcular la validesa de criteri de l’instrument, que estima el grau d’acord amb algun criteri extern que pretengui mesurar el mateix. Per a això, es van comparar els índexs de rendiment dels jugadors obtinguts a TOPSTATS a partir de la puntuació total ponderada en cada posició de joc, amb les puntuacions dels jugadors a Sofascore. A Sofascore les puntuacions dels jugadors estan calculades de manera objectiva a través de les dades del proveïdor Opta.

En la sisena etapa, per estimar la validesa de constructe, es va utilitzar la perspectiva de validesa discriminant (Carvajal et al., 2011), que mesura el grau en el qual l’instrument és capaç de distingir entre grups d’individus que s’espera que siguin diferents (McDowell i Newell, 1996), a causa de les seves característiques o rendiment (Thomas et al., 2011). En aquest cas particular, es va utilitzar el valor de mercat dels jugadors per determinar si es relacionava amb la puntuació general obtinguda a TOPSTATS. 

Anàlisi de dades

Per calcular la validesa de contingut es va recórrer a la consulta amb experts, tal com s’ha descrit en la tercera etapa del procediment. A través d’aquest procés, es va utilitzar l’índex kappa de Fleiss a partir del complement “Real Statistics” d’Excel per calcular el grau d’acord entre els 3 experts, a l’hora de seleccionar les 12 variables més rellevants en cada una de les posicions de joc. Aquest procediment permet obtenir el grau de concordança entre dos o més observadors, i encara que sol utilitzar-se habitualment com una mesura de fiabilitat, atesa la singularitat d’aquest estudi, es va considerar que era la millor manera per escometre aquest pas quant a validesa de contingut de l’eina, ja que es pretenia verificar si en cada posició s’estava mesurant el que es volia mesurar, segons les variables seleccionades pels experts, sabent que en la majoria dels esports es troba que els indicadors de rendiment importants varien d’un entrenador a un altre (Hughes et al., 2012). De la mateixa manera, com a procediment complementari, es va recórrer al programari SPSS v.19 utilitzant l’índex d’acord kappa de Cohen (1988) per parells d’observadors, que permetria arribar al mateix resultat final de manera diferent.

En la cinquena i sisena etapa del procediment utilitzat, es va emprar la correlació de Pearson per determinar la validesa de criteri i de constructe de l’eina, relacionant les puntuacions totals dels jugadors obtingudes a TOPSTATS amb les de Sofascore i amb el seu valor de mercat, respectivament. 

Resultats

Quant a la validesa de contingut, es va obtenir un índex kappa de Fleiss (k = .691) que va mostrar un acord considerable entre els tres observadors segons l’escala d’interpretació proposada per Landis i Koch (1977). Per a la concordança per parells d’observadors, es va obtenir una mitjana similar (k = .691) a partir de l’índex kappa de Cohen. A la taula 2 es pot visualitzar la concordança per parells.

Taula 2

Concordança per parells kappa de Cohen.

Veure Taula

Per a la validesa de criteri, es van relacionar les puntuacions totals dels jugadors obtingudes a TOPSTATS amb les de Sofascore a través de l’índex de correlació de Pearson (vegeu taula 3), i van aparèixer evidències significatives d’associació (r = 0.3-0.88; p < .05) en totes les posicions de joc.

Taula 3

Correlació de Pearson entre Índex de Rendiment General (total ponderat) a TOPSTATS i ràtings a Sofascore de jugadors amb més de 800 minuts jugats a La Liga i la Premier 2019-20.

Veure Taula

Finalment, per estimar la validesa de constructe de l’eina, es van correlacionar les puntuacions totals dels jugadors obtingudes a TOPSTATS amb el seu valor de mercat extret des de Wyscout en el moment de l’anàlisi. En aquest cas, hi va haver evidències significatives d’associació en 17 de les 24 posicions de joc (r = 36-80; p < .05), exceptuant-ne les posicions de lateral esquerre a La Liga espanyola, i de mitjos box-to-box i bandes drets i esquerres en ambdues competicions (vegeu taula 4).

Taula 4

Correlació de Pearson entre Índex de Rendiment General (total ponderat) a TOPSTATS i el valor de mercat de jugadors amb més de 800 minuts jugats a La Liga i la Premier League 2019-20.

Veure Taula

Discussió

L’objectiu del present estudi va consistir a dissenyar i validar un instrument que permetés qualificar, classificar i comparar el rendiment global dels jugadors professionals, entès com la competència futbolística que mostren al llarg de les seves actuacions, a partir del proveïdor de dades Wyscout. L’instrument desenvolupat analitza de manera semiautomàtica dades extretes des del proveïdor Wyscout, i aporta una qualificació del jugador, en forma d’índex de rendiment global, en funció de la seva posició i en relació amb jugadors que juguen en la mateixa posició i a la mateixa lliga. D’aquesta manera, es poden establir comparacions entre jugadors de manera àgil, aspecte determinant quan es treballa en clubs esportius on el temps apressa i els processos d’anàlisi es fan a un ritme vertiginós. A més, aquest procés es pot dur a terme en més de 200 competicions que compten amb cobertura de dades per part de Wyscout.

La competència futbolística ha estat estudiada en recents treballs que l’analitzen des d’un sistema d’observació (Sánchez-López et al., 2021), o descriuen les conductes col·lectives d’acord amb el nivell de competència futbolística que mostren els participants (Nieto et al., 2022). Com a concepte central d’aquest treball, es revela davant d’equips molt diferents per la capacitat que té el jugador per adaptar-se als comportaments dels altres jugadors, per participar d’una estratègia col·lectiva, per donar proves d’empatia i anticipació a la posició que ocupen, per encertar en les seves conductes desenvolupades durant el partit (Parlebas, 2018). És per això que “actuacions” i “competència” són dos termes indissociables, ja que les actuacions són producte d’una competència, i el rendiment durant les actuacions és el millor indicador de la competència dels jugadors. 

Assegurar la validesa de qualsevol instrument que pretengui valorar el rendiment dels jugadors és un pas necessari a l’hora de poder garantir la qualitat de l’avaluació. Un dels problemes que sol aparèixer a l’hora d’intentar obtenir evidències de validesa de contingut a través del coneixement d’experts és que no hi sol haver disponible un llistat del contingut correcte del fenomen que es mesurarà i, per tant, cal establir-lo (Carvajal et al., 2011). En el cas d’aquest estudi, l’investigador principal va aportar una llista detallada de totes les mètriques que es poden extreure des de Wyscout i els experts van haver d’establir quines mètriques eren les més interessants per a cada posició de joc. Aquesta part de la recerca es va fer amb summa cura i paciència, a fi de garantir el consens per part dels experts en la selecció de les variables que identifiquessin cada perfil posicional, així com els pesos associats a cada variable. El coneixement, per part dels experts, del rendiment de jugadors, tant a La Liga com a la Premier League, va permetre poder ajustar aquests pesos a fi d’obtenir unes puntuacions totals en línia amb la realitat.

Per obtenir evidències de validesa de criteri es van utilitzar com a criteri extern que pretengués mesurar el mateix les puntuacions de la plataforma Sofascore. Aquestes puntuacions resulten del tractament de dades que ofereix el proveïdor Opta, i la fiabilitat de les quals va ser evidenciada en un estudi previ (Liu et al., 2013). Sofascore, al temps de publicació d’aquest treball, continua augmentant la seva cobertura de dades, però no arriba a la cobertura de dades que presenta Wyscout, per la qual cosa una eina com TOPSTATS podria servir per obtenir els índexs de rendiment globals en un volum més gran de països i divisions. Per exemple, en el cas d’Espanya, es podrien obtenir índexs de rendiment en divisions com la 1a RFEF o la 2a RFEF espanyola que, a la data de presentació d’aquest treball, no compten amb el suport de Sofascore. 

Respecte a la validesa de constructe, es va poder evidenciar com en 7 de les 24 posicions analitzades no es va obtenir cap relació entre la qualificació dels jugadors i el valor de mercat. Això va ser a causa que el valor de mercat no només és representat pel rendiment que mostren els jugadors sinó també pel seu potencial i les seves possibilitats de futur. Per això, l’edat és una variable que pot esbiaixar els resultats en determinades posicions, ja que jugadors experimentats que s’apropen als seus últims anys de carrera tenien valors de mercat molt baixos. Per exemple, Joaquín i Cazorla a La Liga espanyola, ambdós rendint a un nivell altíssim en posicions de banda. Específicament en aquestes posicions de banda, passa també que els experts van provar d’identificar un perfil de jugador més multifuncional a diferència de les posicions ocupades per extrems, amb característiques especialment ofensives. Un altre inconvenient trobat, per garantir la validesa de constructe de l’eina, va ser que les posicions de mitjos creatius i box-to-box comparteixen filtratge espacial, és a dir, molts jugadors van ser qualificats en les dues posicions, ja que es van moure per la zona central del camp. Això es va traduir en el fet que molts jugadors que van obtenir altes puntuacions com a mitjos creatius van tenir puntuacions baixes com a mitjos box-to-box, a causa que les variables d’anàlisi són diferents i els resultats també s’esbiaixen a causa del seu valor de mercat; ja que els millors mitjos creatius (De Bruyne, Maddison, David Silva, Tony Kroos, Odegaard…) tenien valors de mercat més grans que els millors mitjos box-to-box (Mikel Merino, Saúl Ñíguez, Fred, Ward-Prowse…). En el cas dels laterals esquerres de La Liga espanyola, no es va trobar una relació significativa entre puntuació i valor de mercat. Això va ser segurament a causa que diversos jugadors amb valors de mercat baixos van rendir a un gran nivell durant la temporada (Estupiñán, José Ángel, Fran Gámez, Lucas Olaza, Toño…) i alhora que diversos jugadors amb alt valor de mercat no van rendir al nivell que s’esperava (Gaya, Jordi Alba, Mendy…).

Quant a les limitacions de l’estudi, d’una banda, la limitació principal de l’eina gira entorn de la seva dependència amb el proveïdor de dades, ja que els fitxers van ser codificats prenent com a referència la base de dades que es pot descarregar a través de Wyscout. Això representa un petit inconvenient, ja que el proveïdor podria canviar en qualsevol moment la forma d’exportació de dades, la qual cosa suposaria haver de fer modificacions en el codi de l’eina. D’altra banda, sembla interessant esmentar que les variables centrades en la relació amb la pilota, àmpliament utilitzades per avaluar el rendiment en esports col·lectius, han de ser jutjades amb compte al comparar jugadors de diferents divisions i categories (Sánchez-López et al., 2023a). Encara que les lligues puguin tenir un nivell de joc semblant, els contextos de confrontació poden ser diferents a causa del sistema cultural. Respecte a aquesta idea, sembla també important assenyalar que és necessari reflexionar sobre les variables de selecció per posició i la seva ponderació a l’hora de determinar quin jugador de l’equip pot ser l’adequat per jugar de titular en un partit, o quins jugadors del mercat poden resultar idonis per incorporar al club. Respecte a aquest fet, l’estil de joc de l’equip exerceix un paper clau en la victòria (Kong et al., 2022), així com en el tipus d’accions que són més interessants per al bon rendiment col·lectiu. En aquest sentit, la selecció de variables i ponderacions que es presenten en aquest treball han estat minuciosament validades i s’ha provat de respondre a qualsevol estil de joc, per la qual cosa no es recomana fer modificacions molt dràstiques, ja que es podria perdre certa validesa en aquest procés.

Les ciències de l’esport mantenen un esforç continuat en relació amb l’aplicació de noves metodologies i sistemes d’entrenament per millorar i mantenir el rendiment dels i les esportistes (Pons Alcalá et al., 2020). En conseqüència, l’instrument validat en aquest estudi té innombrables possibilitats d’aplicabilitat en l’àmbit esportiu i acadèmic, entre les quals es podrien destacar: (1) en el mateix equip, es pot analitzar i comparar el rendiment de jugadors que comparteixen una mateixa posició, a fi d’identificar quin jugador pot ser més adequat per a un determinat partit, o quin jugador està rendint millor en la posició esmentada d’acord amb les seves actuacions; (2) també es pot analitzar el rendiment de jugadors del mateix equip i jugadors d’equips de la lliga, establint comparacions i classificacions per posició de joc; (3) una altra alternativa gira entorn de la valoració de possibles incorporacions tenint en compte el rendiment que mostren els jugadors; (4) també és possible avaluar l’evolució dels jugadors comparant el seu rendiment longitudinalment, per exemple, d’una temporada a una altra, o en dos diferents períodes d’una lliga. 

Quant a les prospectives de futur de l’eina, depenen directament del futur del proveïdor, sabent que l’escenari que es presenta és molt il·lusionant, ja que els proveïdors cada vegada ofereixen una quantitat més gran de dades i de molta més qualitat.

Conclusions

Com a conclusions de l’estudi es pot esmentar que TOPSTATS mostra uns valors de validesa òptims. És un instrument capaç de qualificar, classificar i comparar la competència futbolística que mostren els jugadors professionals en les seves actuacions durant una mateixa competició, d’acord amb la seva posició de joc. Per a això, l’eina permet calcular, d’una manera àgil i semiautomàtica, un índex de rendiment global obtingut a partir de la interacció i ponderació de variables que contenen les dades obtingudes des del proveïdor Wyscout, que compta amb cobertura de dades en més de 200 competicions.

Per tot això, l’instrument podria ser utilitzat per clubs professionals, departaments d’anàlisi del rendiment esportiu i entrenadors per analitzar i comparar els jugadors, la qual cosa permetrà una optimització més gran dels processos d’entrenament i avaluació. D’igual manera, en l’àmbit científic, l’instrument podria ser útil en investigacions que necessitin crear grups d’estudi entorn del rendiment en competició que presenten els jugadors. 

Declaració de conflicte d’interessos

Els autors declaren que no existeixen potencials conflictes d’interessos respecte a la recerca, autoria i/o publicació d’aquest article.

Finançament

Els autors no van rebre suport financer per a la recerca, autoria i/o publicació d’aquest article.