{"id":479,"date":"2017-12-27T23:03:08","date_gmt":"2017-12-27T22:03:08","guid":{"rendered":"http:\/\/we-search.be\/?p=479"},"modified":"2018-03-07T21:09:34","modified_gmt":"2018-03-07T20:09:34","slug":"classements-academiques-a-lepreuve-statistiques-germain-van-bever","status":"publish","type":"post","link":"https:\/\/we-search.be\/index.php\/2017\/12\/27\/classements-academiques-a-lepreuve-statistiques-germain-van-bever\/","title":{"rendered":"Les classements acad\u00e9miques \u00e0 l’\u00e9preuve des statistiques – Germain VAN BEVER"},"content":{"rendered":"

Par Germain VAN BEVER – Membre de l’\u00e9quipe We-Search et chercheur en statistiques (ULB)<\/em><\/p>\n

\n
\n

Notre soci\u00e9t\u00e9 actuelle a pris une habitude f\u00e2cheuse: celle de devoir classer, comparer, attribuer des notes, des vainqueurs et des vaincus. Je ne suis personnellement pas la personne la plus ad\u00e9quate pour discuter des pourquois soci\u00e9taux ou des comments historiques.Mon m\u00e9tier de statisticien me permet, cependant, d\u2019apporter mati\u00e8re \u00e0 r\u00e9flexion sur le bien-fond\u00e9 de telle ou telle m\u00e9thode et, surtout, d\u2019adopter un regard critique sur la mani\u00e8re dont les classements sont construits.<\/p>\n

Je souhaite m\u2019attarder plus particuli\u00e8rement ici sur la mani\u00e8re dont les universit\u00e9s sont class\u00e9es. Cette comparaison est, je le con\u00e7ois, d\u00e9fendable. Elle permet, par exemple, aux futurs \u00e9tudiants de choisir une institution de qualit\u00e9, ou \u00e0 de futurs doctorants d\u2019interagir avec des chercheurs de renom. De tels rankings<\/em> (l\u2019anglicisme consacr\u00e9) permettent \u00e9galement aux gouvernements d\u2019adopter des politiques budg\u00e9taires fond\u00e9es sur des crit\u00e8res \u201cobjectifs\u201d (le revers financier de la m\u00e9daille). Une telle politique d\u2019excellence, de prime aux r\u00e9sultats \u00e0 l\u2019\u00e9chelle nationale, a lieu dans de nombreux pays, comme l\u2019Angleterre ou la Belgique, qui distribuent leurs \u201cenveloppes\u201d en fonction d\u2019\u00e9valuations de recherche et d\u2019enseignement ayant lieu tous les 5 ans.<\/p>\n

R\u00e9sumer des organismes aussi complexes, m\u00ealant \u00e0 la fois recherche et enseignement, d\u00e9veloppements soci\u00e9taux et industriels, est cependant une t\u00e2che impossible. Tous les classements osant tenter ceci proc\u00e8dent de la m\u00eame mani\u00e8re: ils mesurent la qualit\u00e9 des universit\u00e9s \u00e0 travers un nombre plus ou moins importants de scores, et agr\u00e8gent ces scores en une seule valeur finale, qui permet alors de comparer les institutions. Deux questions d\u2019importance se posent (et diff\u00e9rencient les classements): (i) quelles variables mesurent objectivement la qualit\u00e9 des universit\u00e9s et ce, sans trop de redondance et (ii) comment construire, de ces variables, un score final prenant celles-ci en compte de mani\u00e8re \u00e9quitable.<\/p>\n

La litt\u00e9rature (acad\u00e9mique et autre) regorge d\u2019articles critiquant les choix op\u00e9r\u00e9s par ces classements. Que ces critiques soient fond\u00e9es ou non, il est une \u00e9vidence qui, elle, rend ces d\u00e9cisions cruciales: les universit\u00e9s sont d\u00e9sormais en comp\u00e9tition dans ces rankings, et orientent leurs recrutements, leur recherche, leurs productions afin d’accro\u00eetre leur score.<\/p>\n

Le ranking le plus utilis\u00e9 \u00e0 ce jour est l\u2019\u201cAcademic Ranking of World Universities\u201d (ARWU) publi\u00e9 annuellement par l\u2019universit\u00e9 de Shanghai. \u00c0 sa sortie (en mars), les journaux font choux gras des changements, et nos quotidiens nationaux n\u2019h\u00e9sitent pas \u00e0 commenter les gains et pertes de quelques rangs dans le classement. L\u2019analyse statistique qu\u2019il est possible d\u2019en faire permet cependant de r\u00e9v\u00e9ler de nombreuses surprises le concernant. Le reste de ce billet est consacr\u00e9 \u00e0 une br\u00e8ve pr\u00e9sentation de celui-ci ainsi qu\u2019\u00e0 une version \u00e9dulcor\u00e9e de l\u2019analyse pouvant \u00eatre trouv\u00e9e dans Dehon et al., 2010.<\/p>\n

Le classement de Shanghai se fonde sur 6 variables, mesur\u00e9es sur chacune des 1200 institutions participantes. Ces cat\u00e9gories sont: (1-2) le nombre de membres actuels (et ex-membres) de l\u2019universit\u00e9 ayant obtenu un prix Nobel ou une m\u00e9daille Fields (la plus haute r\u00e9compense math\u00e9matique), (3) le nombre de chercheurs hautement cit\u00e9s (selon la liste publi\u00e9e par Thomson-Reuters), (4) le nombre d\u2019articles publi\u00e9s dans les journaux \u201cScience\u201d et \u201cNature\u201d, (5) le nombre de publications dans les journaux index\u00e9s par le Science Citation Index – Expanded et le Social Sciences Citation Index et (6) une mesure agr\u00e9g\u00e9e de ces 5 premi\u00e8res variables pond\u00e9r\u00e9es par le nombre d\u2019\u00e9tudiants. Dans chacune des cat\u00e9gories, la meilleure universit\u00e9 se voit attribu\u00e9e une note de 100 points, les autres recevant un score proportionnel. Le score final est une moyenne pond\u00e9r\u00e9e (20% pour toutes variables sauf (2) et (6) ne recevant que 10%) de ces 6 notes sur 100.<\/p>\n

Une premi\u00e8re remarque est la relative absence des sciences humaines (elles sont un peu pr\u00e9sentes dans la mesure (5), mais c\u2019est le seul endroit). Ensuite, on remarque la quasi-insensibilit\u00e9 du score \u00e0 la taille de l\u2019institution: seule la mesure 6, qui ne compte que pour 10% du score final prend en compte la taille de l\u2019universit\u00e9. Enfin, une autre remarque, imm\u00e9diate lorsque l\u2019on regarde le classement, est la domination d\u2019une poign\u00e9e d\u2019universit\u00e9s am\u00e9ricaines (Harvard, \u00e0 elle seule, est premi\u00e8re dans les 5 premi\u00e8res variables, et 8 universit\u00e9s du Top 10 sont am\u00e9ricaines) qui ont toutes un score significativement sup\u00e9rieur au reste des institutions. En ce sens, ces quelques universit\u00e9s \u201chors-norme\u201d sont, statistiquement parlant, des valeurs aberrantes, un terme consacr\u00e9 signifiant qu\u2019elles ne se comportent pas comme la majorit\u00e9 des observations.<\/p>\n

Une premi\u00e8re mani\u00e8re d\u2019analyser les variables (1) \u00e0 (6) collect\u00e9es est de se demander si celle-ci mesurent effectivement de mani\u00e8re \u00e9quivalente l\u2019excellence acad\u00e9mique. Pour ce faire, les statisticiens utilisent tr\u00e8s souvent l\u2019 \u201canalyse en composantes principales\u201d.<\/p>\n

Intuitivement, ce type d\u2019analyse se demande quelle(s) combinaison(s) des variables permet d\u2019expliquer au mieux l\u2019h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 des variables. Plus int\u00e9ressant encore est le fait qu\u2019il est possible de mesurer quelle proportion de l\u2019information apport\u00e9e par les variables est captur\u00e9e par une combinaison donn\u00e9e. Ainsi, s\u2019il est possible de trouver une combinaison particuli\u00e8re expliquant une proportion de l\u2019information importante, elle pourra remplacer avantageusement l\u2019ensemble des variables. Dans le cas du classement de Shanghai, l\u2019analyse classique montre que la combinaison (o\u00f9 l\u2019on a supprim\u00e9 la variable (6) qui est redondante)<\/p>\n

C=0,44*(1) + 0,42*(2) + 0,48*(3) + 0,5*(4) + 0,3*(5)<\/p>\n

est celle qui repr\u00e9sente au mieux les variables en recouvrant 68% de l\u2019information qu\u2019elles contiennent. Le fait que cette proportion soit grande, mais \u00e9galement que les coefficients soient bien r\u00e9partis, est d\u2019ailleurs l\u2019un des arguments de vente du classement ARWU, qui affirme ainsi non seulement capturer correctement l\u2019excellence, mais \u00e9galement de mani\u00e8re \u00e9gale dans chacune de ses variables.<\/p>\n

L\u2019analyse pourrait s\u2019arr\u00eater l\u00e0, mais elle resterait alors sur un r\u00e9sultat inappropri\u00e9 car statistiquement biais\u00e9. En effet, comme mentionn\u00e9 plus haut, certaines universit\u00e9s ne se comportent pas comme la majorit\u00e9 et, \u00e0 elles seules, biaisent l\u2019analyse (dont une des hypoth\u00e8ses est justement le fait qu\u2019il n\u2019y a pas de donn\u00e9es aberrantes). L\u2019article mentionn\u00e9 plus haut effectue donc une version robuste de l\u2019analyse en composantes principales, c\u2019est-\u00e0-dire une version plus technique mais prenant en compte le fait que toutes les donn\u00e9es ne se comportent pas de mani\u00e8re identique. Cette \u00e9tude r\u00e9v\u00e8le qu\u2019une seule combinaison n\u2019est plus appropri\u00e9e pour expliquer les donn\u00e9es, mais que deux sont maintenant n\u00e9cessaires. En effet, les combinaisons\u00a0permettent maintenant d\u2019expliquer, respectivement, 39% et 29% de l\u2019information cach\u00e9e dans les variables.<\/p>\n

C1 = 0,03*(1) – 0,04*(2) + 0,87*(3) + 0,85*(4) + 0,7*(5) et<\/p>\n

C2 = 0,82*(1) + 0,85*(2) – 0,05*(3) + 0,16*(4) – 0,13*(5)<\/p>\n

Les deux grandes conclusions de cette seconde \u00e9tude sont les suivantes: 1) contrairement \u00e0 ce que l\u2019universit\u00e9 de Shanghai affirme, l\u2019excellence n\u2019est pas mesur\u00e9e de la m\u00eame mani\u00e8re par toutes les variables (les coefficients de ces combinaisons sont en effet fort diff\u00e9rents) et 2) il est maintenant clair que seuls deux grands \u201cfacteurs\u201d d\u00e9terminent la position dans le classement. La combinaison C1 mesure en effet la production acad\u00e9mique (ne faisant intervenir que les variables (3), (4) et (5)), l\u00e0 o\u00f9 C2 mesure les prix attribu\u00e9s aux universit\u00e9s (fond\u00e9e principalement sur les scores (1) et (2)). \u00c0 d\u00e9faut de pouvoir contr\u00f4ler les prix scientifiques majeurs, la seule technique permettant de gagner des places dans le classement est donc une production accrue d\u2019articles, peu importe leur qualit\u00e9.<\/p>\n

La pression \u00e0 la publication est une r\u00e9alit\u00e9 pour les chercheurs. Il est facile de penser que celle-ci est due au petit nombre de places disponibles et donc \u00e0 la comp\u00e9tition existant entre ceux-ci. De nombreuses voix commencent d\u2019ailleurs \u00e0 se lever contre cette course \u00e0 l\u2019excellence. L\u2019Atelier des Chercheurs, un collectif de chercheurs de l\u2019Universit\u00e9 libre de Bruxelles, m\u00e8ne, par exemple, une r\u00e9flexion visant \u00e0 critiquer cette approche. Leurs r\u00e9flexions sur la d\u00e9sexcellence peut \u00eatre trouv\u00e9e ici.<\/a><\/p>\n

La r\u00e9alit\u00e9 de cette qu\u00eate de l\u2019excellence est peut-\u00eatre toute autre. Un bon chercheur (lire: un chercheur qui permet de monter dans les rankings) est un chercheur qui publie. Et tant que la r\u00e9alit\u00e9 des classements restera ce qu\u2019elle est, je ne vois pas comment le recrutement du personnel acad\u00e9mique pourrait en \u00eatre autrement. Changeons les r\u00e8gles, changeons les rankings?<\/p>\n

 <\/p>\n

R\u00e9f\u00e9rences<\/em>:<\/p>\n