Une collègue a admirablement bien résumé l'attrait de la bibliométrie :

La bibliométrie permet à des incompétents d'évaluer les scientifiques.

Expliquons sa pensée. Normalement, pour évaluer la production scientifique d'un chercheur, il faudrait la lire, ou au moins regarder en vitesse ses travaux et où il les a publiés, donc connaître suffisamment son domaine de recherche pour savoir ce qui est sérieux ou non parmi les revues et conférences. Ceci suppose donc des compétences spécialisées.

Avec la bibliométrie à base de facteurs d'impact, l'évaluation est à la portée d'un comptable ou d'un ordinateur.

Hélas, comme souvent avec les indicateurs numériques, le fait de les mesurer et d'en tenir compte pour louer ou blâmer les organismes et leurs personnels fait que ceux-ci travaillent non plus pour améliorer leur travail (ce que les indicateurs étaient censés mesurer) mais pour optimiser les indicateurs.

Ainsi, j'ai cru remarquer que, depuis que je travaille dans la recherche, les bibliographies ont augmenté de volume. Cela est, je pense, dû au désir des reviewers de voir citer leurs articles et ceux de leurs amis ; non seulement ils l'exigent parfois pour qu'un article soit accepté, mais les auteurs en viennent à devancer leurs désirs en prévoyant de longues sections « travaux proches » (related works) où ils citent tout ce qui pourrait avoir un vague rapport, au cas où.

Ceci dilue considérablement les citations et ce que l'on peut en tirer : le fait qu'un article soit beaucoup cité reflète-t-il son intérêt, ou la capacité d'intimidation de son auteur et de ses amis ?