Quand on parle d'évaluation de la recherche scientifique, on entend généralement l'évaluation des chercheurs individuels, des équipes, des laboratoires, des organismes etc. au regard de leur champ disciplinaire : tel chercheur est-il ou non un spécialiste international de son domaine scientifique ? publie-t-il dans les « meilleures » revues ? Bien entendu, pour évaluer un chercheur d'un domaine, on prend des scientifique (éventuellement étrangers, pour plus d'indépendance) du même domaine, ou de domaines connexes : on ne fait pas évaluer un biologiste par un historien, un sociologue par un informaticien...

Se pose dès lors la question de l'évaluation des domaines scientifiques eux-mêmes. Imaginons qu'il y ait en France des chercheurs en astrologie, qui seraient évalués par d'autres chercheurs en astrologie, et qui rejetteraient les intrusions de chercheurs d'autres disciplines au motif qu'ils n'y connaissent rien (en version moins polie : qu'ils sont incultes, réductionnistes, scientistes, bornés, etc.). Il pourrait certes s'établir des hiérarchies à l'intérieur des chercheurs en astrologie, chaque communauté suscitant la création de colloques, journaux, récompenses... mais quel mécanisme pourrait-on utiliser pour juger du domaine dans son ensemble ?

(On pourrait par exemple évaluer une discipline à l'aune des prédictions observables à l'extérieur de son champ et des réalisations matérielles qu'elle permet : ainsi, les informaticiens ne disent pas trop de bêtises, vu que grâce à ce qu'ils disent on construit des ordinateurs de plus en plus puissants. Ceci aurait cependant sans doute l'inconvénient de condamner une bonne partie des SHS et de la physique théorique..)