Chequeos de Referencias, Habilidad Mental General y ... · Keywords: references, construct...

Revista de Psicología del Trabajo y de las OrganizacionesVol. 28, n.° 2, 2012 - Págs. 119-131

Copyright 2012 by the Colegio Oficial de Psicólogos de MadridISSN: 1576-5962 - http://dx.doi.org/10.5093/tr2012a10

Chequeos de Referencias, Habilidad Mental Generaly Experiencia: Un Estudio de Validez de Constructo

Reference Checks, General Mental Ability, and Experience:A Study of Construct Validity

Mario LadoUniversidad de Santiago de Compostela

Resumen. El término “referencias” hace alusión a la información sobre ciertas características personalesrelacionadas con el comportamiento laboral de una persona y que otra persona (normalmente un jefe direc-to) aporta sobre la primera. Las referencias se basan en el supuesto de que “el mejor modo de averiguaralgo sobre alguien es preguntándole a alguien que lo conozca” y son un método ampliamente utilizado ypotencialmente eficaz para la selección de personal. El objetivo general de este artículo es responder a lasiguiente pregunta: ¿qué miden realmente las referencias? Para ello se han recogido los estudios primariosexistentes en la literatura sobre esta materia y se han aplicado diversas técnicas meta-analíticas. Los resul-tados indican que las referencias miden principalmente Habilidad Mental General y Experiencia.Asimismo, se hacen sugerencias de estudio para averiguar otros constructos que pudieran estar integradosen las referencias.Palabras clave:referencias, validez de constructo, habilidad mental general, experiencia, meta-análisis.

Abstract. Reference check is a term that reports information about personal characteristics related to jobperformance of one person and that another person (usually a supervisor) provide about the first.References are based on the assumption that “the best way to find out about someone is to ask someonewho knows” and they are widely used and potentially effective for personnel selection. The main objec-tive of this paper is to answer the following question: what do the references actually measure? There havebeen collected the primary studies in the literature on this subject and two meta-analyses were conducted.The results indicate that reference check measure General Mental Ability and Experience. Suggestions forresearch to find other constructs that could be integrated in the references are provided.Keywords: references, construct validity, general mental ability, experience, meta-analysis.

Bajo la denominación de “referencias”, en la litera-tura científica existe una serie de términos que hacenalusión a las mismas, aunque presentan algunas dife-rencias y variaciones. Así por ejemplo, se suelen utili-zar como sinónimos o equivalentes los siguientes tér-minos: referencias personales, carta de recomenda-ción, formulario de recomendación, informes de refe-rencia, control de referencia, comprobantes de referen-cia, solicitud de referencia, hoja de servicios, voucher,perif, etc. Aún así, la misma literatura (Heneman yHeneman, 1994, por ejemplo) tiende a distinguir elconjunto de las referencias en dos grandes apartados,“Cartas de Recomendación” e “Informes o Chequeosde referencias”.

Las referencias personales constituyen uno de lostres métodos más utilizados para el reclutamiento y laselección de personal. Los otros dos métodos son elhistorial profesional o currículo y la entrevista deselección. Estudios basados en muestreos realizados

tanto en Europa como en Estados Unidos y Canadácomo en Australia y Nueva Zelanda han puesto demanifiesto que las referencias se han utilizado y se uti-lizan en más del 90% de los procesos de selección depersonal. Esto es debido a diversas razones entre lasque se encuentran que es un método de fácil uso y bajocoste, que permite recoger y manejar una gran cantidadde información sobre las personas que están siendoevaluadas y que es un método muy flexible. Si la reco-gida de información se realiza de una manera adecua-da, se podrá conocer cuál ha sido el comportamiento yrendimiento pasado del candidato en su puesto de tra-bajo y dicha información podrá servir también parapronosticar de un modo relativamente válido el futurorendimiento del candidato en el puesto de trabajo alque aspira.

Cualquier persona, sin necesidad de formaciónespecífica, puede recoger o tratar de conseguir infor-mación sobre un posible candidato consultando a susanteriores empleadores y además se puede hacermediante una simple llamada telefónica, con lo cual sucoste es muy bajo. En segundo lugar, la informaciónsolicitada puede versar sobre múltiples conceptos yvariables, tales como el desempeño laboral, los cono-cimientos profesionales, las actitudes hacia el trabajo y

La correspondencia sobre este artículo deberá ser dirigida a MarioLado, departamento de Psicología Social, Básica y Metodología,Facultad de Psicología, Universidad de Santiago de Compostela,Campus Vida, 15782, Santiago de Compostela. E-mail: [email protected]

la organización, las relaciones con los jefes y compa-ñeros, las características de personalidad o la presenciade comportamientos contra-productivos. Una tercerarazón para la utilización de las referencias es que sir-ven absolutamente para todas las ocupaciones y noestán restringidas a ocupaciones y puestos específicos,en otras palabras, es un método muy flexible. Además,las referencias, como método de recogida de informa-ción, son habituales en los contextos cotidianos y otroscontextos ajenos al ámbito de la selección de personal,ya que permiten adquirir conocimientos acerca de algoo alguien y que son conocimientos que consideramosmás o menos válidos en función de la fuente de infor-mación. En este sentido, y dado que las referenciasconstituyen un método ampliamente utilizado y poten-cialmente eficaz para la selección de personal, el obje-tivo general de este artículo es responder a la siguien-te pregunta: ¿qué miden realmente las referencias? Noobstante antes de centrarnos directamente en esta pre-gunta, se presenta seguidamente un examen de la lite-ratura sobre la utilización de las referencias para laselección de personal, los problemas que se generan ensu recogida y los diversos métodos de recogida de refe-rencias existentes.

Las referencias y la selección de personal

El término genérico de “referencias” hace alusión auno de los métodos más utilizados en los procesos deselección de personal y consiste en la recogida deinformación sobre ciertas características personales olaborales que una persona (normalmente un supervi-sor) aporta sobre el comportamiento laboral de un suje-to (normalmente un candidato). Comparando las refe-rencias con otros instrumentos habituales en selecciónde personal (p. ej., las entrevistas o las hojas de solici-tud de empleo), se puede afirmar que, mientras que lasentrevistas permiten al candidato hablar por sí mismosobre el principio de que “el mejor modo de saber algosobre alguien es preguntándole”, las referencias sebasan en que “el mejor modo de averiguar algo sobrealguien es preguntándole a alguien que lo conozca”(Cook, 1988). Más aún, así como la entrevista o, inclu-so las hojas de solicitud de empleo, nos permiten saber“qué” hizo el candidato, las referencias nos permitensaber “cómo” lo hizo.

Sondeos realizados desde los años 50 sobre el usode los instrumentos de selección muestran que las refe-rencias son uno de instrumentos preferidos por lasorganizaciones para el reclutamiento y la selección desu personal (Beason y Belt, 1976; Bevan y Fryatt,1988; Clark, 1992; Hyde, 1982; Kingston, 1971;Marsden, 1994; Milkovich y Boudreau, 1994; Mosel yGoheen, 1958; National Industrial Conference Board,1965; Robertson y Makin, 1986; Ryan, McFarland,Baron y Page, 1999; Shackleton y Newell, 1994 ). Enresumen, dichos sondeos indican que los chequeos de

referencias son un instrumento ampliamente utilizadoen las organizaciones dentro del proceso de selecciónde personal y persiguen dos objetivos principales;comprobar la veracidad de la información aportada porel candidato en las otras fases del proceso y obtenerinformación adicional no proporcionada por los otrosinstrumentos. Asimismo, la utilización de las referen-cias en el proceso de selección es habitual tanto parapuestos directivos como para los puestos operativos.Además, los estudios no muestran diferencias signifi-cativas teniendo en cuenta tanto el tamaño de lasempresas como el volumen de contrataciones.

Aún teniendo en cuenta su amplio uso, durante elproceso de recogida de información sobre referenciaspersonales, se pueden producir algunos problemas quedeben ser tenidos en cuenta con el fin de que no inci-dan en la validez. Estos posibles problemas puedensurgir por cuatro motivos principales: (1) resistencia ala aportación de referencias, (2) sobrevaloración oindulgencia, (3) dificultades en la recogida de la infor-mación e (4) impacto de las características del suminis-trador de referencias.

La resistencia a la aportación de referencias sueleser la mayor dificultad que aparece en el proceso, difi-cultad que se hace mayor cuando el candidato en cues-tión ha tenido problemas laborales con la persona queaporta la información. Es posible que el anteriorempleador sólo proporcione datos acerca de la activi-dad general y cargo del empleado. En algunos países,en Estados Unidos, por ejemplo, donde existe unaestricta legislación al respecto, esta resistencia a apor-tar información se ve incrementada por el temor aincurrir en responsabilidad penal, difamación o inva-sión de la privacidad por parte de la empresa que apor-ta información sobre antiguos empleados. No obstante,este tipo de resistencia puede ser minimizada si el soli-citante presenta una autorización expresa por parte delcandidato en la que éste autoriza a aquél a solicitar lainformación laboral que estime oportuna.

La indulgencia, bondad o sobrevaloración consisteen la tendencia a proporcionar referencias extremada-mente positivas de un candidato. Provocan que lamayoría de las cartas de recomendación e informes dereferencia sean positivos. Esta sobrevaloración es posi-ble debido a varios motivos, como por ejemplo que loscandidatos eligen a las personas que pueden aportarreferencias acerca de ellos. Por otra parte, la confiden-cialidad de la información aportada va a determinarque ésta sea más positiva cuando el que proporciona lainformación sabe que el candidato va a tener acceso asu lectura, que cuando sabe de antemano que el candi-dato no va a tener acceso a ella (Ceci y Peters, 1984;Shaffer y Tomarelli, 1981).

La recogida de la información es otro de los proble-mas existentes en el proceso de chequeo. dicho proce-so pasa por el envío a los anteriores empleadores de unformato impreso en el que se les solicita informaciónacerca de un antiguo empleado. Por diversas causas

120 VALIdEZ dE CONSTRUCTO dE LAS REFERENCIAS LABORALES



esa información no siempre llega de vuelta al seleccio-nador. Existen pocos datos disponibles que indiquen lacantidad de cuestionarios que son completados y luegoenviados de vuelta (Bingham, 1926; Mosel y Goheen,1959; Nash, 1970; Nash y Carroll, 1970a). En general,la tasa de repuesta se sitúa en torno a un 35%. Con elfin de mejorar la tasa de respuesta, Nash y Carrollaconsejan incluir en los envíos un sobre franqueadopara la vuelta, una copia del cuestionario, así como unacarta individualizada, firmada a mano y dirigida aldirector de personal. No existen datos actualmentesobre la eficacia de otros métodos de recogida de infor-mación a tener en cuenta en la actualidad, como son elcorreo electrónico y las redes sociales vinculadas acolectivos profesionales de momento.

Las características del suministrador de referencias,del candidato, del receptor y las relaciones existentesentre ellos pueden incidir también en la validez de lasreferencias (Browning, 1968; Carroll y Nash, 1970;Kryger y Shikiar, 1978; Mosel y Goheen, 1959). Porejemplo, en cuanto al sexo, los individuos tienden a sermás condescendientes en las valoraciones con aquellosde su mismo sexo (Carroll y Nash, 1970). Aun así, lasreferencias proporcionadas por mujeres tienden a sermás positivas que las proporcionadas por hombres ytienden a ser más benévolas que los hombres cuandovaloran tanto a los antiguos empleados como a losactuales (Carroll y Nash, 1970, 1972; Kryger y Shikiar,1978). En cuanto a la raza, existe una tendencia a daruna valoración superior a los individuos de la mismaraza que a los de otra (Bryan, 1992). Otro factor impor-tante es el conocimiento que el proveedor de referen-cias tenga del antiguo empleado. Carroll y Nash con-cluían que las referencias dadas por los supervisoressobre empleados que han estado menos de dos mesesjunto a ellos, carecen de validez predictiva. Por otraparte, también carecen de validez predictiva si, ade-más, la ocupación del antiguo empleado no se corres-ponde con la ocupación actual. Las referencias dadaspor una persona de un país carecen de validez para pre-decir trabajo en otro.

Tipos de métodos de recogida de información dereferencias

Los métodos de recogida de las referencias suelenagruparse en dos grandes grupos: (a) cartas de reco-mendación y (b) chequeos de referencias. Las cartas derecomendación son documentos en los que un supervi-sor anterior (por ejemplo, el responsable del equipo detrabajo o del departamento en el que ha trabajado elcandidato) expone una valoración de las característicaslaborales de un empleado con el fin de facilitarle laincorporación a una nueva organización. El uso deCartas de Recomendación plantea problemas como lossiguientes (Ceci y Peters, 1984; Knouse, 1983; Loheret al., 1997; Mehrabian, 1965; Peres y Garcia, 1962;

Heneman y Heneman, 1994; Wiens, Jackson,Manaugh y Matarazzo, 1969): (a) una elevada restric-ción del rango de sus puntuaciones como predictor, (b)la ausencia de una estructura-modelo o patrón estándary (c) la presencia de sesgos (p. ej., el efecto de los este-reotipos ocupacionales) tanto en los escritores como enlos lectores de las cartas. Por su parte, el chequeo dereferencias es quizás la técnica de recogida de informa-ción personal más frecuentemente incluida por lasorganizaciones en los procesos de selección de perso-nal. Se lleva a cabo principalmente para comprobar laveracidad y precisión de la información que un candi-dato aporta a lo largo del proceso. de hecho, la infor-mación que se verifica con más frecuencia en los che-queos de referencias es aquella relacionada con lascaracterísticas del trabajo que ha realizado el candida-to, las valoraciones del anterior empleador, los resulta-dos académicos, datos clínicos y otros datos persona-les (Beason y Belt, 1976; Hyde, 1982). Otros objetivosde los chequeos de referencias son, por una parte, lacomprobación de ausencias de problemas disciplina-rios, recabando información acerca de conductas ante-riores relacionadas con el absentismo, casos de negli-gencia en el trabajo o violencia (Hyde, 1982; Aamodt,Nagy y Thompson, 1998) y, por otra parte, conseguirinformación nueva acerca del candidato, como porejemplo sobre sus hábitos de trabajo, sus destrezas,habilidades o características de personalidad, con el finde mejorar la predicción del rendimiento del candidatoen el trabajo (Carroll y Nash, 1970).

En general, los chequeos de referencias se llevan acabo en las últimas fases del proceso de selección.Ahora bien, es necesario distinguir entre el ámbito dela investigación y la práctica profesional. Sería desea-ble para la investigación que la información obtenidamediante el chequeo de referencias estuviese disponi-ble con los demás datos del proceso, esto es, los resul-tados de la entrevista, las puntuaciones de los tests yotros procedimientos (p. ej., cuestionarios de persona-lidad). Eso permitiría averiguar las relaciones existen-tes entre los procedimientos, así como el papel quejuega cada uno de los instrumentos utilizados en elproceso de selección de personal. Sin embargo, en lapráctica profesional esto no ocurre siempre así. En estesentido es habitual que, desde una perspectiva de aho-rro de costes, los chequeos de referencias se lleven acabo cuando ya se han obtenido los resultados de lasdemás pruebas del proceso y solamente se solicitenreferencias de aquellos candidatos que han obtenidobuenos resultados en dichas pruebas (Beason y Belt,1976). Si bien esto permite comprobar y verificar lainformación obtenida previamente y bajo un criterio deahorro de costes, estos resultados cuando se trasladanal ámbito de la investigación aparecen sesgados y conuna importante restricción del rango que dificulta esti-mar adecuadamente la fiabilidad y la validez de esteinstrumento en la selección de personal. En conclu-sión, sería deseable en ambos casos disponer de la



MARIO LAdO 121

información sobre los chequeos de referencias almismo tiempo que se obtiene la información prove-niente de otros instrumentos.

También hay diferencias en cuanto a la forma derealizar los chequeos de referencias. Este proceso suelerealizarse principalmente de cuatro maneras: (a) porcorreo, (b) por teléfono, (c) una visita personal o (d)por medio de agencias de investigación. El chequeopor correo y mediante un cuestionario es una formarelativamente frecuente y presenta una amplia varie-dad en función del tipo de preguntas que contenga; porejemplo, preguntas con respuestas dicotómicas, enescala, con comentarios, etc., y su eficacia depende deltipo de cuestionario utilizado. El chequeo por teléfono,es quizás el más utilizado en la actualidad. Se caracte-riza por aportar rapidez, menor costo, flexibilidad ypor permitir la indagación directa. Es el método prefe-rido por los seleccionadores debido a la facilidad yrapidez de obtención de referencias, a la facilidad paraprobarlas, a la relación personal que crea el medio y ala información adicional que suministra, por ejemplo,el tono de voz del valorador o la posibilidad de infor-mación más reservada (Nash y Carroll, 1970a; Pyron,1970). La visita personal aporta mayor calidad y preci-sión en la recogida de información y, creando un climaadecuado, asegura su fiabilidad. Por otra parte, exigeun coste de tiempo superior a cualquier otro medio, loque supone un inconveniente cuando los candidatosson numerosos. Además, es prácticamente inviablecuando quien proporciona las referencias vive a consi-derable distancia del seleccionador. Actualmente, ydebido al auge de la comunicación vía internet, cabepensar que es posible adaptar este nuevo medio al pro-ceso de chequeo de referencias y quizás releve en cier-ta medida a otros métodos como el correo o el teléfo-no. Todavía existen algunas dudas acerca de la idonei-dad de este medio en cuanto a la autenticidad y confi-dencialidad y de cómo superar estas limitaciones.

La validez de constructo de las referencias

La validez de constructo trata de aclarar en quémedida la respuesta observada en las pruebas tiene undeterminado significado, valorando el grado en que larelación empírica de las pruebas es consistente con estesignificado. Se podría definir como la correlación entrelas puntuaciones verdaderas en la medida y el cons-tructo que se intenta medir con ella (Schmidt, 1993) ocomo “el grado en que ciertos conceptos o constructospsicológicos explican el rendimiento en una medida, esdecir, si realmente estamos midiendo lo que pretende-mos medir con un instrumento” (Moscoso, 1999). deacuerdo a Cronbach y Meehl (1955), en su artículo ori-ginal sobre la “validez de constructo”, el estableci-miento de la validez de constructo de una medidarequiere que se desarrolle la “red nomológica” dedicha medida. Se entiende por red nomológica una red

completa de leyes que relacionan una medida con otrasvariables, en otras palabras, que esa medida presenteuna correlación apreciable con otras que sean teórica-mente relevantes. En consecuencia, para establecer lavalidez de constructo es imprescindible seguir los si-guientes pasos (Schmitt y Klimoski, 1991):

1. La formulación de una definición teórica delconstructo o constructos incluidos en la medida,así como la especificación de sus manifestacio-nes y de las interrelaciones entre los conceptos.

2. La verificación empírica de esas relaciones.3. La inferencia y explicación que dé sentido a la

validez de constructo de una cierta medición o deuna prueba en particular.

Ahora bien, en el caso de las referencias personalesdebe tenerse en cuenta la diferencia planteada porHunter y Hunter (1984) entre método y contenido. Enefecto, las referencias son un método de evaluación deinformación para la toma de decisiones de empleo,pero también es necesario considerar qué es lo queestán midiendo. Tanto el análisis del contenido de lascartas de recomendación realizado por Peres y García(1962), como los informes sobre el contenido de lasreferencias muestran dos aspectos: (a) las referenciaspersonales no son un constructo psicológico y (b) pue-den incluir información correspondiente a diversosconstructos psicológicos. Al tener presente estas doscircunstancias, es posible plantear conjeturas funda-mentadas sobre cuáles pueden ser los constructosmedidos por las referencias.

Considerando conjuntamente la diferenciación entremétodo y contenido realizada por Hunter y Hunter ylos tres pasos necesarios para el establecimiento de lavalidez de constructo de una medida, lo restante deesta introducción estará destinado a: (1) establecerposibles hipótesis sobre las relaciones entre la informa-ción contenida en las referencias (medida) y diversosconstructos teóricos; (2) reunir, examinar y analizar laevidencia empírica disponible sobre tales relaciones y(3) tratar de explicar el por qué de dichas relaciones ola falta de las mismas.

Variables psicológicas relacionadas o contenidas enlas referencias

Ya se ha señalado que las referencias en sí mismasno son una variable psicológica, pero que la informa-ción contenida en ellas pueden ser indicadora de diver-sos constructos, los cuales finalmente permiten que lasreferencias sean predictores válidos de conductas labo-rales de interés (p. ej., desempeño en el trabajo, promo-ciones, éxito en la formación o permanencia en elpuesto). Varios autores han planteado hipótesis o con-jeturas sobre qué pueden estar midiendo las referen-cias. Por ejemplo, Hunter y Hunter (1984) sugierenque las referencias pueden estar midiendo tres tipos deconceptos: (a) inteligencia, (b) habilidades sociales, y




(c) experiencia laboral. Lamentablemente, Hunter yHunter no van más allá de tal sugerencia y tampocopresentan un desarrollo de qué es lo que están enten-diendo por habilidades sociales. La experiencia laboralha sido también sugerida por Mosel y Goheen (1959)como uno de los constructos medidos por las referen-cias. Otro constructo que podría estar incluido en lasreferencias es la personalidad. La línea iniciada porPeres y Garcia (1962) y continuada por Aamodt (1999;Aamodt, Bryan y Wintcomb1993) sugiere que las refe-rencias y, especialmente, las cartas de recomendacióncontienen información relativa a la personalidad de loscandidatos y, por tanto, las referencias estarían eva-luando la personalidad. de hecho, la clasificación derasgos de personalidad encontrada por Peres y Garcia(1962) guarda un gran paralelismo con el modelo delos cinco grandes factores de personalidad (Goldberg,1990, 1992; Block, 1995, John, 1989; McCrae y Costa,1991).

A partir de la búsqueda de la literatura para este artí-culo, se ha podido constatar que el número de estudiosprimarios que se han ocupado de presentar algún tipode relación de las referencias con otras variables psico-lógicas (p. ej., inteligencia o personalidad) es extrema-damente reducido y que únicamente un número escasode estudios permiten avanzar en el conocimiento de lared nomológica de la validez de constructo de las refe-rencias. Uno de tales estudios sobre la validez de cons-tructo de las referencias fue hecho hace ya más cincodécadas por Mosel y Goheen (1959). Estos autoresseñalaban que existía una creencia acerca de las limi-taciones del ERQ (su instrumento de recogida de infor-mación sobre de las referencias) en cuanto al tipo yvariedad de información recogida. El ERQ servíacomo instrumento para valorar a los candidatos en unaamplia variedad de factores de personalidad, destrezas,conocimientos, relaciones humanas, y desarrollo ocu-pacional. Mosel y Goheen encontraron correlacionesde .22 (economistas), .54 (examinador de presupues-tos) y .45 (director de formación) entre el ERQ y lasentrevistas para recoger referencias. Para poder obte-ner una interpretación más precisa de los resultados deMosel y Goheen (1959), lo más conveniente es inte-grar cuantitativamente los tres resultados y corregir elpromedio por el error de medida en ambas variables.Para ello se toman los resultados del estudio de Lado(2001) que indican que la fiabilidad promedio de lasreferencias es .70. Por tanto, se puede utilizar estevalor para corregir la validez observada por error demedida. El resultado de la integración cuantitativa delos tres resultados muestra una correlación promedio.55 corregida por fiabilidad. Los resultados indicanque las dos medidas de recogida de las referenciasestán altamente correlacionadas y, por lo tanto, estánmidiendo constructos similares. Además, los resulta-dos informan también que toda la variabilidad quehabían observado Mosel y Goheen era de naturalezaartifactual, puesto que cuando se eliminan de la varian-

za observada los efectos de la varianza de error demuestreo y del error de medida en X e Y, la varianzaresultante es 0. debe tenerse en cuenta, sin embargo,que la validez corregida alcanzada en este re-análisises una subestimación de la verdadera correlación entreambos métodos, puesto que las puntuaciones obtenidastanto en el ERQ como en la entrevista de informaciónestán sometidas a restricción del rango y no se hahecho ninguna corrección en este sentido, pero esobvio que con una muestra tan limitada lo más proba-ble es que exista restricción del rango.

Este estudio de Mosel y Goheen (1959) es informa-tivo de que dos métodos diferentes de recogida de lainformación de las referencias, que incluyen diferentecontenido, alcanzan una gran convergencia en lo queestán midiendo. Por tanto, es una aportación relevantepara la literatura. Sin embargo, no lo es desde un puntode vista teórico. En efecto, tal estudio no nos informasobre qué están midiendo las referencias. En este sen-tido, no es un estudio muy informativo sobre la natura-leza psicológica de las referencias, puesto que no nosindica si la correlación alcanzada se debe a que ambosmétodos miden inteligencia, personalidad, experienciaprevia, conocimientos del puesto o una combinaciónde éstas y otras variables. Por ello en los apartados quesiguientes se tratará específicamente la relación de lasreferencias con tales variables.

a) Las Referencias y la Habilidad Mental General

La relación entre las referencias y la habilidad men-tal general es de interés por varias razones. En primerlugar, algunos autores han manifestado que las referen-cias incluyen preguntas sobre la habilidad mental delos candidatos y, por tanto, podrían estar midiendo estavariable. En segundo lugar, múltiples investigacionesprimarias y meta-análisis han demostrado que la habi-lidad mental general es la variable psicológica que pre-senta la validez predictiva más elevada del rendimien-to ocupacional y del éxito en la formación (Salgado,1998; Schmidt y Hunter, 1998; Salgado et al., 2003a,2003) y, puesto que la habilidad mental general es elmejor predictor del rendimiento, es necesario conocersi toda o parte de la validez de criterio de las referen-cias se debe a que miden habilidad mental general.

Existen varias investigaciones que relacionaron laspuntuaciones de las referencias con medidas de habilidadmental general o con medidas de habilidades cognitivasy que permiten especular sobre la relación entre estasvariables. Por ejemplo, Rhea (1966), en varias muestrasde oficiales de la marina de Estados Unidos, la mayoríade las cuales contenían a un amplio número de indivi-duos, encontró relaciones que van de -.01 hasta .26.Otros estudios en los que las referencias fueron relacio-nadas con la habilidad mental general fueron realizadospor Mehrabian (1965), Handyside y duncan (1954) yMurden, Galloway, Reid y Colwill (1978). En el prime-



MARIO LAdO 123

ro de tales estudios, Mehrabian encontró una correlaciónde .19 entre una medida de la habilidad mental general yla valoración de las cartas de recomendación. Por suparte, Handyside y duncan (1954) también incluyeron lacorrelación entre las referencias y la inteligencia. deacuerdo a sus resultados, estas dos medidas son esencial-mente independientes una de la otra y su correlación es0. Murden et al., (1978) también encontraron una corre-lación de 0 entre la valoración de las cartas de recomen-dación y una medida de habilidad mental general.

Haciendo un resumen de la evidencia empírica ante-rior se puede afirmar que la correlación entre las refe-rencias y la habilidad mental general ha mostrado uncierto grado de variabilidad pues los coeficientes hanido desde -.01 hasta .26. No obstante, es preciso teneren cuenta que todas las correlaciones mencionadas soncorrelaciones observadas, es decir, ninguna ha sidocorregida ni por error de medida ni por restricción enel rango en X e Y. Teniendo en cuenta que tales corre-laciones contienen error de medida, error de muestreoy restricción en el rango de las puntuaciones, es lógicopensar que la relación entre la habilidad mental y lasreferencias es positiva y que la variabilidad observadapuede ser debida a errores artifactuales. Por tanto, seplantea la siguiente hipótesis:

H1. Las referencias personales incluyen informa-ción sobre la habilidad mental de los candidatos. Porello predecimos que existirá una correlación positivaentre las valoraciones de las referencias y la habilidadmental general.

b) Las Referencias y la Experiencia Laboral

La experiencia laboral ha sido considerada unavariable que está incluida en las puntuaciones derivadasde las referencias (Hunter y Hunter, 1984). La base detal especulación es que el contenido de las referencias,tanto de los chequeos como de las cartas de recomenda-ción y de los antecedentes laborales, incluye informa-ción sobre el tipo de experiencia y la duración de lamisma. Tan sólo dos estudios empíricos han tratado larelación entre estas dos variables. El primero de ellosfue realizado por Mosel y Goheen (1958), quienesexploraron la relación entre las referencias y la valora-ción de la experiencia en cinco muestras de otras tantasocupaciones. Estos dos autores encontraron que lascorrelaciones tenían un rango que iba desde -.09 a .11.En otro estudio, Salgado et al. (2001) encontraron unacorrelación de .10 entre la experiencia y las referencias.Estos coeficientes, como ocurría en el caso de la rela-ción entre las referencias y la habilidad mental general,son subestimaciones de las verdaderas correlaciones.Ante esta información, parece que quienes valoran lasreferencias también están valorando, en cierto grado, lainformación sobre la experiencia, por ello está fundadoteóricamente plantear la siguiente hipótesis:

H2. Las referencias personales incluyen informa-ción sobre la experiencia laboral/profesional de loscandidatos. Por ello predecimos que existirá unacorrelación positiva entre las valoraciones de las refe-rencias y la experiencia laboral.

Puesto que existe un cierto número de investigacio-nes sobre la relación entre las referencias y la habilidadmental general y sobre la relación entre las referenciasy la experiencia, el resultado de un meta-análisis psico-métrico, que integre cuantitativamente los resultados dedichas investigaciones, será la aproximación más preci-sa disponible de la distribución de dicha relación. Noobstante, el meta-análisis a realizar debe contener dosdiferencias importantes con respecto al meta-análisispsicométrico conducido habitualmente para conocer lavalidez predictiva de un procedimiento de selección depersonal. En este último, el interés reside en conocer lavalidez operativa, es decir el tamaño del efecto que Xejerce sobre Y. Por ello, la corrección del error de medi-da de validez se ejerce solo sobre Y, pero no sobre X.Tampoco se corrige por restricción del rango en Y,puesto que se desconoce si se ha producido tal restric-ción en el criterio. Sin embargo, en un meta-análisisdirigido a conocer la relación entre dos medidas teóri-cas deben efectuarse dos correcciones adicionales. Enefecto, siguiendo la definición de Schmidt (1993),según la cual la validez de constructo viene reflejadapor la correlación entre las puntuaciones verdaderas enla medida y el constructo que se intenta medir con ella,la correlación resultante de un meta-análisis tiene queser la correlación verdadera entre X e Y. Se entiende porcorrelación verdadera aquella que se produce entre laspuntuaciones verdaderas de las dos variables y las pun-tuaciones verdaderas son aquellas que se dan conausencia de error de medida y con ausencia de restric-ción del rango. Por tanto, para estimar la correlaciónverdadera entre los constructos o dos medidas teóricas,la correlación observada se debe corregir tanto por errorde medida en X e Y como por restricción en el rango delas puntuaciones de X e Y.

Hasta hace pocos años no existían fórmulas para tra-tar directamente el caso del doble truncamiento (doblerestricción en el rango) y su efecto solo se podía estimarde forma aproximada. Pearson (1908) había hallado unasolución parcial al problema del doble truncamiento,pero no una fórmula exacta. Posteriormente, Wells yFruchter (1970) desarrollaron un procedimiento aproxi-mativo, pero de elevada complejidad dado el número defórmulas y el número de iteraciones que se requerían.Más recientemente, Alexander, Carson, Alhiger y Carr(1987) desarrollaron una fórmula relativamente simplepara tratar el problema de la doble restricción. Los estu-dios de simulación indicaron que dicha fórmula era com-pletamente precisa en el caso de truncamiento unidimen-sional, y muy precisa en el caso de que el truncamientofuese bidimensional. de hecho, en más del 90% de loscasos el error de estimación era menor que +/- 0.02.




Método

Búsqueda de Literatura

La búsqueda de la literatura se realizó a través dediferentes bases de datos (PsycInfo, Web of knowled-ge, Google Scholar) utilizando las siguientes palabrasclave: Reference check, letter of reference, letter ofrecommendation, references. Asimismo, todas las revi-siones y artículos clásicos sobre chequeos de referen-cias fueron inspeccionados para localizar artículos queno lo hubieran sido por algunos de los procedimientosanteriores. El resultado fue un conjunto de 9 estudiosque incluían una correlación entre una medida de habi-lidad mental general y una medida de referencias. Lasmismas estrategias de búsqueda de la literatura utiliza-das para la relación entre referencias y habilidad men-tal general se aplicaron para encontrar estudios sobre larelación entre referencias y experiencia. El resultadofue el hallazgo de 6 correlaciones obtenidas con mues-tras independientes y que relacionaban las referenciasy la experiencia.

Procedimiento

La aplicación del meta-análisis psicométrico y ladoble corrección por truncamiento hace que cincofuentes artifactuales de error se tuvieran en cuenta enel presente análisis. Tales fuentes son: error de medidaen X (referencias), error de medida en Y (habilidadmental general, experiencia), restricción del rango depuntuaciones de X, restricción del rango de puntuacio-nes de Y y error de muestreo. Las cuatro primerasfuentes de error producen subestimación del valor ver-dadero de la relación entre X e Y, así como variabili-dad en dicha relación. Por su parte, el error de mues-treo hace que los valores varíen aleatoriamente de suvalor verdadero. Para poder llevar a cabo el meta-aná-lisis se requiere conocer la distribución de los valoresde las cuatro primeras fuentes de error y tales distribu-ciones las tomamos de las siguientes fuentes: (1) la dis-tribución del error de medida en X la tomamos delestudio de Lado (2001), (rxx = .70; Sd = .07); (2) la dis-tribución del error de medida de la habilidad mentalgeneral se toma del estudio de Salgado et al. (2003b),ryy = .83; Sd = .09; (3) la distribución de la restriccióndel rango en las referencias la tomamos del estudio deLado (2001), (u = .51; Sd = .14); (4) la distribución dela restricción del rango de las puntuaciones de habili-dad mental general se obtuvo del promedio de las dis-tribuciones utilizadas en los meta-análisis de Hunter yHunter (1984) y Salgado et al. (2003b) y que finalmen-te proporcionan un valor estimado de u = .64 (Sd =.09); y (5) por último, la distribución de la restriccióndel rango de las puntuaciones de la experiencia, seconsidera en este artículo que es semejante a la distri-bución de la habilidad mental general.

Resultados

Correlación entre Referencias y Habilidad MentalGeneral

Un primer objetivo del presente meta-análisis esponer a prueba la hipótesis de que las valoraciones delas referencias están correlacionadas con la habilidadmental general o, en otras palabras, si las valoracionesincluyen varianza de habilidad mental general. Losresultados del meta-análisis se presentan en la Tabla 1.Como ya se señalaba con anterioridad, el valor de inte-rés es la correlación verdadera entre las referencias y lahabilidad mental general (ρ) y el mejor estimador de lacorrelación verdadera es la correlación observadacorregida por error de medida en X e Y y por trunca-miento en X e Y. En la Tabla 1 aparecen la correlaciónobservada (r), la correlación corregida por error demedida (rc) y la correlación corregida por doble trun-camiento (ρ).

Como puede apreciarse y conforme a la hipótesis 1,las referencias están parcialmente relacionadas con lahabilidad mental general, con una correlación corregi-da igual a .25. Por consiguiente, los resultados empíri-cos apoyan la hipótesis planteada de que las referen-cias incluyen varianza de habilidad mental general,que en este estudio se estima en un 6.25%. Estos resul-tados también indican que la correlación observadasubestima de un modo muy elevado la verdadera rela-ción entre las referencias y la habilidad mental general,hasta el punto de que si se hiciera caso a la correlaciónobservada, ambas variables prácticamente no tendríanrelación. Igualmente, los resultados indican que lavariabilidad observada se debe totalmente a erroresartifactuales y que la variabilidad real es inexistente.

Correlación de las Referencias y la Experiencia enel Trabajo

Un segundo objetivo de este meta-análisis era ponera prueba la hipótesis sobre la relación entre las referen-cias y la experiencia laboral (hipótesis 2) y, por tanto,que las medidas de referencias incluyen varianza de



MARIO LAdO 125

Tabla 1. Meta-análisis de la relación entre las referencias y la habilidadmental general

Concepto Tamaño

Número de Correlaciones: 9Tamaño Total de la Muestra: 3205Correlación observada (r): 0.06Correlación corregida por Error de Medida en X e Y (rc): 0.08Correlación verdadera corregida por doble truncamiento (ρ): 0.25Varianza explicada de la variabilidad observada: 100Sd de la correlación verdadera 0.00

experiencia laboral. Los resultados del meta-análisis sepresentan en la Tabla 2. Como en el caso del meta-aná-lisis presentado en la sección anterior, el valor de inte-rés es la correlación verdadera entre las referencias y laexperiencia, y el mejor estimador de la correlación ver-dadera es la correlación observada corregida por errorde medida en X e Y y por truncamiento en X e Y (ρ).

En la Tabla 2 puede comprobarse que la relaciónverdadera entre las referencias y la experiencia es de.17, una correlación que, aunque modesta, apoya lahipótesis planteada más arriba. Los resultados tambiénindican que toda la variabilidad observada en las corre-laciones no corregidas se debía a causas artifactuales yque cuando dichas causas se eliminan, la variabilidadreal es igual a cero. Finalmente, los resultados indicanque casi el 3% de varianza de las referencias es varian-za debida a la experiencia laboral de los candidatos.

Análisis conjunto de las referencias, habilidad men-tal general y la experiencia.

Con los anteriores meta-análisis hemos visto cual esla relación de cada una de las variables, consideradassingularmente y las referencias. Pero para conocer lacantidad de varianza de las referencias explicada por lahabilidad mental general y la experiencia conjunta-mente, lo más adecuado es incluirlas en un análisis deregresión múltiple. Para efectuar tal análisis, ademásde la correlación bivariada entre las referencias y cadauna de las variables singulares, es preciso conocer tam-bién la correlación entre las mismas. A este respecto,diferentes meta-análisis y estudios con muestras gran-des realizados hace pocos años, han proporcionado lainformación necesaria sobre las relaciones entre talesvariables. Moscoso (1999) ofrece una síntesis de talesmeta-análisis y tales estudios y de esa síntesis se han

sacado los datos oportunos para crear la siguientematriz de correlaciones que será sometida a un análisisde regresión múltiple. En la Tabla 3 todas las correla-ciones son correlaciones verdaderas (por tanto corregi-das por error de muestreo y restricción en el rango).

El análisis de regresión múltiple, utilizando las refe-rencias como variable dependiente y la habilidad men-tal general y la experiencia como variables como inde-pendientes, produjo una correlación múltiple igual a.30 y una R2 igual a .09, lo que significa que las ante-riores variables explican conjuntamente el 9.1% de lavarianza de las referencias. Aunque esta cantidad devarianza explicada es relevante, es también verdad quetodavía queda algo más del 90% de la varianza sinexplicar. Cabe especular que en parte dicha varianzapodría ser explicada por tres variables adicionales: (a)conocimientos profesionales, (b) habilidades sociales,(c) dimensiones de personalidad (p. ej., extraversión,conciencia). Lamentablemente, no se han encontradoestudios suficientes en el que se hubiese exploradoestas posibilidades y que hubiesen servido para com-probar cuánta varianza de las referencias se explica enconjunto por todas las variables sugeridas en la litera-tura.

Discusión

El objetivo de este artículo era estudiar la validez deconstructo de las referencias para su posterior aplica-ción en los procesos de selección de personal. En otraspalabras, qué constructos o variables miden las refe-rencias. Con este propósito, se realizaron dos meta-análisis para tratar de averiguar la relación existenteentre la habilidad mental general, la experiencia profe-sional y las referencias. de este modo, por un lado seexaminó la relación entre las referencias y la habilidadmental general y la experiencia laboral, y por otro lado,se examinó la cantidad de varianza de las referenciasque explicaban conjuntamente la habilidad mentalgeneral y la experiencia. En las revisiones previas de laliteratura sobre las referencias, revisiones de carácternarrativo, no se tuvo en cuenta que las referencias per-sonales son un método de recogida de información yno un constructo psicológico y, como tal, pueden estarmidiendo diversos constructos o variables. dicho enotros términos, ninguna de las revisiones de la literatu-ra publicada hasta el momento estudiaron o considera-ron la validez de constructo de la referencias.

La metodología general utilizada ha sido el meta-análisis psicométrico desarrollado por Hunter ySchmidt (2004) y para la aplicación de dichos métodose creó una base de datos que incluyó el mayor núme-ro de estudios primarios del que se tienen noticiashasta el presente. Los resultados de dichos meta-análi-sis indicaron que las referencias están relacionadas conla habilidad mental general (ρ = .25) y con la experien-cia laboral (ρ = .17). A partir de los resultados de los




Tabla 2. Meta-análisis de la relación entre las referencias y la experiencia

Concepto Tamaño

Número de Correlaciones: 6Tamaño Total de la Muestra: 504Correlación observada (r): 0.04Correlación corregida por Error de Medida en X e Y (rc): 0.05Correlación verdadera corregida por doble truncamiento (ρ): 0.17Varianza explicada de la variabilidad observada: 100Sd de la correlación verdadera 0.00

Tabla 3. Matriz de correlaciones entre las referencias y las variablesdependientes

REF HMG EXP

REF 1.00HMG 0.25 1.00EXP 0.16 0.00 1.00

análisis efectuados y de la revisión de la literatura sepueden plantear las siguientes conclusiones: (a) lasreferencias incluyen varianza relacionada con la habi-lidad mental general y experiencia profesional; (b) enconjunto, tales variables permiten explicar cerca del10% de la varianza de las referencias.

Los resultados del presente estudio tienen implica-ciones para la teoría y la práctica de la selección depersonal. desde el punto de vista de la teoría, los resul-tados indican que las referencias laborales son unmétodo de obtención de información que contienevarianza correspondiente a múltiples constructos, entrelos cuales la habilidad mental general y la experienciaexplican una pequeña proporción de la varianza de lasreferencias. La presencia de varianza de tales construc-tos (y otros no identificados en este estudio) en lasreferencias supone que la predicción del desempeño enel trabajo en la que se empleen múltiples instrumentosde medida deberá tener en cuenta la característicamulti-constructo de las referencias. desde el punto devista práctico, la utilización de la referencias en losprocesos de selección de personal, cuando se hayanutilizado previamente tests de habilidad mental generaly medidas de experiencia laboral, supone que su con-tribución a la predicción no será absoluta. En la medi-da en que se empleen más instrumentos que aportenvarianza explicada a las referencias, el valor de las

mismas se reducirá proporcionalmente. Los profesio-nales de la selección de personal deberán tener encuenta este hecho la diseñar los programas de selec-ción.

Este estudio, como todos los estudios empíricos,presenta también algunas limitaciones que deben setenidas en cuenta para un mejor consideración de losresultados. En primer lugar debe tenerse en cuenta queel número de estudios incluidos en los meta-análisis,aunque suficientes, son un número pequeño y seríadeseable que un futuro se realizasen nuevos estudios.Además, algunos de ellos son bastante antiguos ypudiera ser que en la actualidad algunas relacionesencontradas en los mismos hayan variado. Una segun-da limitación es que no se ha podido establecer la rela-ción de las referencias con otras variables psicológicascomo las habilidades sociales, la personalidad o elconocimiento del puesto. En este sentido, son necesa-rios estudios que relacionen las referencias con medi-das de habilidades sociales, personalidad, y otras varia-bles psicológicas.

En resumen, las referencias laborales son un méto-do de de obtención de información sobre los solicitan-tes que, parcialmente, incluye varianza de habilidadmental general y de la experiencia laboral. Nuevosestudios son considerados necesarios para establecer lared nomológica completa de las referencias.

Personal references are one of the procedures morefrequently used in personnel selection. The other twomethods are interviews and curricula. Personal refer-ences consist in collecting information about profes-sional and personal characteristics of an individual.Typically, supervisors and colleagues provide thisinformation. Surveys conducted since the 50’s showedthat the references are one of the methods that organi-zations prefer for recruitment and personnel selection(Beason & Belt, 1976; Bevan & Fryatt, 1988; Clark,1992; Hyde, 1982; Kingston, 1971; Marsden, 1994;Milkovich & Boudreau, 1994; Mosel & Goheen, 1958;National Industrial Conference Board, 1965; Robert-son & Makin, 1986; Ryan et al., 1999; Shackleton &Newell, 1994). Basically, there are two methods of ref-erences: (a) letters of recommendation and (b) refer-ence checks. In the rest of this article, the term refer-ence check will be used for both methods.

Reference checks are not a psychological constructbut also a measurement method (Hunter & Hunter,1984). However, reference checks can include vari-ance corresponding to various psychological con-structs that subsequently allow references predict rele-vant organizational behaviors (e.g., job performance,promotions, training success, tenure and so on). Withregards to what constructs are included within the ref-erence checks, several authors (e.g., Aamodt, 1999;Aamodt et al., 1993; Hunter & Hunter, 1984; Peres &

García, 1962) have suggested that they can be measur-ing three types of concepts: (a) intelligence or generalmental ability (GMA), (b) social skills, (c) job experi-ence and (d) personality. Unfortunately, no systematicresearch was devoted to the examination of the con-struct validity of the reference checks. In this meta-analytic study the relationships of the reference checkswith general mental ability and job experience areexamined.

a) Reference Checks and General Mental Ability

The relationship between reference checks andGMA is relevant for several reasons. Firstly, someauthors have suggested that reference checks includequestions related to candidate intelligence and, there-fore, they can be indirectly measuring GMA.Secondly, several primary studies and meta-analyseshave demonstrated that GMA is the psychologicalvariable with the largest predictive validity for predict-ing job performance and training success (Salgado,1998; Schmidt y Hunter, 1998; Salgado et al., 2003a,2003b) and, due to the fact that GMA is the best pre-dictor of job performance, it is necessary to know if allor a part of the reference check validity is due to GMA.

Several studies have correlated GMA and cognitiveability measures with reference checks (e.g., Handys-



MARIO LAdO 127

Extended Summary

ide & duncan, 1954; Mehrabian, 1965; Murden et al.,1978; Rhea, 1966). In summary, the empirical evi-dence shows a degree of variability, with observed cor-relations ranging from -.01 to .26. Consequently, weposit the following hypothesis:

H1. Reference checks include information on candi-date GMA. Therefore, it is predicted that there will exista positive correlation between these two measures.

b) Reference Checks and Job Experience

Hunter and Hunter (1984) suggested that job expe-rience information is included in reference checks.This suggestion is based on the content of both refer-ence checks and letters of recommendations, whichinclude information on job experience and the lengthof tenure. Only two studies have examined the rela-tionship between job experience and reference checks(Mosel & Goheen, 1958; Salgado et al., 2001b). Basedon the results of these two studies, the followinghypothesis is posited:

H2. Reference checks include information on jobexperience. Therefore, we predict that a positive corre-lation between these two variables will be found.

A psychometric meta-analysis, using the methodsdeveloped by Hunter and Schmidt (2004), was con-ducted in order to test the two hypotheses. A specificcharacteristic of the present study is that a correctionfor double range restriction was applied, using the for-mula developed by Alexander et al. (1987).

Method

Literature Search

The search for literature was conducted using sever-al databases, including, PsycInfo, Web of knowledgeand Google Scholar. The following key words wereused: Reference check, letter of reference, letter of rec-ommendation, references. Moreover, all classic arti-cles and literature reviews were inspected in order tolocate additional studies. The results of these searcheswere 9 studies that included a correlation between areference check measure and a GMA measure and 6studies that reported a correlation between job experi-ence and a measure of reference check.

Procedure

Psychometric meta-analysis with the double correc-tion for range restriction in X and Y was applied.Consequently, five error sources were taken into

account: measurement error in X (references), meas-urement error in Y (GMA or job experience), rangerestriction in X, range restriction in Y, and samplingerror. The first four error sources produce underestima-tion of the true value of the correlation between refer-ence checks and GMA and job experience. For its part,sampling error produces an increase the variability ofthe observed coefficients. The following distributionswere used in the meta-analysis: (1) the reliability ofreference checks was taken from Lado (2001), (rxx =.70; Sd = .07); (2) the reliability of GMA was takenfrom Salgado et al. (2003a; 2003b), ryy = .83; Sd = .09;(3) the distribution of X range restriction was takenfrom Lado (2001), (u = .51; Sd = .14); (4) the distribu-tion of range restriction of GMA was the average of thedistributions used by Hunter y Hunter (1984) andSalgado et al. (2003a; 2003b) (u = .64; Sd = .09); and(5) the distribution of range restriction of job experi-ence was assumed that it is similar to the GMA rangerestriction distribution.

Results

Correlation between References and GeneralMental Ability

The first objective of this meta-analysis is to checkthe hypothesis that the reference checks are correlatedwith GMA; in other words, if variance of GMA isincluded in the reference checks. The results of themeta-analysis are reported in Table 1. As was men-tioned before, the value of interest is the true correla-tion between reference check and GMA (ρ) and thebest estimator of the true correlation is the observedcorrelation corrected for the measurement error in Xand Y and corrected for range restriction in X and Y.The observed correlation (r), the correlation correctedfor measurement error (rc) and the true correlation (ρ)appear in Table 1.

As can be seen, and in agreement with Hipothesis 1,reference check are related to GMA, with a true corre-lation of .25. Therefore, the empirical results supportthe hipothesis that reference check includes variance ofGMA. The results indicate that 6.25% of referencecheck variance is GMA variance. The results also indi-cate that the observed correlation underestimates in alarge extent the true relation between reference checkand GMA. The results also show that the observedvariability is totally explained by artifactual errors andthat there is no real variance.

Correlation of Reference Check and Job Experience

The second objective of this meta-analysis was totest the hypothesis on the relationship between refer-ence check and job experience (Hypothesis 2), and




therefore, that the reference check include job experi-ence variance. The results of the meta-analysis arereported in Table 2. As in the case of the previousmeta-analysis, the figure of interest is the true correla-tion between reference check and job experience, andthe best estimator of the true correlation is theobserved correlation corrected for measurement errorin X and Y and for double truncation in X and Y (ρ).

It can be seen in Table 2 that the true correlationbetween reference check and job experience is .17, amodest size of correlation but which supportsHypothesis 2. The results also show that all observedvariability is due to artifactual errors. When the vari-ance of artifactual errors is taken into account the truevariance equals to 0. Finally, the results also show thatalmost 3% of reference check variance is explained bycandidate job experience.

Joint Analysis of Reference Check, General MentalAbility, and Job Experience

In order to know the total amount of reference checkvariance jointly explained by GMA and job experi-ence, a multiple regression analysis was conducted. Tocarry out such analysis, together with the bivariate cor-relation among reference check and GMA and jobexperience, it is necessary to know the correlationbetween GMA and job experience. To this respect, sev-eral meta-analyses and primary large-sample studiesprovide the information needed on the relationshipbetween GMA and job experience. Moscoso (1999)has summarized those meta-analytic results. The corre-lation matrix of the three variables appears in Table 3(the correlations are corrected for measurement errorand range restriction).

The multiple regression analysis was conductedusing reference check as dependent variable and GMAand job experience as independent variables. Theresults showed a multiple correlation of .30 (R2 = .09).This means that the two variables jointly explain 9.1%of reference check variance. Although this amount ofexplained variance is relevant, it is also true that over90% of variance remains unexplained. It is possible tospeculate that, in part, the rest of variance might beexplained by three additional variables: (a) job knowl-edge, (b) social skills, and (c) personality dimensions(e.g., extraversion, conscientiousness). Unfortunately,there are no enough studies to explore this potentialrelations.

Discussion

The findings of the current study have implicationsfor the theory and the practice of personnel selection.From the theoretical point of view, the findingsshowed that reference checks are a method of collect-

ing information that contains variance related to multi-ple constructs, including, among others, GMA and jobexperience. These two variables explain a smallamount of reference check variance. This fact impliesthat the prediction of job performance using referencecheck together with other procedures must take intoaccount the multi-construct characteristic of the refer-ence checks. From the point of view of the applicationof reference checks to the personal selection processes,it should be taken into account that the contribution ofthe reference check to the prediction of job perform-ance will not be absolute when cognitive tests and jobexperience measures have been previously used.

The current study has some limitations that shouldbe considered in order to have better understanding ofthe results. Firstly, the number of studies was small andit would be desirable that new primary studies wereconducted. A second limitation is that the relationshipbetween reference checks with other variables was notestablished. In this sense, new studies on the relation-ship among reference checks and measures of socialskills, personality, and other psychological variableswould be necessary.

In summary, reference checks are a method forobtaining information on candidates that, partially,include GMA and job experience variance. In the future,new studies should be conducted in order to establishthe full nomological network of reference checks.

Referencias

(*) Estudios primarios que contienen los datos de esta inves-tigación.

Aamodt, M. G. (1999). Applied Industrial / OrganizationalPsychology. Belmont, CA; Wadsworth Publishing Company.

Aamodt, M. G., Bryan, d. A., & Whitcomb, A. J. (1993).Predicting performance with letters of recommendation.Public Personnel Management, 22, 81-90.

Aamodt, M. G., Nagy, M. S., & Thompson, N. (1998).Employment References: who are we talking about?Paper presented at the Annual Meeting of the Inter-national management Association. Assessment Council.June, 22, 1998. Chicago, Il.

Alexander, R. A., Carson, K. P., Alliger, G., & Carr, L.(1987). Correcting doubly truncated correlations: Animproved approximation for correcting the bivariate nor-mal correlation when truncation has occurred on bothvariables. Educational and Psychological Measurement,47, 309-315.

Beason, G., & Belt, J. A. (1976). Verifying applicants´ back-grounds. Personnel Journal, 55, 345-348.

Bevan, S., & Fryatt, J. (1988). Employee selection in the UK.Brighton, UK: Institute of Manpower Studies.

Bingham, W. V. (1926). The three functions of the interviewin employment. Management Review, VX, 36.



MARIO LAdO 129

Block, J. (1995). A contrarian view of the five-factorapproach to personality description. Psychological Bulle-tin, 117, 187-215.

Browning, R. C. (1968).Validity of reference ratings fromprevious employers. Personnel Psychology, 21, 389-393.

Bryan, d. A. (1992). differences in trait interpretationbetween Black and White professional when evaluatingletters of recommendation. Applied Human ResourcesManagement Research, 3, 130-161.

Carroll, S. J., & Nash, A. N. (1970). The evaluation of perform-ance. University of Maryland. Unpublished manuscript.

Carroll, S. J., & Nash, A. N. (1972). Effectiveness of a for-ced-choice reference check. Personnel Administration,March-April, S. 42-46.

Ceci, S. J., & Peters, d. (1984). Letters of reference. A natu-ralistic study of the effects of confidentially. AmericanPsychologist, 39, 29-31.

Clark, T. (1992). Management selection by executiverecruitment consultancies. Journal of Managerial Psy-chology, 7, 3-10.

Cook, M. (1988). Personnel selection and productivity. Lon-don. Wiley.

Cronbach, L. J., & Meehl, P. E. (1955). Construct validity inpsychological tests. Psychological Bulletin, 52, 281-302.

Goldberg, L. R. (1990). An alternative “description of per-sonality”: The Big-Five factor structure. Journal ofPersonality and Social Psychology, 59, 1216-1229.

Goldberg, L. R. (1992). The development of markers for theBig-Five factor structure. Psychological Assessment, 4,26-42.

*Handyside, J. d., & duncan, d. C. (1954). Four years later:a follow-up of an experiment in selecting supervisors.Occupational Psychology, 28, 9-23.

Heneman, H. G., & Heneman, R. (1994). Staffing Organi-zations. Homewood, IL: Austen. Press-Irwin.

Hunter, J. E., & Hunter, R. F. (1984). Validity and utility ofalternative predictors of job performance. PsychologicalBulletin, 96, 72-95.

Hunter, J. E., & Schmidt, F. L. (2004). Methods of meta-analysis: correcting for error and bias in research find-ings (2nd edition). Newbury Park, CA; Sage.

Hyde, B. (1982). First job references: a different ballgame.Personnel Management, 14, 5.

IRS (1991). The state of selection: 1. Current practices andmain results. Industrial Relations Services. Recruitmentand Development Report, 16, 2-9.

John, O. P. (1989). Towards a taxonomy of personalitydescriptors. En d. M. Buss & N. Cantor (Eds.), Persona-lity Psychology: Recent Trends and Emerging Directions(pp. 261-271). New York: Springer-Verlag.

Kingston, N. (1971). Selecting managers. a survey of currentpractice in 200 companies. London, UK: British Instituteof Management.

Knouse, S. B. (1983). The letter of recommendation:Specificity and favorability of information. PersonnelPsychology, 36, 331-341.

Kryger, B. F., & Shikiar, R. (1978). Sexual discrimination inthe use of the letters of recommendation: A case of

reverse discrimination. Journal of Applied Psychology,63, 309-314.

Lado, M. (2001). Validez de constructo y de criterio de lasreferencias personales. Tesis doctoral. Universidad deSantiago de Compostela.

Loher, B. T., Hazer, J. T., Tsai, A., Tilton, K., & James, J.(1997). Letters of reference: A process approach. Journalof Business and Psychology, 11, 339-356.

Marsden, P. V. (1994). Selection methods in U.S. establish-ments. Acta Sociologica, 37, 287-301.

McCrae, R. R., & Costa, P. T., Jr. (1991). Adding Liebe undArbeit: The full five-factor model and well-being.Personality and Social Psychology Bulletin, vol 17, No 2,227-232.

*Mehrabian, A. (1965). Communication length as an index ofcommunication attitude. Psychological Reports, 17, 519-522.

Milkovich, G. T., & Boudreau, J. W. (1994). Dirección yAdministración de Recursos Humanos: Un enfoque de es-trategia. Bogotá, Colombia: Addison-Wesley Iberoame-ricana, Wilmington.

Moscoso, S. (1999). Validez de constructo de la entrevista deselección. Tesis doctoral. Universidad de Santiago deCompostela.

*Mosel, J. N., & Goheen, H. W. (1958). The validity of theemployment recommendation questionnaire in personnelselection: I. Skilled Traders. Personnel Psychology, 11, 4,481-490.

Mosel, J. N., & Goheen, H. W. (1959). The employment rec-ommendation questionaire: III. Validity of different typesof references. Personnel Psychology, 12, 469-477.

*Murden, R., Galloway, G. M., Reid, J. C., & Colwill, J. M.(1978). Academic and personal predictors of clinical suc-cess in medical school. Journal of Medical Education, 53,711-719.

Nash, A. L. (1970). A methodological suggestion for con-structing forced choice scales. Experimental Journal ofthe APA.

*Nash, A. N. y Carroll, S. J., Jr. (1970a). A hard look at thereference check: its modest worth can be improved.Business Horizons, 13, 43-49.

*Nash, A. N., & Carroll, S. J., Jr. (1970b). Improving thevalidity of a forced choice reference check with rater andjob characteristics moderators. Proceedings of the 78thAnnual Convention. American Psychological Associa-tion, pp. 577-578.

National Industrial Conference Board (1965): Personnelpractices in factory and office: Nonmanufactoring.Studies in personnel policy, no. 197. New York: NICB.

Pearson, K. (1908). On the influence of double selection onthe variation and correlation of two characteristics.Biometrika, 8, 437-443.

Peres, S. H., & Garcia, J. R. (1962). Validity and dimensionsof descriptive adjectives used in reference letters for engi-neering applicants. Personnel Psychology, 15, 279-296.

Pyron, H. C. (1970). The use and misuse of previousemployer references in hiring. Management of PersonnelQuarterly, 9, 15-22.

*Rhea, B. d. (1966). Validation of O.C.S. selection instru-




ments. The relationship of OCS selection measures toOCS performance. U.S. Naval Personnel ResearchActivity. Technical Bulletin STB 66-18, San diego,California.

Robertson, I. T., & Makin, P. J. (1986). Management selec-tion in Britain: A survey and a critique. Journal of Occu-pational Psychology, 59, 45-57.

Ryan, A. M., McFarland, L., Baron, H., & Page, R. (1999).An international look at selection practices: nation andculture as explanations for variability in practice. Per-sonnel Psychology, 52, 359 - 391.

Salgado, J. F. (1998). Big five personality dimensions andjob performance in army and civil occupations: AEuropean perspective. Human Performance, 11, 271-288.

Salgado, J. F., Anderson, N., Moscoso, S., Bertua, C., & deFruyt, F. (2003a). International Validity Generalization ofGMA and Cognitive Abilities: A European CommunityMeta-analysis. Personnel Psychology, 56, 573-605.

Salgado, J. F., Anderson, N., Moscoso, S., Bertua, C., deFruyt, F., & Rolland, J. P. (2003b). A Meta-AnalyticStudy of General Mental Ability Validity for differentOccupations in the European Community. Journal of Ap-plied Psychology, Vol 88(6), dec 2003, 1068-1081.

*Salgado, J. F., Lado, M., Alvarez, Y. y Moscoso, S. (2001).Relationship between GMA and experience with person-al references. departamento de Psicología Social yBásica. Universidad de Santiago de Compostela. Manus-crito no publicado.

Schmidt, F. L. (1993). Personnel Psychology at the cuttingedge. In N. Schmitt & W. Borman (Eds.), Personnel Se-

lection in organizations (pp. 497-515). San Francisco,CA: Jossey Bass.

Schmidt, F. L., & Hunter, J. E. (1998). The validity and util-ity of selection methods in personnel psychology:Practical and theoretical implications of 85 years ofresearch findings. Psychological Bulletin, 124, 262-274.

Schmidt, F. L., & Rader, M. (1999). Exploring the boundaryconditions for interview validity: meta-analytic validityfindings for a new interview type. Personnel Psychology,52(2), 445-464.

Schmitt, N. W., & Klimoski, R. J. (1991). Research methodsin human resources management. Cincinnati, OH: South–Western Publishing.

Shackleton, V., & Newell, S. (1994). European managementselection methods: A comparison of five countries.International Journal of Selection and Assessment, 2, 91-102.

Shaffer, d. R., & Tomarelli, M. (1981). Bias in the ivorytower: An unintended consequence of the BuckleyAmendment for graduate admissions? Journal of AppliedPsychology, 66, 7-11.

Wells, d. G., y Fruchter, B. (1970). Correcting the correla-tion coefficient for explicit restriction on both variables.Educational and Psychological Measurement, 30, 925-934.

Wiens, A. N., Jackson, R. H., Manaugh, T. S., & Matarazzo,J. d. (1969). Communication length as an index of com-municator attitude: a replication. Journal of Applied Psy-chology, 53, 4, 264-266.



MARIO LAdO 131

Manuscrito Recibido: 10/02/2012Revisión Recibida: 16/03/2012

Aceptado: 20/03/2012

Chequeos de Referencias, Habilidad Mental General y ... · Keywords: references, construct...

Documents

Transcript of Chequeos de Referencias, Habilidad Mental General y ... · Keywords: references, construct...