Revista Electrónica de Investigación Educativa

Vol. 20, Núm. 4, 2018

Propiedades psicométricas de una escala para medir
cibervictimización en universitarios

Ángel Alberto Valdés Cuervo (1) angel.valdes@itson.edu.mx
Ernesto Alonso Carlos Martínez (2) profesorinvestigador@gmail.com
Gisela Margarita Torres Acuña (1) gisela.torres@itson.edu.mx

(1) Instituto Tecnológico de Sonora
(2) Instituto Tecnológico Superior de Cajeme

(Recibido: 23 de febrero de 2017; aceptado para publicación: 31 de mayo de 2017)

Resumen

Se analizaron las propiedades psicométricas de la escala para medir Cibervictimización en estudiantes de Educación Superior. Participaron 686 estudiantes, 380 hombres (M=19.92, DE=1.83 años) y 306 mujeres (M=18.5, DE=1.72 años) de seis instituciones de educación superior de un Estado del noroeste de México. Se encontró que el modelo bidimensional que mide denigración y usurpación de identidad presenta mejores índices de ajuste. El cuestionario mostró invariancia factorial para ambos sexos (configuracional y métrica parcial), evidencias de validez concurrente, ya que sus puntajes se relacionan con los de victimización tradicional, y adecuada fiabilidad. Se concluyó que la escala posee propiedades psicométricas que permiten su utilización en la medición de la cibervictimización en estudiantes de educación superior.

Palabras clave: Ciberacoso, validez, fiabilidad, educación superior.

I. Introducción

Las Tecnologías de la Información y Comunicación (TIC) permiten a los jóvenes ampliar sus redes sociales y comunicarse de forma rápida con sus pares (Cabero y Marín, 2014); sin embargo, estas herramientas pueden utilizarse de forma inadecuada para insultar y dañar a otros (Willard, 2007). En el ámbito escolar la cibervictimización se presenta cuando uno o varios estudiantes son agredidos de forma intencional y repetitiva por otros estudiantes haciendo uso de las TIC (Gámez-Guadix, Borrajo y Almendros, 2016). En las cibervíctimas se reporta depresión, ansiedad, síntomas de estrés y problemas de socialización (Şahin, Aydin y Sari, 2012) que afectan su desarrollo emocional y académico.

La cibervictimización posee características distintas a la victimización tradicional, tales como: la posibilidad del anonimato del agresor, su manifestación en cualquier lugar y momento del día y la posibilidad de alcanzar un gran número de espectadores (Slonje y Smith, 2008). En la educación superior, centro de interés de este estudio, a nivel internacional se reporta un rango de estudiantes cibervictimizados que oscila entre un 17 y 56% (Selkie, Kota, Chan y Moreno, 2015; Slovak, Crabbs y Stryffeler, 2015). En México, los estudios refieren que entre el 20 y 50% de estudiantes de educación superior participan como agresores o víctimas en situaciones de ciberacoso (Prieto, Carrillo y Lucio, 2015; Puc y Rodríguez, 2015).

Ante la frecuencia y gravedad de las consecuencias asociadas a la cibervictimización, el desarrollo de instrumentos para medir este constructo ha aumentado en los últimos años (Baldry, Farrington y Sorrentino, 2016). Sin embargo, persisten controversias relativas a la medición de la cibervictimización con respecto a la inclusión en su evaluación de aspectos tales como intencionalidad, sistematicidad y/o diferencias de poder (Palladino, Nocentini y Menesini, 2015); relativas a la conveniencia de enfocar la medición en el medio (mensajes de texto, imágenes, llamadas telefónicas) (Buelga, Cava y Musitu, 2012) o en el tipo violencia recibida (provocación incendiaria, hostigamiento, denigración, robo de identidad, invasión a la privacidad, exclusión y acoso) (Ortega-Ruíz, Del Rey y Casas, 2016; Willard, 2007); y por último, con respecto a la conveniencia de utilizar modelos unidimensionales o multidimensionales en su medición (Álvarez-García, Barreiro y García, 2017; Ortega-Ruíz et al., 2016).

Además de las controversias antes señaladas se identifican limitaciones en la medición de la cibervictimización: 1) un número importante de los instrumentos publicados no reporta evidencias de validez, 2) existen pocos estudios que indaguen en la invariancia de las medidas del constructo para ambos sexos, y 3) son escasos los instrumentos para medir este problema en jóvenes estudiantes de educación superior (Berne et al., 2013), lo cual es necesario dado que este grupo posee características cognitivas y psicosociales particulares. En México estas limitaciones son aún más evidentes, ya que sólo se identificaron cuatro estudios donde se reportan instrumentos para medir el ciberacoso en estudiantes de educación superior (López, 2016; Prieto et al., 2015; Puc y Rodríguez, 2015), de los cuales sólo uno, que aborda el tipo de medios utilizados para la cibervictimización, reporta evidencias de validez de la escala (López, 2016). En ninguno de los estudios se aprecia un análisis de la invariancia factorial de la medida asociada al género del estudiante, esto a pesar de que algunos resultados sugieren que la cibervictimización se presenta de forma diferente en hombres y mujeres (Festl y Quandt, 2016).

Ante ese contexto el presente estudio se propone desarrollar una escala breve de medición de la cibervictimización en estudiantes mexicanos con base en el modelo de Willard (2007). A partir de las respuestas de los estudiantes en grupos focales se identificaron como tipos de cibervictimización relevantes: la denigración (que involucra el envío de mensajes crueles o falsos sobre una persona) y la usurpación de identidad (que implica hacerse pasar por otra persona para enviar mensajes e imágenes nocivas). Para contrastar las perspectivas teóricas en la medición de la cibervictimización se elabora un modelo unidimensional donde los ítems se agrupan en un único factor sin diferenciar formas distintas de expresión de este constructo; y otro bidimensional en el que los indicadores, aunque correlacionados, miden los tipos de cibervictimización antes mencionados (denigración y usurpación de la Identidad).

Para alcanzar el objetivo del estudio primero se comparó el ajuste de dos modelos (unidimensional y bidimensional) de medición de la cibervictimización en esta población (ver figura 1). En segundo lugar, se indagó la invariancia factorial de la escala en ambos sexos con el fin de establecer si el instrumento mide de forma similar el constructo en hombres y mujeres. En tercer lugar, se analizó la validez concurrente de los puntajes de la escala mediante su relación con la victimización tradicional, dado que la literatura refiere que existe relación entre ambos tipos de violencia (Baldry, Farrington y Sorrentino, 2016). Por último, se indagó la fiabilidad de los puntajes. Se espera obtener mejores índices de ajuste en el modelo bidimensional, invariancia en la medición del constructo en ambos sexos, evidencias de validez concurrente y fiabilidad de la escala.

Poseer instrumentos con propiedades psicométricas adecuadas y breves en lo relativo al número de ítems favorece la medición de la cibervictimización, lo cual es de especial importancia para precisar los alcances de este problema en estudiantes mexicanos de educación superior, y realizar estudios comparativos sobre el tema en el país (ver figura 1).

Figura 1. Modelos teóricos para medir cibervictimización en estudiantes de educación superior

II. Método

2.1 Muestra

De una población de 25,000 estudiantes adscritos a seis Instituciones de Educación Superior públicas (IES) del estado de Sonora en el semestre enero-junio de 2016, se seleccionó mediante un muestreo probabilístico simple con reemplazo a 686 (p=.50, q=.5). De estos, 380 (55.39%) son hombres (M=19.92, DE=1.83 años) y 306 (44.61%) mujeres (M=1.85, DE=1.72 años). En el momento del estudio 169 (24.64%) cursaban el segundo semestre, 220 (32.07%) cuarto semestre y 297 (43.29%) sexto semestre de las carreras de Ingeniería, Ciencias Sociales y Administrativas, y Educación.

2.2 Instrumentos

Escala de Cibervictimización en Educación Superior (ECVES). Incluye ocho ítems que miden diversas formas de cibervictimización. En las instrucciones se pidió a los estudiantes que identificaran la frecuencia con que fueron objeto de situaciones que dañan su identidad y/o sus relaciones sociales a través de medios tecnológicos durante los últimos dos meses. El cuestionario se responde en formato tipo Likert con cinco opciones de respuesta: 0 (nunca), 1 (casi nunca), 2 (algunas veces), 3 (casi siempre) y 4 (siempre). 

Para el desarrollo del instrumento se realizaron 6 grupos focales con 12 estudiantes de IES involucradas en el estudio. Se inició con una definición de cibervictimización y se solicitó a los participantes que discutieran acerca de las formas de manifestación de este problema. A partir del análisis de la información obtenida en los grupos focales se elaboró una primera versión del instrumento, integrada por 10 indicadores que reflejan los tipos de ciberviolencia referidos con mayor frecuencia por los estudiantes.

Posteriormente, se analizó la evidencia de validez de contenido del instrumento mediante el juicio de 10 expertos con publicaciones sobre el tema, experiencia en psicometría y disposición para participar en el estudio (De Vellis, 2012). A los expertos se les solicitó que agruparan los ítems atendiendo  la clasificación de las formas de cibervictimización propuestas por Willard (2007) y que valoraran la pertinencia de estos indicadores para la medición del constructo. A partir de esta evaluación se incluyeron en la escala 8 ítems con un índice Kappa de concordancia respecto a su pertinencia que osciló entre .75 y .85, considerando que refleja la existencia de un acuerdo sustancial entre jueces (Escobar-Pérez y Cuervo-Martínez, 2008).           

Se diseñaron dos modelos de medición de la ECVES, en el primero los 8 ítems se agruparon en una única dimensión denominada cibervictimización. En el segundo modelo, estos ítems se estructuraron en forma bidimensional para medir: denigración (4 ítems), envío de mensajes crueles o falsos sobre una persona (ejemplo: difunden mentiras y rumores maliciosos sobre mi persona), y usurpación de identidad (4 ítems), implica el hacerse pasar por otra persona para enviar mensajes e imágenes nocivas (ejemplo: publican burlas de otras personas haciéndose pasar por mí).

Victimización tradicional. Esta escala se utilizó para el análisis de la validez concurrente de la ECVES. Se manejó la subescala que mide victimización tradicional del instrumento EBIP-Q validado por Ortega-Ruíz et al. (2016); incluye 7 ítems que se responden con un formato tipo Likert que va de 0 (nunca) hasta 4 (siempre) e indaga la frecuencia de victimización durante los dos meses previos.

Se decidió no incluir en el análisis factorial confirmatorio del EBIP-Q 3 ítems de la escala original, ya que su valor de curtosis fue muy elevado (ejemplo: Alguien me ha golpeado, pateado o empujado). Con los 4 ítems que se manttuvieron se obtuvo un modelo con índices de ajuste aceptables (x²=8.20, gl=2, p=.02; SRMR=.01; AGFI=.95; CFI=.99; RMSEA=.05 IC 90 [.03 -.08]). La varianza media extractada (VME) de 68.4% y el valor del coeficiente Omega de McDonald (Ω) de 85, indican una fiabilidad aceptable de la medida (Furr y Bacharach, 2014; Zumbo, Gaderman y Zeissen, 2007).

2.3 Procedimiento

En un primer momento se informó a las autoridades de las IES el propósito de la investigación solicitando autorización para acceder a las instituciones. Para la administración de los instrumentos se presentó a los estudiantes el objetivo del estudio y se pidió su participación voluntaria garantizando la confidencialidad de la información. La escala se administró en formato de lápiz y papel por un grupo de investigadores entrenados para proporcionar ayuda a los estudiantes. Los cuestionarios fueron contestados en los salones de clases durante el horario regular en un tiempo aproximado de 25 minutos.

2.4 Análisis de los datos

Los datos perdidos se trataron con el método de imputación por regresión. En un primer momento se realizaron análisis descriptivos de los ítems para verificar la distribución de sus puntajes. Posteriormente se analizó la estructura interna de los modelos de medida de la cibervictimización mediante el cálculo de un modelo factorial confirmatorio mediante ecuaciones estructurales con apoyo del AMOS 23. Se manejó el método bootstrap del AMOS (con 2,000 repeticiones con un intervalo de confianza del 90%), lo cual favorece que los resultados de las estimaciones no se afecten por problemas de normalidad (Brown, 2015; Kline, 2016).

Para el análisis de la bondad de ajuste del modelo se utilizó el método de estimación de máxima verosimilitud (ML). Se consideraron índices de ajuste aceptables del modelo de medición valores de x² con p asociada mayor a .000; TLI iguales o superiores a .90 e idealmente a .95; RMSEA y SRMR con valores iguales o inferiores a .08, y de preferencia a .05 (Brown, 2015; Kline, 2016).

Para comparar el ajuste de ambos modelos (una y dos dimensiones) se utilizaron los índices de ajuste teóricos: AIC (Criterio de Información de Akaike) y el BIC (Criterio de Información de Bayes), en ambos se considera que valores menores indican mejor ajuste del modelo (Kline, 2016). La fiabilidad se estableció mediante el análisis de la varianza media extractada (VME), y el coeficiente Ω, este último debido a la naturaleza ordinal de la escala. En lo relativo a la VME valores ≥ 50% se consideran aceptables, mientras que en coeficiente Ω se esperan valores ≥ .70 (Furr y Bacharach, 2014; Zumbo et al., 2007).

Con el fin de evaluar la invariancia factorial del modelo bidimensional en ambos géneros se estimaron tres modelos anidados, los cuales fueron progresivamente comparados entre sí: a) un primer modelo (M1), donde no se impusieron restricciones (invariancia configuracional); b) un segundo modelo (M2), que estableció como restricciones la igualdad entre los coeficientes de regresión (invariancia métrica); y c) un tercer modelo (M3), que impuso igualdades entre las cargas factoriales y los interceptos (invariancia escalar). Estos modelos se evaluaron respecto a su anidamiento al modelo base, mediante el análisis de las diferencias en los valores de Chi-cuadrado (∆x²) y CFI (∆CFI). Se asume que (∆x²) con una p asociada no significativa y un valor de ∆CFI menor a .001 son indicadores de invariancia en la medición (Brown, 2015; Kline, 2016).

Por último, para verificar la validez concurrente de la escala se realizó una prueba de regresión lineal para analizar la relación entre los reportes de cibervictimización (denigración y usurpación de identidad) con la victimización tradicional en los estudiantes.

III. Resultados

3.1 Análisis descriptivos

En el análisis descriptivo se identifica que los puntajes de los ítems no se distribuyen normalmente, como es de esperarse dada la naturaleza del fenómeno (ver tabla I). Esto conduce a que se utilice en el cálculo del modelo factorial confirmatorio el método bootstrap del AMOS, que permite que los resultados no se afecten por problemas de normalidad. 

Tabla I. Media, desviación estándar, asimetría y curtosis de los ítems de la ECVES

3.2 Análisis Factorial Confirmatorio

Se aprecia que los pesos factoriales de los ítems resultaron significativos en ambos modelos. En el modelo bidimensional el valor de la covarianza entre los factores sugiere que, aunque relacionados, estos miden tipos distintos de cibervictimización (ver figura 2). 

Figura 2. Coeficientes estandarizados de los modelos propuestos para medir cibervictimización en estudiantes de educación superior

La diferencia en los valores de Chi-cuadrada entre ambos modelos (∆x²(2)=43.4, p< .000) resulta estadísticamente significativa, lo cual comprueba que se trata de modelos distintos de medición de la cibervictimización. El análisis de los índices de ajuste sugiere que el modelo de medición de dos factores presenta mejor sustentabilidad empírica que el unidimensional (Brown, 2015; Kline, 2016) (ver tabla II). En el modelo bidimensional todos los índices de ajuste son satisfactorios mientras que en el unidimensional el valor de probabilidad asociado a la Chi-cuadrada y el RMSEA resultan no aceptables. Además, el valor de los índices de ajuste teórico AIC y BIC es menor en el modelo bidimensional con respecto al unidimensional, lo que sugiere un mejor ajuste del primero (Brown, 2015; Kline, 2016).

Tabla II. Índices de ajuste de los modelos para medir cibervictimización

3.3 Fiabilidad del modelo bidimensional del ECVES

Los valores del coeficiente Ω de McDonald se encuentran en todos los casos por encima de .70, lo que sugiere una buena fiabilidad de los puntajes de la escala. Por su parte, las varianzas medias extractadas (VME) fueron superiores al 50%, lo que resulta aceptable para una escala de este tipo (tabla III).

Tabla III. Fiabilidad y varianza explicada por factor y global de la ECVES

3.4 Invariancia factorial del modelo bidimensional del ECVES

Para el análisis de la invariancia en la medición de cibervictimización en ambos géneros se estiman dos modelos anidados que se comparan entre sí: a) M₁, sin restricciones (invariancia configuracional); y b) M₂, con restricciones en lo relativo a la igualdad de los pesos factoriales (invariancia métrica). El valor de Chi-cuadrada (x²=26.97, p=.042), y de los índices de ajuste (CFI=.98; AGFI=.98; RMSEA=.04, IC 90 [.02-.07]) permiten aceptar la hipótesis de invariancia configuracional (M₁). Con respecto a la invariancia métrica (modelo M₂) la probabilidad asociada a la diferencia entre los modelos M₁ y M₂ (Δx²_M2-M1=47.90, gl=4, p<.000) sugiere que son diferentes las cargas factoriales entre hombres y mujeres, lo cual es confirmado por la diferencia entre ambos modelos del CFI (Δ CFI_M1-M2 = .042), cuyo valor excede el límite de .01.

Con el propósito de indagar acerca de las fuentes del incumplimiento de las invariancias débil y fuerte, y dado que el problema se remite a las cargas factoriales, se realizó un análisis de los ítems donde se muestra que el reactivo ‘publican burlas de otras personas haciéndose pasar por mí (U7)’ es el que mayor curtosis y asimetría presenta. Por ello se decidió evaluar la invariancia débil eliminando las restricciones de este ítem, lo cual genera el modelo M_2a. Al relajar las restricciones a este ítem, los valores satisfactorios correspondientes a los índices de evaluación anidada (Δx²_M2a-M1 = 2.87, gl = 3, p =.160; Δ CFI_M1-M2a = .00) sugieren el cumplimiento de la invariancia débil y, por ende, la aceptación de la hipótesis de igualdad de cargas factoriales entre hombres y mujeres (ver tabla IV). De estos resultados se infiere que la escala bidimensional en la medición de la cibervictimización presenta una estructura factorial que se ajusta a las invariancias factoriales configuracional y métrica, excepto en el reactivo U7 (invariancia métrica parcial). 

Tabla IV. Índices de bondad de ajuste de los modelos de invariancia

3.5 Validez concurrente

Para establecer evidencia de validez concurrente de los puntajes de la ECVES se realizó un análisis de su relación con los reportes de victimización tradicional mediante una regresión lineal con el método de pasos sucesivos. En primer lugar, se analizaron los coeficientes de correlación entre las variables apreciándose que todos son significativos y que presentan el sentido esperado teóricamente (tabla V).

Tabla V. Correlaciones entre denigración, usurpación de identidad y victimización tradicional

Los resultados del análisis de regresión lineal múltiple sugieren que la cibervictimización predice una parte significativa la varianza de la victimización tradicional (F= 320.68, p < .000). Ambas formas de cibervictimización explican el 69% de la variancia de victimización. El análisis de los coeficientes de regresión muestra que la cibervictimización se relaciona de forma positiva con la victimización (ver tabla VI).

Tabla VI. Resumen del análisis de regresión de la cibervictimización que predice la victimización tradicional

IV. Discusión

La ECVES fue diseñada para obtener información sobre la frecuencia con que los estudiantes de educación superior son victimizados por sus pares a través de las TIC. El objetivo del estudio fue analizar la validez (constructo y concurrente) y la fiabilidad de esta escala en una muestra de estudiantes de educación superior del estado de Sonora (México).

La hipótesis inicial se confirma en el sentido de que la ECVES ofrece adecuadas propiedades psicométricas (validez y fiabilidad) para el propósito que fue diseñada. La hipótesis que sostiene que un modelo bidimensional representa la mejor estructura para la medición del constructo se confirma. Esto reafirma la propuesta de Willard (2007) de que la denigración y usurpación de identidad constituyen tipos de cibervictimización relevantes. Este resultado sugiere que la cibervictimización se presenta de diversas formas y que, aunque diferentes, se relacionan entre sí. Los hallazgos apoyan la perspectiva multifactorial en la medición de la cibervictimización, en concordancia con otras escalas desarrollados para este fin (Álvarez-García et al., 2017; Buelga et al., 2012; López, 2016; Sumter, Valkenburg, Baumgartner, Peter y Van der Hof,  2015).

La ECVES se ve fortalecida psicométricamente al mostrar invariancia configuracional y métrica parcial en la medición del constructo en ambos sexos. Esto resulta particularmente valioso en el estudio de la cibervictimización, ya que son escasas las escala diseñadas para este fin que reporten este tipo de invariancia de medición (López, 2016; Sumter et al., 2015). La escala presenta, además, evidencias de validez concurrente, dado que los resultados son congruentes con la hipótesis de la relación de sus puntajes con los de victimización tradicional, lo cual es un hallazgo ampliamente documentada en la literatura (Beran y Li, 2007; Valdés, Carlos, Tanori y Wendlandt, 2014).

El presente estudio representa una contribución al estudio de la cibervictimización en jóvenes universitarios en México. La ECVES es de las escasas escalas validadas para medir el constructo en universitarios en México, y además la única que se enfoca en la medición de tipos de cibervictimización que reporta datos de validez robustos. Desde el punto de vista metodológico la ECVES se realiza con una muestra amplia de estudiantes universitarios e involucra la comparación del ajuste de dos modelos (unidimensional y bidimensional) de medición de la cibervictimización, así como un análisis de la invariancia de medición en ambos géneros del modelo.

El estudio tiene implicaciones prácticas y teóricas. Desde el punto de vista práctico aporta un instrumento con las propiedades psicométricas adecuadas para la medición de la cibervictimización en estudiantes universitarios mexicanos. Desde el punto de vista teórico contribuye a la delimitación del constructo mediante la identificación de tipos e indicadores observables de cibervictimización. Los resultados además soportan la hipótesis de la naturaleza multifactorial de la medición de la cibervictimización y la importancia del modelo propuesto por Willard (2007). Con respecto a su valor práctico, la escala facilita a los profesionales identificar a víctimas de ciberacoso, analizar la prevalencia de la problemática y diseñar estrategias dirigidas a prevenir las diversas manifestaciones de la problemática. Para realizar comparaciones por género en la prevalencia del problema se sugiere no incluir el reactivo con funcionamiento diferencial.

Si bien este estudio constituye una contribución al estudio de la cibervictimización en estudiantes universitarios en México, se identifican también algunas limitaciones: primero, que por ser la ECVES una escala de autorreporte, es necesario incluir en próximos estudios análisis de deseabilidad social de la misma (Navarro-González, Lorenzo-Seva y Vigil-Colet, 2016); en segundo lugar, la muestra fue tomada de una zona geográfica específica, lo que implica que la generalización de los hallazgos a otras regiones debe hacerse con cautela (Furr y Bacharach, 2014), esto hace necesario realizar análisis de la escala con muestras de estudiantes de otras regiones del país; en tercer lugar, no se evalúan otros tipos de cibervictimización propuestos por Willard (2007), tales como el acoso y la invasión de la privacidad. Esto implica que es conveniente ampliar la escala y evaluar otras formas de cibervictimización. Por último, es necesario considerar el desarrollo de escalas para medir ciberagresiones en universitarios.

Referencias

Álvarez-García, D., Barreiro, A. y García, T. (2017). Validation of the Cybervictimization Questionnaire (CYVIC) for adolescent. Computers in Human Behavior, 70, 270-281. doi:10.1016/j.chb.2017.01.007

Baldry, D., Farrington, D. y Sorrentino, A. (2016). Cyberbullying in youth: a pattern of disruptive behavior. Psicología Educativa, 22(1), 19-26. doi:10.1016/j.pse.2016.02.001

Beran, T. y Li, Q. (2007). The relationships between cyberbullying and school bullying. Journal of Student Wellbeing, 1(2), 15-33.

Berne, S., Frisén, A., Schultze-Krumbholz, A., Scheithauer, H., Naruskov, K., Luik, P., Katzer, C. (2013). Cyberbullying assessment instruments: A systematic review. Aggression and Violent Behavior, 18(2), 320-334. doi:10.1016/j.avb.2012.11.022

Brown, T. (2015). Confirmatory factor analysis for applied research. Nueva York: The Guilford Press.

Buelga, S., Cava, M. y Musitu, G. (2012). Validación de la escala de victimización entre adolescentes a través del teléfono móvil y de Internet. Revista Panamericana de Salud Pública, 32(1), 36-42.

Cabero, J. y Marín, V. (2014). Educational possibilities of social network and group work. University students’ perceptions. Comunicar, 21(42), 165-172. doi:10.3916/C42-2014-16

De Vellis, R. (2012). Scale development. Theory and applications. Nueva York: Sage.

Escobar-Pérez, J. y Cuervo-Martínez, A. (2008). Validez de contenido y juicio de expertos: Una aproximación a su utilización. Avances en Medición, 6, 27-36.

Festl, R. y Quandt, T. (2016). The role of online communication in long-term cyberbullying involvement among girls and boys. Journal of Youth and Adolescence, 45(9), 1931-1945. doi:10.1007/s10964-016-0552-9

Furr, M. y Bacharach, V. (2014). Psychometrics. An introduction (2a. ed.). Nueva York: Sage.

Gámez-Guadix, M., Borrajo, E. y Almendros, C. (2016). Risky online behaviors adolescents: Longitudinal relations among problematic Internet use, cyberbullying perpetration, and meeting strangers online. Journal of Behavioral Addictions, 5(1), 100-107. doi:10.1556/2006.5.2016.013

Kline, R. (2016). Principles and practice of structural equation modeling (4a. ed.). Nueva York: The Guilford Press.

López, M. (2016). Propiedades psicométricas de un instrumento de acoso cibernético en estudiantes universitarios mexicanos. Actualidades Investigativas en Educación, 16(1), 1-19. doi:10.15517/aie.v16i1.21716

Navarro-González, D., Lorenzo-Seva, U. y Vigil-Colet, A. (2016). How response bias affects the factorial structure of personality self-reports. Psicothema, 29(4), 465-470. doi:10.7334/psicothema2016.113

Ortega-Ruíz, R., Del Rey, R. y Casas, J.  (2016). Evaluar el bullying y el cyberbullying validación española del EBPI-Q y del ECIP-Q. Psicología Educativa, 22(1), 71-79. doi:10.1016/j.pse.2016.01.004

Palladino, B., Nocentini, A. y Menesini, E. (2015). Psychometric properties of the Florence Cybervictimization Scales. Cyberpsychology Behaviors, and Social Networking, 18(2), 112-119. doi:10.1089/cyber.2014.0366

Prieto, M., Carrillo, J. y Lucio, L. (2015). Violencia virtual y acoso escolar entre estudiantes universitarios: el lado oscuro de las redes sociales. Innovación Educativa, 15(68), 33-47. Recuperado de http://www.innovacion.ipn.mx/Revistas/Paginas/Innovacion-Educativa-68.aspx

Puc, E. y Rodríguez, A. (2015). Cyberbullying: Una exploración descriptiva en estudiantes universitarios. Lenguas en contexto (edición especial), 38-46. Recuperado de http://www.facultaddelenguas.com/lencontexto/?seccion=revista&idrevista=20

Şahin, M., Aydin, B. y Sari, S. (2012). Cyber bullying, cyber victimization and psychological symptoms: a study in adolescents. Faculty of Education Journal, 41(1), 53-59.

Selkie, E., Kota, R., Chan, Y. y Moreno, M. (2015). Cyberbullying, depression, and problem alcohol use in female college students: a multisite study. Cyberpsychology, Behavior, and Social Networking, 18(2), 79-86. doi:10.1089/cyber.2014.0371

Slonje, R. y Smith, P. (2008). Cyberbullying: Another main type of bullying? Scandinavian Journal of Psychology, 49(2), 147-154. doi:10.1111/j.1467-9450.2007.00611.x

Slovak, K., Crabbs, H. y Stryffeler, B. (2015). Perceptions and experiences of cyberbullying at a faith-based university. Social Work & Christianity, 42(2), 149-164.

Sumter, S., Valkenburg, P., Baumgartner, S., Peter, J. y Van der Hof, S. (2015). Development and validation of the Multidimensional Offline and Online Peer Victimization Scale. Computers in Human Behavior, 46, 114-122. doi:10.1016/ j.chb.2014.12.042

Valdés, A., Carlos, E., Tanori, J. y Wendlandt, T. (2014). Differences in types and technological means by which mexican high schools students perform cyberbullying: it’s relationship with traditional bullying. Journal of Educational and Developmental Psychology, 4(1), 105-113. doi:10.5539/jedp.v4n1p105

Willard, N. (2007). Cyberbullying and cyberthreats. Responding to the challenge of online social aggression, threats, and distress. Champaign, IL: Research Press.

Zumbo, B., Gaderman, A. y Zeissen, C. (2007). Ordinal version of coefficients Alpha and Theta for Likert rating scales. Journal of Modern Applied Statistical Methods, 6(1), 21-29. doi:10.22237/jmasm/1177992180