일부는 정확하지만 대부분은 그렇지 않으며, 이를 결정하는 것은 형식이 아니다. 2024년에 WAIS-IV를 원격으로 실시한 한 연구에서는 대면 검사와의 상관관계가 .90을 넘는 일치를 보였으며, 이는 브라우저를 통해 검사를 받는 것 자체가 결과를 훼손하지는 않는다는 것을 보여준다. 결과를 훼손하는 것은 그 검사가 어떻게 만들어졌는가이다. 문항이 심리측정학 훈련을 받은 사람에 의해 작성되었는지, 채점이 실제 표본을 기준으로 보정되었는지, 그리고 그 사이트가 당신에게 듣기 좋은 숫자를 건네줄 유인을 가지고 있는지 여부다.
IQ 검사를 실제로 정확하게 만드는 것
세 가지 속성이 이를 좌우하며, 그중 어느 것도 랜딩 페이지에서는 보이지 않는다.
신뢰도는 검사를 다시 받았을 때 비슷한 점수가 나오는지를 의미한다. 신뢰도가 낮은 검사는 잡음을 측정하고 있는 것이다. 타당도는 검사가 측정한다고 주장하는 것을 실제로 측정하는지를 의미한다. 주로 독해 속도를 측정하는 퀴즈는 완벽하게 신뢰할 수 있으면서도 지능검사는 아닐 수 있다. 표준화는 보정 단계다. 점수는 기준 모집단과 비교했을 때만 의미가 있으며, 대표성 있는 표본에 실시된 적이 없는 검사는 당신의 백분위를 정직하게 알려줄 수 없다.
대부분의 무료 온라인 검사는 세 번째 항목에서 실패한다. 그럴듯한 문항 30개를 만드는 것은 쉽다. 하지만 수천 명의 대표성 있는 응시자들에 걸쳐 점수 분포가 어떤 모습인지를 확립하는 데는 비용이 들며, 검사를 무료로 제공하는 사이트에는 그 비용을 지불할 이유가 거의 없다.
점수 인플레이션 문제
그토록 많은 온라인 검사가 120대나 130대의 숫자를 내놓는 데는 상업적인 이유가 있다. 듣기 좋은 점수는 공유된다. 103점은 단체 채팅방에 올라오지 않으며, 추천 트래픽에 의존하는 사이트는 이를 금방 학습한다.
인플레이션은 두 가지 방식으로 일어난다. 검사가 너무 쉬워서 대부분의 응시자가 상한선 근처에 몰리고, 그 집단을 예외적으로 보이게 하려고 척도가 늘어나는 경우다. 또는 채점 곡선이 그저 후해서, 아무런 제약 없이 정답률 70%를 130으로 매핑하는 경우다. 둘 다 검사 내부에서는 감지할 수 없다. 단서는 모집단 수준에 있다. 어떤 검사가 자체적으로 공개한 분포에서 대부분의 사용자가 120을 넘는다면, 그 보정은 잘못된 것이다. 정의상 120을 넘는 사람은 약 9%에 불과하기 때문이다.
유용한 검증 방법은 서로 관련 없는 두 검사를 받아보는 것이다. 진정한 인지 능력은 안정적이므로, 두 결과 사이에 30점의 차이가 있다면 적어도 하나는 잘못 보정된 것이다.
온라인 검사가 잘 측정하지 못하는 것
아무리 신중하게 만들어진 온라인 검사라도 임상적 평가가 포착하는 것들을 놓친다. 문제에 어떻게 접근하는지를 지켜보는 검사자가 없으며, 심리학자는 바로 이 지점에서 전략, 좌절에 대한 인내력, 그리고 낮은 점수가 능력을 반영하는지 불안을 반영하는지를 파악한다. 물리적 블록을 조작해야 하는 시간제한 하위검사는 애초에 브라우저로는 실시할 수 없다.
조건이 통제되지 않는다. 임상적 평가는 훈련된 진행자와 함께 조용한 방에서 이루어진다. 온라인 검사는 당신이 마침 앉아 있던 어디에서든 이루어지며, 옆에서 휴대폰이 반짝이고 있을 수도 있다. 이 편차는 무작위 잡음도 아니다. 더 나쁜 조건에서 검사를 치르는 사람들의 점수를 체계적으로 낮추기 때문이다.
무언가를 찾아봤는지 확인하는 사람은 아무도 없다. 자가 실시 검사는 응시자가 부정행위를 하지 않는다는 것에 전적으로 의존하며, 이는 개인적인 호기심을 충족시키는 데는 문제가 없지만 공식적인 용도로는 자격이 없다.
온라인 검사 점수를 해석하는 방법
그것을 넓은 오차범위를 가진 추정치로 취급하라. 전문적으로 실시되는 IQ 검사조차 대개 플러스마이너스 5점 정도의 신뢰구간을 보고하며, 온라인 검사에는 그보다 더 넓은 신뢰구간이 필요하다.
좋은 결과에서 더 유익한 부분은 영역별 세부 분석이다. 총점 112는 알려주는 것이 거의 없다. 그것이 강한 패턴 인식과 눈에 띄게 약한 언어 추론에서 나왔다는 것을 아는 편이 실제로 행동에 옮길 수 있는 정보이며, 그 프로필의 형태는 대표 수치보다 검사 간에 더 안정적이다.
결과를 신호로서는 진지하게, 사실로서는 가볍게 받아들여라. 검사에서 95가 나왔는데 당신이 지쳐 있었고 기차에서 휴대폰으로 검사를 받았다면, 그 숫자는 당신의 능력을 나타내는 것이 아니다. 합리적인 조건에서 치른 세 개의 개별 검사가 모두 95 근처에 나온다면, 그것은 주목할 가치가 있다.
IQ SpeedRun의 위치
우리 자신의 검사에 대해서는 솔직하게 말할 가치가 있다. 이 검사는 표준화된 검사 배터리가 사용하는 문항 형식, 즉 행렬 추론, 수열, 언어 유추, 공간 회전을 사용하며, 100을 중앙값으로 하고 15점을 표준편차 1로 하는 일반적인 척도로 결과를 보고한다. 각 세션은 30문항 은행에서 무작위 순서로 25문항을 추출하므로, 재응시는 같은 문제지가 아니다.
이 검사는 임상적으로 실시되지 않으며, 감독하에 이루어진 표준화 표본도 없고, 진단, 학교 배치, 또는 고지능 단체 가입에 사용할 수 없다. 우리는 이를 각주가 아니라 모든 검사 페이지에서 명시한다. 이 검사는 당신에게 합리적인 추정치와 강점이 어디에 있는지에 대한 유용한 세부 분석을 제공하도록 만들어졌으며, 정확히 그런 것으로 읽혀야 한다.
사람들이 자주 함께 묻는 질문
온라인 IQ 검사로 멘사에 가입할 수 있는가?
아니다. 멘사는 통제된 조건에서 실시되는, 승인 목록에 있는 감독하 표준화 검사만을 인정한다. 우리 검사를 포함해 어떤 무감독 온라인 검사도 인정되지 않는다. 멘사는 자체적인 감독하 입회 검사도 운영하며, 이것이 일반적인 경로다.
왜 두 온라인 검사에서 점수가 다르게 나왔는가?
대개는 서로 다른 보정(캘리브레이션) 때문이다. 서로 다른 표본에 대해 표준화되었거나, 아예 표준화되지 않은 두 검사는 같은 수행 능력을 척도상의 다른 지점에 위치시킨다. 내용의 차이도 중요하다. 어휘 비중이 높은 검사는 공간 회전 비중이 높은 검사와는 다른 유형의 사람에게 유리하게 작용한다.