智力障碍是脑神经的问题，确切的说是大脑皮层部分区域的神经细胞的问题。
因为医学上的脑神经是特指面神经、眼神经、三叉神经等十二对脑神经。这些脑神经和智力、智商没有关系的。智力、高级认知能力，都是大脑皮层和海马的功能，只有高级智力功能区的大脑皮层的神经细胞，出现坏死、变性等问题才会出现智力障碍，这部分脑神经的病变可以分为原发性和继发性。
原发性疾病是指脑神经细胞本身的病变，比如老年性痴呆、路易体痴呆、额颞叶痴呆。继发性疾病是指其它病变引起了大脑细胞的损害，比如脑肿瘤压迫正常大脑组织导致其坏死、病毒性脑炎时病毒破坏了正常脑细胞。