慢性肾盂肾炎需要与下尿路感染、尿道综合征、肾、泌尿道结核、慢性肾小球肾炎以及非感染性慢性间质性肾炎相鉴别。
如果尿蛋白、β2微球蛋白增高，尿沉渣抗体包裹细菌阳性，白细胞管型以及肾的形态和功能异常，可以支持慢性肾盂肾炎的诊断。而必要时需要行膀胱冲洗灭菌培养，若膀胱冲洗灭菌10分钟后留取的膀胱尿菌数极少，则为膀胱炎。
如菌数与灭菌前相似则为肾盂肾炎。此为慢性肾盂肾炎与下尿路感染的鉴别。而尿道综合征好发于中青年女性，以明显的尿路刺激症状为主要表现，容易反复发作，尿中白细胞偶可轻度增多，常被误认为不典型的慢性肾盂肾炎而长期盲目的应用抗菌药物治疗，需要给予鉴别。最有效的鉴别依据是尿道综合征多次中段尿定量培养，无真性细菌药，并且排除假阴性的可能，排除厌氧菌、结核菌和真菌感染后可以确定为尿道综合征。此外，还需要与肾、泌尿道结核相鉴别。肾、泌尿道结核患者一半以上有肾外结核病史或病灶存在，膀胱刺激症状显著而持久，并常伴有结核中毒症状。尿液检查常有血尿和脓尿，尿沉渣涂片可以发现抗酸杆菌。x线检查可以见到肾区有结核病灶钙化影或者虫蚀样破坏性缺损区可以鉴别。
此外，还需要与慢性肾小球肾炎相鉴别。隐匿性肾小球肾炎临床表现和全身感染的症状与尿路刺激症状不明显的不典型慢性肾盂肾炎相似，容易混淆。当全身水肿，无明显膀胱刺激症，尿蛋白含量较多、以中分子以上蛋白为主，白细胞少，并且肾小球滤过功能受损早于且重于肾小管的功能受损，这个时候会考虑慢性肾小球肾炎的诊断。
而病程中如果尿路刺激症状明显，尿液检查白细胞升高，可有少量的蛋白尿、以小分子为主，中段尿细菌培养阳性，肾小管的功能损害早于且重于肾小球的功能损害，这个时候需要考虑是慢性肾盂肾炎。