以下人群应该避免或减少食用小米南瓜粥：
1. 大量食用会影响胃肠消化功能的人，如腹泻、胃肠炎等消化系统疾病患者。
2. 对粘稠食物过敏的人，如出现喉咙异物感、呕吐、咳嗽等不适症状。
3. 节食或减肥的人，因为小米南瓜粥的卡路里比较高，持续食用可能会增加体重。
4. 有糖尿病史或高血糖的人，因为小米南瓜粥含有淀粉和糖分，容易导致血糖升高。
5. 有饮食禁忌的人，如佛教徒、穆斯林等。
如果有以上情况，应该在医生或营养师的指导下进行食用。
