依据相关司法解释的规定，如果聚众斗殴的受害人有聚众众人与对方互殴的，构成犯罪的情况下，也会被追究刑事责任。

《办理聚众斗殴案件适用法律若干问题的意见》

一、聚众斗殴罪的认定

(一)聚众斗殴罪是指拉帮结伙，人数一般达三人以上，有聚众斗殴故意的互相殴斗的行为。要严格掌握聚众斗殴行为的定罪标准，防止把一些情节显著轻微危害不大的行为以犯罪论处。

(二)聚众斗殴通常表现为报复他人、争霸一方或其他不正当动机而成帮结伙地斗殴，往往造成严重后果。要与客观方面表现为肆意挑衅、无事生非的寻衅滋事罪区别开来。对于因民事纠纷引发的互相斗殴甚至结伙械斗，规模不大，危害不严重的，不宜以聚众斗殴罪处理，构成其他罪的以其他罪处理。

(三)“聚众”是指为实施斗殴而聚集三人以上的行为。聚众方式既包括有预谋的纠集行为，也包括临时的纠集行为。“三人以上”既包括首要分子、积极参加者，也包括其他一般参加者。

(四)双方均有互殴的故意，斗殴时一方达三人以上，一方不到三人的，对达三人以上的一方可以认定为聚众斗殴，对不到三人的一方，如果有聚众行为的，也可以聚众斗殴罪论处，如果没有聚众行为的，不以聚众斗殴罪论处，构成其他罪的，以其他罪论处。

(五)一方有互殴的故意，并纠集三人以上，实施了针对对方多人或其中不特定一人的殴斗行为，而对方没有互殴故意的，对有互殴故意的一方也可以认定为聚众斗殴。但要注意区分聚众斗殴与共同伤害和共同杀人的界限，对于一方有明显的伤害或杀人故意的，直接以故意伤害或故意杀人处理。

(六)一方有互殴的故意，纠集三人以上对另一方进行殴斗，另一方开始没有互殴的故意，但在事态发展过程中产生斗殴故意并纠集多人以上进行互殴的，对双方均可以认定为聚众斗殴。但要注意区分聚众斗殴与正当防卫的界限。