1944年春，日军为打通平汉铁路，贯通华北华中各战场，于3月间积极修复黄河大铁桥。以敌第12军所属第37、第62、第101师团和战车第3师团为基干，加上4个独立旅团和1个骑兵旅团，共14.8万之众，在冈村宁次指挥下，开始向豫中进攻。敌军的目标是从南北两面进攻，打通平汉路，占领洛阳和平汉路以西广大地区。

河南属第一战区，共有中国驻军40万余人。其中多数属汤恩伯军事集团，是蒋介石的嫡系部队，其余的则是非嫡系部队。汤恩伯军事集团驻防河那数年，统治十分腐败，群众对之十分痛恨。

第一战区对日军的行动有所察知，但对敌人的战略意图并不很清楚，认为日军只是骚扰性的活动，所以既无周密的作战计划，又无必要的应急措施。豫中会战中，除非嫡系部队(刘茂恩、孙蔚如、马法五等部)进行了一些认真地抵抗外，装备优良的汤恩伯军却是一触即溃，望风而逃。

1944年4月17日夜，日军第37师团和混成第7旅团，在开封以西中牟县一带渡过黄河，与守军第15军发生战斗，守军不支溃退。19日，日军占领郑州、新郑、洧川，南攻许昌。在新乡方面，日军第62、第110师团及步兵第9旅团，于19日突破守军第85军阵地，24日占领密县，继续向西南方向进攻。

26日，中国守军组织对密县方面反攻。激战至30日，日军战车第3师团和骑兵第4旅团增援，利用河南大平原的有利地形，驰骋纵横，于5月1日占领许昌，又以主力向郏县、临汝突进，准备向洛阳进攻。临汝是洛阳外围的重镇，驻有一师守军，郏县则没有设防。第一战区长官部命令临汝守军推进到郏县，另从洛阳派兵到临汝。正当中国军队仓促布防时，日军机械化部队蜂拥而至，4日郏县失守，接着攻陷临汝，向宝丰前进。这是嵩山东部的中国军队几乎都被日军的强大步骑炮兵和战车部队所包围。

5月7日，敌第27师团从许昌南下攻占郾城。同日，由信阳出发的敌第11步兵旅团，由南向北攻占了遂平。8日，南北对进之敌会师西平，打通了平汉路，达到了这次战役的主要目标。于是日军继续挥师西进，直通洛阳。17日陷洛宁，18日占陕县，20日卢氏县城和飞机场失守。

这时，另一路日军从山西垣曲出发，于5月9日渡过黄河攻占渑池，从北面拊洛阳之背，完成了对洛阳的三面包围。洛阳为中国的文化古都，日军为保障平汉路安全通车，防止中国军队由潼关向河南反击，急欲夺取洛阳作屏障。中国军队守卫洛阳的是第15军和第14军的94师。

14日，日军开始对洛阳发动攻击，守军英勇抵抗。22日，日军三次突人洛阳城关，均被守军击退，敌人遗尸700余具，战车被毁10余辆。这时，守军第94师已伤亡3000余人，仅剩1700余战斗兵。第15军伤亡亦很惨重。冈村宁次命令12军主力第110师团、第3战车师团和骑兵第4旅团投入战斗，由飞机、战车、重炮配合，于24日下午发动总攻。守军在敌人优势火力压制下，虽弹尽援绝，但依然顽强抵抗。由城东北角突人之敌，距第94师指挥所仅50米，由西北角突人之战车已冲至东街，全城陷于混战之中。当晚10时，守军由洛阳东南涉河突围。洛阳于25日全部为日军占领，豫中会战结束。

这次会战共进行了30多天，中国军队丧师20万，失城38座，河南全省沦陷。河南人民对此深恶痛绝，省参政员郭仲院专程去重庆向当局请愿，控诉汤恩伯集团在作战中，官比兵跑得快，兵比日本人跑得快，“跑来跑去官找不到兵，兵找不到官，副司令长官也找不到他的将军”的恶劣行径。很多有识之士认为：会战失败是由于“将失军心，军失民心”的结果。