1938年5月19日，侵华日军攻陷徐州，并沿陇海线西犯，郑州危急，武汉震动。6月1日，日军兵分两路，一路从归德等地西犯，占领了睢县，迫近兰封、杞县，一路向太康进犯，以解被困在三义砦、曲兴集、罗王砦土肥原部之围，进而攻击开封、兰封等地。蒋介石怕主力被消灭，令薛岳将部队撤往京汉铁路以西山地，前敌总司令部迁往洛阳。
1938年6月3日，日军拿下兰封后，直逼开封城下，陇海线、平汉线风雨飘摇，郑州城岌岌可危。如果郑州失守，那么日军下一步就会向武汉一带进军，武汉从古至今都是兵家必争之地，蒋介石明白这个道理。
在日军猛攻开封，郑州告急的情况下，万般无奈的蒋介石终于在第一战区司令长官程潜请求掘堤黄河，“以水反攻制敌”的报告上签了字，命第二十集团军总司令商震在已成地上河的黄河赵口掘堤放水，未成。后来，新八师师长蒋在珍又率部日夜不停地在花园口的大堤上挖掘引爆成功。
花园口决堤的任务由守卫黄河的国军商震的部队执行，地点首先选在了中牟县境内大堤较薄的赵口，因赵口流沙太多，没能扒开。蒋介石知道赵口无望扒开后，就指示再换地点重新决堤。经过紧急协商，驻守在黄河附近的新八师初步把地点选定在赵口以西的花园口附近。在此过程中，蒋介石担心手下执行消极，一再通过口谕、电令催促手下扒堤，不要有“妇人之仁”。
1938年6月9日凌晨，经过两天两夜不停的挖掘，几乎在距郑州30公里的中牟失守的同时，花园口也终于挖开了。
花园口决口后，黄河水顺着贾鲁河迅速下泄。第二天，黄河中上游普降了一场暴雨，黄河水量猛增，花园口决口处被冲大，同时被淤塞的赵口也被大水冲开。赵口和花园口两股水流汇合后，贾鲁河开始外溢，漫溢的河水冲断了陇海铁路，浩浩荡荡向豫东南流去。
决堤的黄河如一条咆哮的巨龙，从决口处翻滚奔涌而下，所到之处一片汪洋，一时阻滞了日军的进攻，使其陷入困境，被迫改变西取郑州沿平汉线南下由北向南的进攻方向，改为绕道至大别山和长江南北两岸由东向西进攻武汉。水淹日军的同时，也让河南、安徽、江苏三省44县5.4万平方公里的土地成为水乡泽国，89万人淹死，1000多万人背井离乡无家可归。
消息传来，“想不到委员长手中还有这样一招狠棋，怪不得他在会上的口气那么硬！”说完之后，第一战区第一兵团总司令薛岳只觉得喉头涨哽，内心深处五味杂陈。自己的军队不能抵挡住入侵家园的强盗，而只能以水代兵，给自己的百姓带来如此大的灾难，仗打到这个分上，作为军人，惭愧啊！
蒋百里见薛岳难受的样子，便说：“伯陵啊，一个积贫积弱的民族，国力不如人！军力不如人！出此下策，也是无可奈何啊……”
日军被黄水阻隔后，就放弃了从平汉线进攻武汉的计划。他们退守到徐州后，南下到蚌埠，过淮河，再到合肥与日军其他部队会合，又开始从长江北岸进攻武汉。
黄河改道，虽然为国民政府争取了喘口气的时间，但到了1938年10月，花园口扒开后第4个月，武汉仍然失守。花园口决口终究没有挽救武汉失陷的命运。
