到了尧年老的时候，他将部落联盟首领的位置让给了舜。舜听说鲧治水不力，就免去了鲧的官职，将他发落到羽山，后又杀掉了他。舜又让鲧的儿子去禹去治理泛滥的洪水。
禹接到这一任务，心情十分沉重。父亲因治水而被处死，自己治水若再不成功，后果不堪设想。禹和鲧不一样，认为想干成一件事情，光靠自己的能力是不够的。他沉思了很久，向舜提出了请求，邀请契、后稷、皋陶三位氏族酋长共商治水大事。
这三位酋长德高望重，在部落联盟议事会中都有职务。禹把大家邀到一起，大家各抒己见，经过一番激烈的讨论，禹和众位酋长认为应当采用疏导的办法，将黄河水引走。禹认为父亲鲧之所以治水失败，主要是采用了筑堤堵水，而不是疏导。
禹亲自带领大家去勘察，什么地方险峻，什么地方较平缓，什么地方山势突兀，什么大河需要疏通，他都一一做了标记，在勘测完水的走势之后，禹带领大家按着水的走势来治理黄河。他们根据地形的高低，疏通河道，排除积水，让洪水顺着河道流走。
大禹跋山涉水，历尽千辛万苦，走遍黄河上下，西抵戎狄，东达黄海、东海之滨。他和老百姓一起劳动，戴着笠帽，拿着锹子，带头挖土、挑土，累得脚掌生了老茧，小腿上的毛也磨光了。他在结婚第4天就告别了妻子，三过家门而不入，整整治水13年。