Yimou Zhang se narodil roku 1951 v rodině, která sympatizovala s dříve vládnoucí Činskou národní stranou Kuomintag – ta byla v občanské válce poražena koumunisty. Celá jeho rodina byla vystavena posměchu a opovržení, Zhang proto zažil poněkud problematické dětství. Za kulturní revoluce, která začala v roce 1966, odešel ze střední školy pracovat na farmu.
Poté pracoval jako kameraman pro filmové studio Guangxi. V roce 1984 se podílel na svém prvním projektu - filmu ONE AND EIGHT. Ve stejném roce také vznikl ve spolupráci s jeho spolužákem z akademie Chenem Kaige film YELLOW EARTH, který je označován za počátek takzvané Páté generace čínských režisérů. V roce 1985 přijal pozvání Wu Tianminga do filmového studia Xi'an, kde se podílel na snímku OLD WELL jako kameraman a herec. Za tento herecký výkon získal ocenění na Mezinárodním filmovém festivalu v Tokyu a Wu Tianming mu přislíbil pomoc na jeho prvním režijním počinu.
Tímto debutem se stal válečný film RUDÉ POLE, díky kterému se Zhang rázem stal známým a vysloužil mu cenu Zlatý Medvěd. Hlavní postavu ztvárnila do té doby neznámá Li Gong - a tak začala dlouholetá spolupráce Yimou Zhanga s touto charismatickou herečkou. Zhang se po tomto úspěchu rozhodl trochu zaexperimentovat v žánru politického thrilleru a vznikl tak snímek CODENAME COUGAR, který si ale vysloužil spíše negativní ohlasy a sám Zhang ho později označil za svůj nehorší film vůbec.
Díky finanční podpoře z Japonska ale mohl v tom samém roce znovu zazářit se zdařilým rodinným dramatem JU DOU. Film byl nominován na Oscara jako nejlepší cizojazyčný film, což se v historii čínské kinematografie stalo poprvé. Zhangovi bylo ale zakázáno zůčastnit se slavnostní ceremonie. Doma v Číně byl film označen za nevhodný pro čínské publikum a byl zakázán. V JU DOU se poprvé objevují vlastnosti charakteristické pro další Zhangovu tvorbu - scény s jedinečně intenzivními barvami.