中國古代山水畫形成于兩晉南北朝時期。

對于山水畫的創(chuàng)立作出貢獻(xiàn)的，首先仍推顧愷之。他曾畫過《廬山圖》《雪霽望五老峰圖》等，并寫有《畫云臺山記》。繼他之后，山水畫的倡導(dǎo)者則有宗炳和王微。他們進(jìn)一步把山水從人物畫的配景地位解脫出來，給它以獨(dú)立的位置，并從理論上鞏固它。宗炳的《畫山水序》和王微的《敘畫》，成為后世山水畫的指導(dǎo)思想。

山水畫在隋代有了迅速發(fā)展。傳為隋代展子虔的《游春圖卷》，是保存下來的最早的山水畫代表作之一。它在遠(yuǎn)近空間的處理上已經(jīng)表現(xiàn)出一定的深度，山石多用勾勒，設(shè)色用青綠泥金，為唐代青綠山水畫開辟了途徑。唐代山水畫的代表有李思訓(xùn)和他的兒子李昭道，人稱大、小李將軍。他們擅長畫金碧輝煌的樓閣山水，別具精工富麗的特點(diǎn)，是后世“界畫”（作畫時借助界尺畫線）的先導(dǎo)。著名詩人王維，則是開創(chuàng)水墨山水畫的畫家。他專以墨色深淺濃淡的變化表現(xiàn)大自然的平遠(yuǎn)景色，具有寧靜而秀潤的氣氛，給人以畫中有詩的感受。五代的山水畫家，以荊浩、關(guān)同、董源、巨然為代表。荊浩、關(guān)同是專畫全景式水墨山水的畫家。他們的作品以黃河中下游的真山真水為描寫對象，氣勢雄渾宏大，有北方派之稱。董源則善畫草木豐盛、秀潤多姿的江南山水，畫風(fēng)清淡。他和弟子巨然是南方派的主要畫家。