番山是古時廣州的一個小山岡,與西側的禺山組成「番禺」這個地名。明代羊城八景之一的「番山雲氣」便是此處。

番山位於現時廣州市區中山四路附近,東側為文溪所流經,西側與禺山相對,兩山之間的坳口曾是唐朝時廣州城的南門。在唐末的907年為開拓城區,已把番山鑿平。

現在孫中山文獻館所在的位置原為廣府學宮,而學宮就建在番山的邊上,現在文獻館旁的山坡上還有一個小亭子名「番山亭」,為後來所重建。