「遊」は自由に歩きまわること、「山」は寺のことを指し、遊山は「修行を終え悟りを得て、他山（他の寺）に修行遍歴の旅をすることを意味していました。
旅の途中に自然を楽しみながら散策していたことが「物見遊山」となり、それが一般でも使われるようになりました。