東院原為玉蘭山房，把古玉蘭樹（即“玉蘭王”）“玉圍于院中。陶澍巡視云臺(tái)山時(shí)，對(duì)這里也進(jìn)行過大修，并題楹聯(lián)一副于玉蘭山房：奇石似人花下立，仙人如鶴竹間來”。

廟后有溫泉一池，隆冬不冰。周圍石壁上刻著許多前人的題勒，如錢泳的“登山觀海”，無名氏的“小蓬萊”、“天上人間”，也都各具風(fēng)韻，令人賞心悅目。

延福觀周邊多南方草木，這里的玉蘭花樹、銀杏、格木、黃楊、紫薇等，都是數(shù)百年的古物。

小蓬萊：在延福觀大殿身后，穿過陰涼的金鑲玉竹林，便可以看到石壁上古人鐫刻的“小蓬萊”三個(gè)大字，篆書，字徑30厘米，筆力剛健，鐵線銀鉤。李汝珍《鏡花緣》中，把小蓬萊寫成是步入天庭的必由之路，唐敖和百花仙子唐閨臣都是從這里平地飛仙的。

玉女洗頭盆：山上石隙間泉水淙淙跌落崖下，日久天長，滴水處形成一個(gè)圓洼，人稱玉女洗頭盆。盆側(cè)石壁上有康熙年間海州司訓(xùn)楊廷鎮(zhèn)的刻詩一首：“飛漢飄灑云山根，泠韻清音聽石門。恍如華山來玉女，觀看珠落洗頭盆�！庇衽疄榈澜讨械呐�神，善于彈琴和做游��，很像西方神話中的藝術(shù)女神。