开头四句写倦游江南，转游江北。诗人先用“江南倦历览，江北旷周旋”说明渡江北游的原因。后来用“怀新道转迥，寻异景不延”描述北游途中产生的心理感觉。道本不迥而党其远，景本不可延而怪其不延，空间、时间均在主观意念作用下出现不合理而合情的反差和变异，借主观与客观的矛盾突出为探寻新景异景而路欲其短、日欲其长的急切心情。在这心情支配下，乘船过江，不是顺流斜渡，而是“乱流趋正绝”，以缩短路程，争取时间，这就和上两句紧相绾合。此句又缘于下句”孤屿媚中川”而写。因为见到孤屿中流独峙奇绝之景，故而迫不及待地横流直渡。诗中正面写孤屿风景共三句，“孤屿媚中川”是登屿之前遥而望之的总体美。“媚”字极写孤屿山在清澈的江流中间秀峰耸翠，妍美悦人。
后面两句“云日相辉映，空水共澄鲜”，则是登屿之后所见景色。上句写云日同辉，下旬写江天一色。江中孤屿在白云、丽日、蓝天、澄江的烘托之下，有如一螺青黛，分外秀丽妩媚。正当诗人对孤屿赏爱不绝，忽然感情波动，为这新异之景的无人欣赏、无人传写而叹惜，于是写出“表灵物莫赏，蕴真谁为传”。这两句包含三层意思：一是为孤屿的灵秀无人赏爱、仙人的故事无人传写而叹惋。二是借“物莫赏”、“谁为传”，从反面说出自己为之传写赞美的意愿。三是与上文“怀新”、“寻异”相呼应，突出孤屿的美。可谓一石三鸟，意蕴深厚。这两句又点出孤屿的“表灵”、“蕴真”，已见灵气仙心，进而即景生发，驰骋神思，自然想及仙山仙术，因而顺理成章写出最后四句：“想像昆山姿。缅邈区中缘。始信安期术，得尽养生年。”在诗人想望中，江中孤屿表灵蕴真为神仙之奥区，它的灵异之姿、远绝尘缘之境，都与昆仑山有着某种内在的联系，因而冥想杏渺以虚作实，自谓道心契悟．始信安期之术得以养生尽年。这一方面是外放永嘉、心情苦闷的真实流露，渴望以遁世求仙得到解脱；另一方面则以神异灵秀的姿质去描写江中孤屿的美。
这首诗结构上也是按照叙事—写景—说理的框架写成。正面写景虽然只有三句，但全篇都以写景为中心。为景而游，因景而思，承转自然。全篇语言清隽，风韵秀雅。