赤石：在永嘉郡南永宁（今浙江永嘉）与安固（今浙江瑞安）二县中路之东南，去郡约有数十里，东濒今日的温州湾。帆海，注家常以为地名，其实可商，据宋郑缉之《永嘉郡记》，“帆游山，地昔为海，多过舟，故山以帆名”，在安固县北。灵运所谓帆海之地，当在此山一带。但郑记并未说有帆海地名，因此帆海二词当是动宾结构，题意似为游览赤石，进而扬帆海上。诗的重点在帆海，游赤石只是引子。
首夏：初夏。
犹：仍然。
清和：清爽和暖。张平子《归田赋》有“仲春令月，时和气清”句，即本此而作。
亦未歇：也没有停止生长，仍是一派欣欣向荣的景象。
水宿（sù）：生活在水中，即住宿舟船之上。
淹晨暮：将晨暮连成一体，分不清早晚。
阴霞：阴云和彩霞。
屡兴没：多次变换，即或雨或晴，时而阴云密布，时而彩霞满天。《河图》：“昆仑山有五色水，赤水之气，上蒸为霞，阴而赫然。”
周览：遍观，即全都游览过了。
倦瀛蠕（yíng rú）：对海边岸上的景物已觉得厌倦。传说九州之外有大瀛海包围，故东海也可泛称为瀛。
况乃：何况是。
陵：凌驾，漂游。
川后：波神。曹植《洛神赋》：“川后静波。”
天吴：水伯。《山海经》：“朝阳之谷神日天吴，是水伯也。”
不发：不动作，不激荡，不掀起波涛。《楚辞·九歌·湘君》：“沛吾乘兮桂舟，令沅湘兮无波，使江水兮安流。”
扬帆、挂席：都是张帆行舟的意思。
石华、海月：两种可食用的海味水产。《临海水土物志》：“石华附石，肉可啖。”又：“海月大如镜，白色正圆。”
溟（míng）涨：泛指海洋。《庄子》有“北溟”“南溟”之称，李弘范注曰：“广大窕冥，故以溟为名。”谢承后《汉书》注曰：“陈茂常度涨海。”是涨亦可指海。
无端倪（ní）：无头无尾，无边无际。
虚舟：没有载物的空船。
超越：超然漂行。
仲连轻齐组：鲁仲连轻视齐国的封赏。《史记·鲁仲连传》载：齐田单攻燕聊城不下，鲁仲连乃用计迫使燕将自杀，于是聊城被破。齐君想封赏鲁仲连，而他不要封赏，逃隐于海上。组，系冠帽或印章的丝带，借指官爵。
子牟眷（juàn）魏阙（quē）：公子牟留恋王室的高官厚禄。《吕氏春秋》载中山公子牟谓詹子日：“身在江海之上，心居魏阙之下，奈何？”这里借用来讽刺假隐士。魏阙，富门外悬法之处，代指政界官场。
矜名：崇尚空名。
道不足：不足道，不值得称道。
适己：顺从自己的本性。
物可忽：万事万物（所有的功名利禄）都可以忘记。
附：依附，遵从。
任公言：指任公教导孔子的一段话，见《庄子·山木》篇，大意是直木先遭伐，甘泉先被喝，人太聪明、太惹眼，也容易首先遭到不测。孔子认为有理，就逃到大泽之中隐居起来。
终然：自然老死，全命而终。
谢：辞去，避免。
天伐：与“终然”相对，指人为因素或外力影响而致损毁夭折。