词作开篇以写景入题。“江水苍苍” 三句，勾勒出愁人眼中的秋景：江水浩渺苍茫，秋日江潮本最为壮阔，可在流放异乡的词人眼中，江水恰似离人的泪水，即便秋江之上尽是泪潮，也淌不尽心中万千愁绪。“倦柳愁荷” 一句更是情景交融，秋霜降临后，柳叶即将衰败，早已没了春夏时节的青翠欲滴；荷叶曾长久托举娇艳的荷花，此刻花落叶枯，往日的葱郁繁茂荡然无存，只余下听秋雨打落的 “残荷”（别本亦作 “愁荷”）。而这江、这柳、这荷，皆被秋日的寒意所笼罩。“废阁”“古帘”，与后文的 “清灯冷屋”，共同描摹出词人的居所：楼阁已然荒废，却仍有人居住；帘幕已然陈旧，却依旧悬挂，足见词人生活的清寒。“雁程最嫌风力” 一句中，“雁程” 指大雁的飞行路途，“嫌” 即畏惧。大雁南飞，最忌惮狂风，逆风而行时费力难歇，自然无法捎来故园的音讯。史达祖原籍为北宋故都汴梁，却生于高宗绍兴末年，一生大半时光在南宋都城临安度过，亲友也多聚于此。因此，词中的 “故园”，应指其在西湖边葛岭一带的家宅。“爱渠入眼南山碧” 是忆旧之语，“渠” 即眼前的南山景致。
“南山” 在临安实为实有之地，大旗山北有一座高四十余丈的山峰便名南山，山上还有杜牧墓；西湖周边亦有南屏山、南高峰，皆可称作 “南山”，但此处当是泛指词人居所南面的群山。词人身处贬所，故而格外眷恋昔日临安的家居生活。一个 “爱” 字，一个 “碧” 字，与上文贬所景象的悲凉情感形成鲜明对比。“念上国” 一句，直白道出词人心念京都的心意，即便身遭贬谪，其忠君爱国之心也未曾动摇。“谁是脍鲈江汉未归客” 一句，是词人的反躬自问，这位滞留江汉、未能归乡之人，正是词人自己。“江汉” 指长江、汉水交汇的地域，杜甫曾在江陵作诗自称 “江汉思归客”，此词的 “江汉未归客” 字面亦当承袭杜诗之意。“脍鲈” 则化用晋人张翰的典故：张翰任齐王冏东曹椽时，秋风乍起，他思念吴中菰菜、莼羹、鲈鱼脍，便辞官归家。
作者以张翰自比，却未能如张翰般避祸全身。宋代官员若获罪流放远州，轻者指定某州居住，稍重则为 “安置”，再重则为 “编管”，均需指定居住地，受地方官管束，不得自由行动。更何况词人是因罪被流放，身不由己、有家难归，并非贪恋官爵。写到此处，词中情感愈发抑郁，由伤秋怀乡转而感伤自身的坎坷遭遇。
过片句以 “还又” 二字承接上文，更进一层。苍茫江水、倦柳愁荷，已让羁旅江汉的词人黯然神伤，又恰逢 “岁晚”，再加上 “瘦骨临风，夜闻秋声” 的境况，孤寂之感更是倍增。“岁晚” 即岁末，俗语云 “年怕中秋月怕半”，中秋过后，一年将尽，恰似一日之黄昏，无怪乎杜甫《秋兴》诗中 “一卧沧江惊岁晚”，将深秋称作 “岁晚”。“瘦骨” 二字，道尽词人贬谪期间体貌枯槁、精神憔悴的模样。
“夜闻” 二句，写词人客居他乡的所闻所感。秋日西风骤起，草木凋零，多有肃杀之声，世人称之为 “秋声”。庾信《周谯国公夫人步陆孤氏暮志铭》中便有 “树树秋声，山山寒色” 之句，可见秋声乃西风吹动草木所生。“岑寂”，即冷清、孤寂之意。词人孤身漂泊异乡，面对萧瑟秋风，心中不禁生出寂寥之情。
这份情感，既是触景生情，也是贬谪中爱国志士与生俱来的身世之感。词人一心报效国家，曾为 “神州未复”（《龙吟曲》）忧心忡忡，亦幻想 “趁建瓴一举，并收鳌极”（《满江红》），更期盼有朝一日能 “办一襟风月看升平，吟春色”（《满江红》）。可他寄予厚望的开禧北伐最终失败，主战者的头颅竟成了向敌人求和的贡品。当时的国事正如王夫之《宋论》所言：“侂胄诛，兵已罢，宋日以坐敝而讫于亡。” 国事日渐衰败，怀揣报国之心的词人怎能无动于衷？但眼前的现实却无比冷酷：“露蛩悲、清灯冷屋，翻书愁上鬓毛白。” 蛩即蟋蟀，秋露降下时，蟋蟀悲鸣，唯有冷屋中的一盏孤灯与词人相伴，他只能靠翻书来消磨漫漫长夜。屋冷、阁破，词人的心亦已破碎。他忧国伤时，愁得鬓发皆白。回想嘉泰元年（1201 年），张镃为其词集作序时，还称他 “郁然而秀整”，且 “须发未白”，可没过几年，他便已 “瘦骨临风”“鬓毛斑白”。实则他彼时尚不足五十岁，却已尽显早衰。词人早年曾到过江汉一带，正值青春年少，与好友相约嬉游的场景仍历历在目，恍如昨日。可如今贬谪他乡，只剩万般无奈、惊魂不定。史弥远政变的刀光剑影仿佛还在眼前晃动：韩侂胄遇害后，丞相陈自强被贬死于雷州，北伐主帅苏师旦被斩于韶州。史弥远虽对外卑躬屈膝、讨好敌人，却对政敌的迫害从未手软。此时，史达祖在贬所是否会遭新的迫害无人可知，但这种威胁无时无刻不在。他既无辛弃疾的雄才大略，性格也欠缺稼轩的英雄气概，从这首词中便不难看出。
“苒苒” 二字，意为柔弱，“苒苒魂惊” 正透出其性格中软弱的一面。因此，当他在客中送别友人时，只能洒下志士之泪，却无一句壮语相赠，连一句牢骚也不敢吐露。词的结尾两句，是送别寄远之辞。“南浦” 指南面的水边，《离骚》有 “送美人兮南浦” 之句，江淹《别赋》亦云 “春草碧色，春水渌波，送君南浦，伤如之何”，此处借 “南浦” 点明送别之意。“烟驿” 指词人的居所，与前文的 “废阁”“冷屋” 同义。“剪梅” 则是寄远的常用典故，据《荆州记》记载，陆克与范晔交情深厚，陆克自江南寄梅花一枝至长安赠予范晔，并赠诗：“折梅逢驿使，寄与陇头人。江南无所有，聊赠一枝春。” 因一无所有而折梅寄远已属可悲，更何况词人身处贬所，寄远之时更藏着难以向外人言说的苦楚。词作就在这哀怨之中收尾，更显一往情深。
含蓄蕴藉是沉郁风格的又一表现。结尾数句，既点明是送别友人，又将未了之情引起读者遐想，不尽之意见于言外，显得含意隽永，余音不绝。清人对此词非常推崇，推它为《梅溪词》的杰作，显然是有见地的。