这诗共分四章，分别列举东、西、南，北四个方位的—个劳处地名，表达诗人四处寻找美人而不可得的惆怅忧伤的心情。
第一章说思念之人在泰山，我想去追寻她。但有泰山下的小山“梁我”阻隔，只能侧身东望，眼泪沾湿衣襟。那美人赠给我钱币，我用“英琼瑶”这几种美玉回报她，但路途太劳，无法送达，心中烦忧，徘徊不安。
其余三章结构相同，按“所思、欲往、涕泪、相赠、伤情”的次序来写，除了美人所赠及诗人回报物品不同之外，每章方位地名亦不同。
这四章不同方位的地名抉不是随便写的。第一章地点是泰山，古人认为“王者有德功成则东封泰山，故思之” 。汉武帝曾登封泰山，东汉安帝在公元124年（延光三年）亦登泰山祭告岱宗。可见诗人是寄希望于君王，希望他振作有为，诗人愿以道术报君，使天下大治。但外戚宦官这些小人的阻挡，诗人的政治理想无法实现，只能徘徊忧伤。第二章地点是在桂林郡。据史载，东汉安帝、顺帝时，这一带民族矛盾尖锐，顺帝为此极为优虑。第三章所思之处在 “汉阳”，史载安帝、顺帝时这一带羌人时时入侵，大将不能守边。第四章诗人所思之处在雁门，即今山西北部雁门关，为汉之北疆。据史载，安帝时，鲜卑人常来攻略，掳掠人马，诗人以此为忧。
《文选》收入此诗附有后人之序说张衡“依屈原以美人为君子，以珍宝为仁义，以水深雪雰为小人，思以道术相报贻于时君，而惧谗邪不得以通。”这种分析是可信的，因为古诗中传统的比兴手法是常以美人比理想中的贤人，诗中四处劳方地名，正是关系国家安危的处所，表现了诗人对国事的关怀和优虑。这四方遥劳的地名也体现了诗人为理想而上下四方不倦地探索追寻的精砷，但处处都有难以逾越的障碍，追寻思念而不可得，故而优伤。这从侧面曲折反映了现实社会的污浊黑暗，这些，就是诗人优伤的社会内容。
除了 “美人香草”的比兴手法而外，这诗还运用了《诗经》民歌中回环重叠，反复咏叹的艺术手法。这四章意思相同，结构相同，句式相同，形式上非常整齐，但每章又换词押韵，在整齐中显出变化。
淸代沈德潜在《古诗源》中评此诗说：“心烦纡郁、低徊情深，风骚之变格也”又说：“五噫四愁，如何拟得？后人拟者，画西施之貌耳。”
《四愁诗》钟情美人之意既明，则爱君之深亦自可推知。《文选》将诗分成“四思”，且看这“一思”。那无日不引人思慕的美人，身居东方泰山云雾之中，邈焉难求，而“我”之渴望，却惟在能追从她的身边、呼吸于她的芳馨之中，则“我”情的执着痴迷，不已隐然可体味了吗？及至那小小梁我顽丘，阻“我”不得亲近美人，而“我”竟引领侧望、至于泪下涟涟，衣襟为湿，则“我”情之真之切，不已豁然无所隐藏了吗？诗至此三句，自与一段落，诗人有情之痴的面目，已宛然可见。以下四句，更成一段落，诗人言之益深，亦令人读而感慨益深。“投我以木桃，报之以琼瑶”（《诗经·木瓜》），古人既如是说，“我”怀中有琼英美玉，又如何能不思报赠？如今，虽然明知梁我为阻、道路悠劳，这份礼物决无可能送达，此生只能长作徘徊瞻望、怅惘以终；然而，“我”却为何总是不能绝念、总是心意烦乱、劳思无尽？
“一思”既已，“二思”“三思”“四思”源源不断，连翩而至，“我”首次“求女”虽然告挫，但“我”却绝不停止努力。当那赠他琅玕美石的美人徜徉于桂林山水之间时，他便怀着成双的白玉盘奔往南方；当那赠他貂裘短服的美人飘飘于汉阳丘岭之上时，他便揣着明月宝珠趋向西方；当那赠他锦绣彩段的美人出没于雁门关塞之时，他又赶紧携着青玉制就的几案，驰走北方，虽然湘水深不可测，限我莫及桂林；虽然陇阪悠长无已，阻我难至汉阳；虽然塞上雨雪纷纷，碍我不达雁门；虽然每次都是受阻而止，每次都落得涕泗滂沱，沾染裳襟，每次都徒增惆怅，每次都忧思益加难释－然而，“我”却始终不倦，矢志不移！可以想见，倘若天地之间不止东、南、西、北四个方位，此诗又将何止“四思”？诗人的奔走将至于千、至于万，诗人的愁思且巍过五岳、广过江河！切莫以“四愁”之间仅有并列而无递进，而嫌其章法单调少变化；若《诗》之《蒹葭》止于“宛在水中央”，君不将谓其殊少文气乎？若《陈风·月出》止于“劳心悄兮”，君不将觉其“心”之“劳”犹不甚乎？惟有一之不足、至于再、至于三、四，始能见诗人之深情缠绵、寄意幽劳。即如本诗，“愁”虽止于“四”，但其愁绪究竟延伸于胡底，又有何人能量之测之？“一唱而三叹，慷慨有余哀”，若要领会此种境界，不从《四愁诗》之类重章、叠句上索解，又将于何处求之？
《四愁诗》非但内容足以使人动容，其句式也极引人注目，它是中国古诗中产生年代较早的一首七言诗。七言诗由来尚矣，但全诗句子均为七言，而每句都采用上四字一节、下三字更为一节的形式，句中又几乎不用“兮”字作语助的诗，在现存的创作年代确切可信的古诗（而非载于后世著作中、真伪莫辨的《皇娥歌》、《柏梁诗》之类）范围里，本诗是最早的一首，这就是《四愁诗》在中国诗史上的地位。在此以前，七言诗或是杂以八言、九言者，如汉武帝《瓠子歌》；或是每句前三字、后三字各为一节、而中间夹一“兮”字，如项羽《垓下歌》、李陵《别歌》：这些，都不能算作典范的七言诗。至于汉乌孙公主的《悲愁歌》，虽然已达到全篇上四下三，但每句两节之间还存有“兮”字，成了一首八言诗，句式上虽接近于典范的七言诗，却终不能归入七言诗的范畴。唯本诗除了每章首句以外，其余句子与后世七言诗已全无二致，显得整饬一新、灿然可观。曹丕的《燕歌行》，自是一首成熟的七言。而《四愁诗》作为七言诗，虽然尚有不少《诗经》的痕迹如重章叠句、每章句子为奇数，以及《楚辞》的痕迹如“兮”的使用；但是，它的上四下三的句式，却早在大半个世纪以前已达到了《燕歌行》的水准，同时这种句式在抒情上的优势－即节奏上的前长后短（异于四言诗及《垓下歌》之类七言的并列，和五言的前短后长），使听觉上有先长声曼吟、而复悄然低语的感受，而节奏短的三字节落在句后，听来又有渐趋深沉之感，如此一句循环往复，全诗遂有思绪纷错起伏、情致缠绵跌宕之趣－《燕歌行》有之，《四愁诗》亦已有之。