まずは漢和辞典を引いてみましょう。
・「全訳　漢字海　第3版」（平成23年　三省堂）

【憮然】ブゼン　[1]失意でがっかりするさま。　[2]意外なことにおどろくさま。

・「漢字源　改訂第5版」（平成23年　学研教育出版）

「憮然　ブゼン」とは，むなしい気持ちになるさま。がっかりと失望するさま。

　この二つの辞書が用例として挙げている「論語」の｢微子第十八｣には「夫子(ふうし)憮然として曰(いわ)く」とあります。「憮然として曰く」に訳を当てるとすれば，「がっかりして言われるには」というような意味になります。

　国語辞典でも，このような漢籍での使われ方に基づいて「憮然」の意味が説明されてきました。
・「広辞苑」第6版（平成20年　岩波書店）

　ぶぜん【憮然】　[1]失望してぼんやりするさま。失望や不満でむなしくやりきれない思いでいるさま。「―として立ちつくす」　[2]あやしみ驚くさま。

・「日本国語大辞典」第2版（平成14年　小学館）

　ぶぜん【憮然】　意外な出来事に驚いて茫然(ぼうぜん)とするさま。また，失望したり，どうしようもなかったりしてぼんやりするさま。

・「明鏡」（平成14年　大修館書店）

　ぶぜん【憮然】　落胆して，また，驚きあきれて，呆然(ぼうぜん)とするさま。「―として立ち去る」「―たる面持ち」

　各辞書が示す「憮然」の意味は，失望や落胆，又は驚きのために，ぼんやりしたり，呆然とする様子です。このような，本来の意味に基づいた使い方を近代の小説から見てみましょう。芥川龍之介の短編小説にある，大学教授の元に教え子の母親が尋ねて来て，息子の死を報告する場面です。

　――実は，今日も伜(せがれ)の事で上ったのでございますが，あれもとうとう，いけませんでございました。在生中は，いろいろ先生に御厄介になりまして……【中略】……病院に居りました間も，よくあれがお噂(うわさ)など致したものでございますから，お忙しかろうとは存じましたが，お知らせかたがた，お礼を申上げようと思いまして……
　――いや，どうしまして。
　先生は，茶碗を下へ置いて，その代りに青い蝋(ろう)を引いた団扇(うちわ)をとりあげながら，憮然として，こう云った。
　――とうとう，いけませんでしたかなあ。丁度，これからと云う年だったのですが……私は又，病院の方へも御無沙汰していたものですから，もう大抵，よくなられた事だとばかり，思っていました……

（芥川龍之介「手巾」　大正5年）

　ここで用いられている「憮然」には，「腹を立てた様子」という意味はありません。教え子の死を知らされて，がっかりしている様子が読み取れるはずです。このように，本来の意味に照らせば，「憮然として立ち去った」人とは，腹を立てているのではないと考えるべきでしょう。

ただし，最近の辞書では，
・「大辞泉」第3版（平成18年　三省堂）

　ぶぜん【憮然】　[1]思いどおりにならならくて不満なさま。　[2]落胆する様。　[3]事の意外さに驚くさま。

・「精選版日本国語大辞典」（平成18年　小学館）

　ぶぜん【憮然】　[1]意外な出来事に驚いて茫然(ぼうぜん)とするさま。また，失望したり，どうしようもなかったりしてぼんやりするさま。　[2]不機嫌なさま。不興なさま。

　というように，「大辞泉」では，最初に「不満なさま」を挙げていますし，「精選版日本国語大辞典」は，先に挙げた第2版では取り上げていなかった「不機嫌なさま。不興なさま。」を加えています。