1826年，伍秉鑒終於盼到了花費鉅資、苦候17年的退休證。 東印度公司的檔對此評價說：“他擁有大量資本和高度的才智，因而在全體行商中，居於卓越的地位，他的財富與地位的影響，反而使他由於天性懦怯，致有某種程度上的抵消，以致不適宜於與一個專制和腐敗的政府的官吏抗爭，所以在很多事例中，他就成為他們巨額勒索的犧牲者。我們相信，他急於現在退休主要是希dermes激光脫毛望保護他的財產。” (馬士《東印度公司對華貿易編年史》) 但是，他個人雖然退了，家族卻無法退出，公司管理的擔子交給了四子伍受昌，開啟了這個家族的第三代，而伍秉鑒本人則在幕後垂簾聽政。誰都確信他依然是幕後的掌舵者，有了麻煩還是要找他。 1831年，年輕的第三代“浩官”伍受昌差點送命——他在兩廣總督及粵海關監督面前，為英國東印度公司疏通關係。結果，這大大刺激了廣東巡撫朱桂禎， 下令將他下獄處斬。嚇壞了的伍受昌長跪1小時，再加上粵海關監督的說情，才得以逃脫。兩年後(1833年)，伍受昌因病去世，年僅33歲，很難說，他的早亡與巨大的壓力沒有關係。 白髮人送黑髮人的伍秉鑒，此時已經64歲，只好強打精神，安排五子、年僅14歲的伍紹榮(伍崇曜)接班，成為第五任、也是第三代的第二位“浩官”。 年輕的伍紹榮，不僅繼承了一份碩大的家業，而且也繼承了一份碩大的麻煩——隨著中英之間圍dermes 脫毛價錢繞著鴉片貿易的衝突越演越烈，被大清帝國當作中外貿易緩衝物的行商們，兩頭受氣、處境艱難。雖然，沒有任何證據證明伍家參與了鴉片走私，但這絲毫不能阻止新任兩廣總督林則徐將他們拘禁起來，敲山震虎，給洋“猴”們殺只“雞”嚇唬嚇唬。 林則徐將年僅20歲的伍紹榮投入了大牢，給已經70歲的首富伍秉鑒戴上了鎖鏈，讓他出席dermes激光脫毛行商會議。與會的其他行商們，則都被摘去了代表著地位的頂戴(馬士《中華帝國對外關係史》)。根據廣州的英文報紙《中國叢報》( Chinese Repository)記載，1839年3月23日，披掛著鎖鏈的老首富，來到寶順洋行(Dent & Co.)， 催促寶順的老闆、英國商人顛地(Lancelot Dent)趕緊進城繳煙。老人“苦苦哀求， 指著自己去了頂戴的帽子和脖上的鎖鏈說， 如果顛地不進城， 他肯定會被處死”。 此時的首富，是否會在心中埋怨創業的父親：早知今日，何必當初呢？
