后世但凡提到十三行，知道的人总能一口报出伍秉鉴，但却不知道十三行中的潘家远比伍家底蕴更深厚。
伍秉鉴更出名，是因为美国一本杂志将他评为那个时代的世界富，却不知道伍家的财富加起来，根本就无法跟潘家相比。
伍家迹主要就是三代人，第一代是伍秉鉴的父亲伍国莹，第二代是伍秉鉴的哥哥伍秉钧，等到了第四代掌门伍崇曜的时候，伍家就开始走下坡路了。
而潘家却比伍家从容的多，他们是积累了巨额财富后，主动退出的。
潘家迹得说伍家之前的十三行总商潘振承，潘振承的父亲是一个普通农民，有一股子中国农民独有的吃苦耐劳精神，玩命干活养活五个儿子不说，还坚持送他们去读书。
潘振承继承了这个优良传统，但受迫于家庭贫困，13岁的时候就给人当船工冒险出海，把货物贩卖到菲律宾，卖给洋人，在与洋人长期的生意往来中，潘振承学会了西班牙语、葡萄牙语和英语。
借助这些优势，潘振承24岁的时候，也就是乾隆三年，在广州加入了一个福健老乡的洋行，同乡挣够了钱后，跟许多中国商人一样，带着钱财回老家买地当地主去了。潘振承此时也积攒了一笔资金，向清政府申请成立了自己的洋行，就是大名鼎鼎的同文行。
潘振承没打算挣一笔快钱就走，所以经营上一直诚实可信，得到了洋人的信赖，称他是“最可信赖的商人”，是“行商中最有信用之惟一人物”，展到最后经常会预支给他多达十万两以上的预付款，这让潘振承的经营如虎添翼。
十年后同文行就已经成了gd最大的商行，不久乾隆下令关闭了福健、浙茳等其他地方的通商口岸，广州进入了长达八十多年的一口通商时代，也进入了潘振承的时代。
开办同文行第十八个年头，乾隆二十五年（176o年），潘振承被官府选为广州十三行商总，并在之后的39年间一直担任这一职务，不但积累了巨额财富，还在洋人面前保持了显赫的地位，法国商人在根据当时一个与潘启做过生意的法国商人在《法国杂志》上描述，潘家每年消费多达3oo万法郎，财产比西欧任何一个国王的地产还要多。
就像伍秉鉴有意扶持美国人一样，潘振承也有自己扶持的贸易对象，就是当时实力还很弱小的瑞典东印度公司，原因很简单，这是豪商层次的外交策略，潘振承不可能看到英国人一家独大，他需要给英国东印度公司培养竞争对手，就好像后世的美国苹果等大公司，总是培养不同的供应商，让他们竞争然后自己渔利一样，商场上也将就外交策略，甚至西方的外交方法很可能就是这么展出来的。
因为这样的关系，潘振承跟瑞典人建立了牢固的信任，甚至还参与了瑞典东印度公司的生意，在其中投入巨资。
瑞典大名鼎鼎的哥德堡号货船，最大的商品供应商就是潘振承，要知道这艘船可是瑞典举国之力打造的，瑞典国王对此寄予厚望。后来潘振承将自己的一副玻璃画像送给瑞典商人。那幅画像之后一直保留在瑞典哥德堡市博物馆里。潘振承还是第一个使用汇票跟洋人做生意的中国商人。
就是大名鼎鼎的伍家，迹之初，伍秉鉴的父亲伍国莹就是在潘家的商行中当伙计，学会如何跟洋人做生意的。
因此可以说伍家是在潘家的帮助下成长起来的，只是潘振承有一种中国商人在文化上的自卑心态，他家之后不是培养子孙继续经商，而是一心培养有才能的子孙读书科举做官，他的儿子潘有为在乾隆年间考取进士，官至内阁中书，参与过四库全书的编纂。潘振承以此为荣，同时以自己的商人身份为耻。
潘振承死前还留下遗训，让潘家子孙永世不得担任总商。甚至在他家的族谱中，都没有记载他当过总商的事迹，他的两代接班人潘有度和潘正炜在族谱中甚至都没有记在曾经经商过，为的就是洗清潘家的商人基因，彻底转型成为一个诗书门第。潘有度甚至比他爹更甚，出宁为一条狗不做行商的遗言。
在几代人的努力下，潘振承第四代之后，就退出了商界，潘家的同孚行也卖给了伍家。
至于潘仕成，却跟潘振承不是一系，潘仕成的爷爷是潘振联，跟潘振承是兄弟，也是在广州经商家，不过做的是盐商。但是潘仕成这一支一直想加入行商，潘仕成的父亲潘正威曾经向清政府申请成为洋商，但没有得到批准。但他们暗中借助堂叔以堂叔潘长耀的丽泉行与英国东印度公司入行贸易，赚了不少钱。而且每年还能节省给政府的5万两行商税银，等生意交到潘仕成手里的时候，他继承的家业达两千万两。
要知道潘仕成这一支，不过只是潘家的一个分支而已，家产就能跟伍家比肩。还有潘长耀一支也不容小觑，潘长耀的丽泉行在十三行中也是赫赫有名，虽然最后倒闭了，但是在中国历史上也是留下过印迹的。
最有名的要数，1814年潘长耀在美国联邦最高法院控告纽约及费城商人，拖欠自己1oo万两货款的事情。因为满清朝廷根本不会在中国商人跟外国商人的商业纠纷中声，反而总觉得一旦有冲突，是丢了天chao上国的脸面，潘长耀不得已在美国起诉。
潘长耀为此还在1815年，致信美国总统麦迪逊，要求美国注意监管本国的商人。这封信以葡萄牙文，英文和中文三种文字写成，三封信留存在美国博物馆和美国国家档案馆。可惜潘长耀最后打赢了官司，但是没有讨回钱，直至1o年后，丽泉行倒闭，货款仍未拿到。
潘长耀、潘振承和潘仕成这三家，可以说任何一家都不比伍家差半分，但却因为重农抑商的传统观念，让潘家的核心家族潘振承家族选择了退隐，一心转变成耕读传家的传统士绅身份，这才给了伍家崛起的机会，甚至不得不让人怀疑，潘家是有意扶持伍家代替自家的地位，否则担心自己脱不了身，同样的故事后来也生在伍秉鉴身上，也是为了谋求脱身费尽心机。
可以说跟名头更大的伍家相比，潘家才是隐藏更深，更有底蕴，更有深度的行商巨鳄。
跟潘振承家族不同的是，潘仕成家族这一系，始终坚持经商立身，他爹想尽办法参与行商买卖不说，潘仕成更上一层楼，通过捐官捐来了二品的顶戴，同时找到了大靠山耆英，得以延续潘家的贸易，甚至在鸦爿战争之后，依然做的风生水起。
潘仕成显然走出了胡雪岩之前的官商路径，把在朝廷有一个靠山视作最大的本钱，极力用心去经营。为此每每到了朝廷有难的时候，就会不惜重金的进行政治投资，比如道光二十一年，潘仕成先后捐助五千斤、三千斤、二千斤炮四十尊。第一次鸦爿战争捐助军工海防，捐建战船和水雷，承办军火生产、帮办洋务、建造船厂、火药厂。这两年进行的第二次鸦爿战争中，也没有闲着，一度奉命督办沿海七省战船，并自动捐资加造战船。
可是政治投资的大笔付出，没有换来好的结果，他的大靠山耆英在英法联军刚刚攻占天珒的时候，奉命去谈判，结果英国人认为耆英多次向皇帝隐瞒广州的情况，不相信耆英，将耆英赶回了京城，耆英回去之后，被咸丰皇帝赐死，换了桂良和花沙纳去谈判。
耆英一死，潘仕成就非常担心自己受到牵累，整日忧心忡忡。要知道以往他跟耆英可是盟友关系，他给朝廷出钱，耆英帮他奏请皇帝受赏。他们的关系异常的密切，甚至潘仕成家的潘仕成家的豪宅，海山仙馆园门前的悬匾“海山仙馆”，四字匾额都是时为两广总督的耆英所书。
就在潘仕成担心自家会因为耆英的获罪而受到牵累的时候，柏贵找到了他，柏贵找他的目的则是希望广州的商人能往新安做贸易，好堵住洋人非要到广州的借口，此时柏贵即将接任两广总督的消息，信息灵通的潘仕成早就知晓了。
但是柏贵找的并不是潘仕成，而是潘振承家族，是潘仕成收到消息，主动上门，请求同宗帮忙介绍，并且跟同族达成了协议，已经退出的潘振承家族，将家族生意全都转交给了潘仕成。
因此后来打着四大行商潘家名义来新安建立商行的，其实是潘仕成，而不是正宗的十三行总商潘振承家族。
不过由潘仕成接过潘家的生意也不算什么，毕竟潘仕成虽然是盐商，但主营业务除了食盐就是茶叶，他本人就是品茶的大名家，甚至广州城广为流传的一款品茶名器就叫做潘壶，是由潘仕成专门在宜兴定做的紫砂壶流传而来。
因此做茶叶他做的一点都不比本家差，所以柏贵也好，朱敬伦也好，都算是认可潘仕成打着过去的同文行旗号顶替潘振承家族的事情。
至于瑞典商人跟潘仕成之间，那就又是另一番故事了。