此时，军械库内的约翰·布朗等人还没有意识到危险的到来。
连续挫败弗吉尼亚民兵武装助长了约翰·布朗等人的自信心，给他们造成了一种南方武装都不堪一击的错觉。
罗伯特·李命令两个步兵连发起佯攻，迫使军械库内的基列人同盟武装开枪进行还击。
罗伯特·李根据对方还击的枪声判断，军械库内的北方激进废奴武装团体人数最多只有一个连。
在确定对方的人数后，考虑到哈伯斯费里渡口附近的南方乡绅们还被约翰·布朗等人劫持在军火库内。
罗伯特·李首先派人前往军械库和约翰·布朗和谈，对约翰·布朗的基列人同盟武装进行劝降。
一来，如果对方能够投降，不战而屈人之兵，这是再好不过的结局。
二来，对弗吉尼亚的高层也能有个交代，证明他并非不顾兰道尔议员等人的死活，而是不得已才对军械库发起强攻。
罗伯特·李把这个光荣的任务交给了乔治·帕尔默中校，让乔治·帕尔默中校带着布坎南的电文去和约翰·布朗谈判。
虽然乔治·帕尔默中校心中有一万个不愿意，但上命难违，他还是只能硬着头皮前往军械库和约翰·布朗等人谈判。
“你们已经被包围了，放下武器，不要再做无谓的抵抗，这对你们没有好处。”孤身进入军械库，对约翰·布朗等人说道。
这是乔治·帕尔默第一次面对面地和约翰·布朗等人进行接触。
在看到对方是一群连制服都没有，多数人传得破破烂烂地，队伍中还有不少黑人的时候。乔治·帕尔默大为惊诧，他满脸的不可思议：老子训练的弗吉尼亚民兵是被这群人打退的？
“我的词典中没有投降一词，阁下还是请回吧，没必要在此白费口舌。”约翰·布朗的态度十分坚决。
见对方没有投降的意思，乔治·帕尔默随身携带而来的电文交给了约翰·布朗：“这是总统阁下的电文，请过目。”
“我不识字。”约翰·布朗瞥了一眼乔治·帕尔默递上来的电文，冷声说道，他并没有伸手去接电文。
约翰·布朗不是在说气话，他没有接受过良好的教育，只认识一些简单的单词，确实看不懂布坎南发出的文绉绉的电文。
“罗伯特·李将军：
据悉，以约翰·布朗为首的基列人同盟武装叛匪已占领哈伯斯费里渡口。你被指派前往消灭这一叛匪势力。请在收到电报后立即率领弗吉尼亚本地部队前往平叛，并采取一切必要之行动。迅速、果断地清除敌人，确保该地区的安全。
总统布坎南。
联邦政府总部。”
乔治·帕尔默只能当着约翰·布朗的面，把布坎南发来的电文念了一遍。
在听到自己的行为被联邦政府定性为叛乱，自己的身份被打成叛匪时。
约翰·布朗只觉天旋地转，险些跌倒在地上。
(
布坎南这一纸电文对约翰·布朗等人的打击，比没有南方的黑奴响应他们的武装起义打击还大。
起初，约翰·布朗不肯相信电文上的内容是真的，直到队伍中识字的老伙计抢过电文，在确认了电文上的内容属实，而非乔治·帕尔默随心捏造的之后，约翰·布朗这才彻底死心。
他为自由而战，但却被自诩代表自由的政府毫不留情地打为反贼。
“约翰·布朗他们在看到总统阁下的电文后，是什么反应？”罗伯特·李询问返回的乔治·帕尔默道。
“如丧考妣，士气低落。”乔治·帕尔默拍抚着胸口说道，“但他们的态度还是十分冥顽不灵，拒绝投降。”
能从军械库活着走出来，这让他有一种劫后余生的感觉，他真担心约翰·布朗他们一气之下直接把他也扣留，甚至给枪毙了。
好在约翰·布朗等人虽出生寒微，但还是讲道理，守规矩的。
“很好，帕尔默中校，伱去点五个连，等炮击结束之后，即刻对军械库发起总攻！务必一战夺回军械库，消灭基列人同盟武装！”罗伯特·李下达了命令。
不多时，罗伯特·李带来的炮兵连便在军械库外架设好8门12磅拿破仑炮，矫正好设计主要后对军械库发起炮击。
军械库内的基列人同盟武装也从军械库推出库存的大炮进行反击，遗憾的是，由于基列人同盟武装中没有专业炮兵出身的人才，折腾了半天也只是勉强把炮打响，至于炮击的准头，实在让人难以恭维。
很快，罗伯特·李的炮兵连就压制住了基列人同盟的火力。
炮击刚刚结束，乔治·帕尔默中校便带领五个连对军械库发起了总攻，双方爆发了自开战以来最为激烈的交火。
在弗吉尼亚军队凌厉的攻势之下，士气和人数均处于绝对劣势的基列人同盟武装很快落入下风。军械库的大门宣告失守，弗吉尼亚军队遂攻入了军械库。
攻入军械库后，在罗伯特·李的命令下，弗吉尼亚军队并没有给基列人同盟武装喘息的时间，继续对退守行政大楼的基列人同盟残兵败将穷追猛打。
在经过一个小时三十分的苦战，基列人同盟武装损失惨重。43名武装分子被直接打死，36名武装份子重伤。就连约翰·布朗的大儿子和二儿子也死于激烈的交战之中。
约翰·布朗本人和他的三儿子小布朗则身负重伤连同剩下的32名武装人员被弗吉尼亚军队俘虏。
相比基列人同盟武装的死伤惨重，罗伯特·李率领的弗吉尼亚军队，损失则要小得多。仅有4人直接死于交战之中，伤者亦不过8人。
被约翰·布朗拘禁的兰道尔议员等当地士绅名流也被成功解救了出来，美中不足的是，在交战中，还是让几名基列人同盟武装的人员乘乱逃走了。
弗吉尼亚高层在获悉罗伯特·李已经夺回军械库后，不由得长舒了一口气。
同时弗吉尼亚当局开始紧锣密鼓地筹备对以约翰·布朗为首的基列人同盟武装审判工作。