婚后，胡蝶漸漸淡出影壇，每年隻接拍一兩部影片。她把大部分時間用在陪伴家人身上，常為自己的廚藝得到丈夫的夸獎而“沾沾自喜”。上海淪為孤島后，明星公司的拍攝場地被日軍佔領，無奈之下胡蝶舉家遷往香港躲避戰亂。但不久，香港也淪陷了，日本人“邀請”她赴東京拍攝一部名為《胡蝶游東京》的紀錄片，宣揚所謂的“中日友善”。她不願意趟這渾水，隻好設法應付，她說：“我懷孕三個月了，現在去不了，等我分娩以后再說吧。”雖暫時把日本人敷衍過去，但她深知，躲得了初一，躲不過十五，繼續留在香港，早晚要出事，於是她又拖家帶口偷偷遷回內地。

幾經輾轉，一家人終於抵達重慶，借住在朋友家，生活重得暫時安穩。潘有聲同朋友合辦了一家公司，從事茶葉和木材生意。胡蝶參加抗日電影《建國之路》的拍攝。誰也沒想到，一隻可怕的魔掌正悄悄伸向他們平靜美好的小天地。1944年春，胡蝶到電影外景地工作多日，疲憊不堪地回到家中，還沒放下行李，朋友心急如焚地跑來告訴她，幾天前，潘有聲無緣無故被警察抓走了，至今下落不明。丈夫突然被捕，胡蝶心急如焚。冷靜下來后，她隱隱猜測到了禍從何起。權傾朝野的戴笠，對她垂涎已久，幾次企圖靠近都被她婉言拒絕。

為營救心愛的丈夫，胡蝶決定深入虎穴。這天深夜，面容憔悴的胡蝶走進重慶曾家岩戴笠的寓所，懇求他放了自己的丈夫。潘有聲很快被釋放了，胡蝶卻沒能走出來。“軟禁”的日子裡，胡蝶想過一死了之，但她深知，如果以死抗爭，心狠手辣的戴笠豈能放過她的家人。她流著淚對丈夫說：“姓戴的隻能霸佔我的身體，卻霸佔不了我的心……我的心永遠屬於你。”萬般無奈的潘有聲，隻得孤身回到上海，開始了隱居生活。