婚后，胡蝶渐渐淡出影坛，每年只接拍一两部影片。她把大部分时间用在陪伴家人身上，常为自己的厨艺得到丈夫的夸奖而“沾沾自喜”。上海沦为孤岛后，明星公司的拍摄场地被日军占领，无奈之下胡蝶举家迁往香港躲避战乱。但不久，香港也沦陷了，日本人“邀请”她赴东京拍摄一部名为《胡蝶游东京》的纪录片，宣扬所谓的“中日友善”。她不愿意趟这浑水，只好设法应付，她说：“我怀孕三个月了，现在去不了，等我分娩以后再说吧。”虽暂时把日本人敷衍过去，但她深知，躲得了初一，躲不过十五，继续留在香港，早晚要出事，于是她又拖家带口偷偷迁回内地。

几经辗转，一家人终于抵达重庆，借住在朋友家，生活重得暂时安稳。潘有声同朋友合办了一家公司，从事茶叶和木材生意。胡蝶参加抗日电影《建国之路》的拍摄。谁也没想到，一只可怕的魔掌正悄悄伸向他们平静美好的小天地。1944年春，胡蝶到电影外景地工作多日，疲惫不堪地回到家中，还没放下行李，朋友心急如焚地跑来告诉她，几天前，潘有声无缘无故被警察抓走了，至今下落不明。丈夫突然被捕，胡蝶心急如焚。冷静下来后，她隐隐猜测到了祸从何起。权倾朝野的戴笠，对她垂涎已久，几次企图靠近都被她婉言拒绝。

为营救心爱的丈夫，胡蝶决定深入虎穴。这天深夜，面容憔悴的胡蝶走进重庆曾家岩戴笠的寓所，恳求他放了自己的丈夫。潘有声很快被释放了，胡蝶却没能走出来。“软禁”的日子里，胡蝶想过一死了之，但她深知，如果以死抗争，心狠手辣的戴笠岂能放过她的家人。她流着泪对丈夫说：“姓戴的只能霸占我的身体，却霸占不了我的心……我的心永远属于你。”万般无奈的潘有声，只得孤身回到上海，开始了隐居生活。