A Hong Kong, en 1962, deux couples emménagent le même jour dans une petite pension. Monsieur Chow et sa voisine de palier madame Chan découvrent bientôt que leurs conjoints respectifs entretiennent une liaison. Choqués par cette découverte, les époux trompés se rapprochent l'un de l'autre et essayent de comprendre. Mais au fil de leurs rencontres, monsieur Chow sent ses sentiments changer envers sa confidente...