2004年，和妻子由美子离婚。育有长子渡边大，女儿渡边杏。离婚后他就不管前妻、儿子和女儿。
2005年，12月7日向日本媒体披露再婚的消息，新娘是女演员南果步。可是没想到其妻子患癌，他却在外面包养小三，与一名小21岁的女子A某偷偷交往3年。
日本影帝承认出轨 渡边谦不认女儿与章子怡曾拍过三级片
据台湾媒体报道，日本57岁影帝渡边谦29日被周刊踢爆搞不伦，与一名小21岁的女子A某偷偷交往3年，疑似背叛罹患乳癌的12年爱妻南果步，引起外界议论纷纷。绯闻风波延烧至今，他又被流出多张与小三拍摄的私密照，其中也包括过夜床照，形象可说是毁于一旦。
《周刊文春》30日刊登了渡边谦与A某的私密照，包括两人在纽约中央公园散步的约会照、亲密靠头自拍，以及A某偷拍渡边睡觉时的模样，女方还俏皮地透过借位让渡边像是躺在自己手掌心上，亲昵程度不言而喻。此外，其中一张是小礼物盒的照片，从外型看来像是包装戒指等饰品的盒子，让网友看了直说：12年的婚姻真讽刺。
日本影帝承认出轨 渡边谦不认女儿与章子怡曾拍过三级片
除了私照被曝光，A某的背景也遭起底，据悉现年36岁的她，外貌激似正妹主播田中美奈实，年轻时就读于大阪知名女子高中，在25岁前曾担任读者模特儿。她后来跑去读珠宝设计专门学校，并当上珠宝设计师，用赚来的钱开了一家高级公关俱乐部，然后便与渡边谦相识。
渡边谦过去曾以《明日的记忆》、《 不沉的太阳》拿下两届日本金像奖影帝，在影视圈占有一席之地。他也因为常和老婆南果步晒合照、陪伴对方抗癌，被公认是演艺圈中的模范丈夫；怎料如今被爆出轨3年，恐怕家庭、事业都将受到影响。
日本影帝承认出轨 渡边谦不认女儿与章子怡曾拍过三级片
渡边谦与章子怡未删减片段
《艺妓回忆录》由斯皮尔伯格执导，讲述了上个世纪30年代日本一名艺伎坎坷的一生。章子怡饰演的小百合，涉及裸露、卖身、与多名日本人共浴等情节及镜头，她与渡边谦的激情戏更是大胆出位，遭到不少网民抨击。
