从此他们过上了男耕女织、勤劳节俭的日子，三年后织女生了一儿一女。到他们能说话时，织女就在空闲的晚上给他们讲天上的故事，她不喜欢富丽堂皇却没有自由的天宫，她喜欢人间无拘无束的生活。俩孩子一听偎在她怀里叫一声“娘”，回过头又叫一声“爹”。她喜极了，但也会发愁，她没告诉牛郎，她怕外祖母会来找他。
一天，牛郎去喂牛。那头老牛满眼泪水，告诉牛郎它快死了，它死后留下牛皮，一有急事就披上牛皮……话音未落，老牛就死了。夫妻俩痛哭一场后，留下牛皮，把老牛的尸骨埋了。
天上，仙女下凡的事给王母娘娘知道啦，她把她们关在黑屋里。她最恨织女在人间不回来，败坏门风，损害尊严。她发誓，哪怕织女在天涯海角也要抓回来，受顶厉害的惩罚。她派了很多天兵天将到人间查访很久，才知道织女与牛郎结为了夫妻。于是她在牛郎在地里干活时，亲自去抓织女，男孩拉住织女却被王母推倒在地，织女只好让他们去找牛郎。
牛郎赶回家，决定上天把织女救回来，忽然想起老牛的话，他赶紧披上牛皮，找出两筐，挑起孩子往外跑，不一会儿就飞起来了。飞了一会儿，望见妻子和老太婆啦，他越飞越近，快追上了王母。王母拔出簪子，划出一条很宽很急的天河，牛郎飞不过去了。
从此以后，他们只能在天河两岸隔河相望，不能一起生活。久而久之，他们成了牵牛星和织女星。织女受了挺厉害的惩罚，但她不死心，一定要和牛郎生活在一起。王母娘娘拗不过她，只好同意在农历七月初七让他们鹊桥相会。人们说，在那天夜里去葡萄架下倾听，还能听到他们在桥上亲密地说话呢。