四阿哥胤真做了皇帝以后，允详是他惟一的心腹，他辅皇兄八年如一日，处处为雍正排忧解难，最终积劳成疾，雍正八年（1730）五月，43岁的允祥英年早逝，死后葬在西陵附近的涞水县东村。说起他的墓地还有一个绕有趣味的故事。
－－雍正登基后，开始为自己选择陵址，雍正派十三弟与高其倬一同去办这件事。最后在易县境内太平峪选中了风水宝地。雍正对所选的“上吉之壤”非常满意，对允祥尽心尽力的为自己选吉地也深受感动，于是在自己墓地附近选了一块“中吉”之地赐给允祥。他对允祥说我们兄弟俩生前情深意重，愿死后相依相伴，允祥听后吓得惊恐万状，慌忙叩头谢恩，连连说：“皇帝使不得，使不得，这里的吉地只有大福大贵之人才能用，我等臣民是不可用的，“允祥坚决不接受皇帝赐给自己的坟地。允祥的聪明正在于此，他受宠不骄，有赐不受，在皇帝面前总是表现出与世无争，这是他保护宠眷不衰的主要原因。
－－后来允祥在泰陵附近涞水县东村，为自己选了一块平善之地作为自己的墓地，请求皇帝赐给自己，雍正不得己批准了他的请求。允祥得旨后高兴得跳起来，他对属下说皇上待我皇恩浩荡，今日赐给吉地是我子孙后代永远享受皇恩的福气。于是派护卫到墓地取回一包黄土，允祥仔细端详片刻，突然捧起一块吞了下去，众人疑感不解，允祥笑而不答。
－－允祥吞土一事，在《世宗实录》、《八旗通志》等清代官方著述中均有详细记载。
－－雍正八年（1730）五月允祥病重期间，他将自己坟墓的修建及其死后丧礼都一一做了安排。亲自画好一幅亲王坟茔图交给他的妻子及诸子，并嘱咐他们说：“我身后茔地之制，悉照会典所载，亲王之礼，毋得稍有逾，如或稍过，则汝等违背我的命令，即非我妻、子”。雍正则认为，园寝的规制，关系到国家的典礼，有德应该升官，有功者该赏，所以怡亲王的园寝打破常规，扩大规制。雍正亲定怡亲王允祥茔制“享堂七间，享堂之外中堂三间，内围墙一百丈，中门之内建焚帛亭、”祭器亭，中门外建神厨五间，神库三间，东西厢及宰牲房各三间，碑亭一座，其外为大门三间，周围墙290丈，大门外设奉祠20间，再加石桥二、石碑坊一、擎天柱二、神道碑一，从开工之日起设立守备一员、干总二员，兵丁50员，永远守护。”允祥死后又受到雍正皇帝的特殊照顾。
－－抗日战争爆发前夕，怡亲王陵墓被盗。日本侵略军占领涞水以后，地面建筑遭到严重破坏。至今仍仅存石牌坊一座，华表两根，石桥一座。
