المعلم الثاني في عرفات هو جبل الرحمة وهو جبل صغير عبارة عن حجارة صلدة كبيرة، ويقع في شرق عرفات، بين الطريق رقم 7 والطريق رقم 8، وسطح الجبل مستو وواسع، ويدور حوله حائط يبلغ ارتفاعه نحو 57 سم، وفي منتصف الساحة دكة ترتفع ما يقرب من نصف متر، وبأسفل جبل الرحمة يقع مسجد الصخرات، وقناة مياه عين زبيدة زوج الخليفة العباسي هارون الرشيد يرحمهما الله.
ويبلغ محيط جبل الرحمة 640 مترا، وعرضه شرقا 170 مترا، عرضه غربا 100مترا، طوله شمالا 200مترا وطوله جنوبا 170مترا، وارتفاعه عن سطح البحر 372مترا، وارتفاعه عن الأرض التي تحيط به مقدار 65 مترا.
ويعتقد بعض الحجاج أن الوقوف بعرفات لا يكتمل إلا بصعود الجبل وهذا اعتقاد خاطئ لأن الوقوف بعرفة يتم في أي مكان داخل حدود المشعر فالرسول الكريم صلى الله عليه وسلم يقول في حجة الوداع « وقفت هاهنا وعرفات كلها موقف...» «واس»