هذا الإمام الجليل كان يحج سنة ويجاهد أخرى ، حتى أنه مات بعد انصرافه من الجهاد ، فتوفي في " هيت " في رمضان سنة 181 هجرية .
قال الحسن بن الربيع : " خرج فارس من المسلمين ملثم ، فقتل فارسـًا من العدو كان قد فعل بالمسلمين ، فكبر له المسلمون ، فدخل في غمار الناس ، ولم يعرفه أحد فتتبعته حتى سألته بالله أن يرفع لثامه فعرفته ، وقلت : أخفيت نفسك مع هذا الفتح العظيم ، الذي يسره الله على يدك ؟ فقال : الذي فعلت له لا يخفى عليه " .
وكان هذا الفرس الملثم هو ابن المبارك .

يقول ابن خلكان عن هذا الإمام الجليل : " هو الحافظ شيخ الإسلام المجاهد ، التاجر ، صاحب التصانيف والرحلات ، جمع الحديث والفقه والعربية وأيام العرب والشجاعة والسخاء ، وله كتاب في الجهاد ، وهو أول من صنف فيه . "
وكان داعيـًا له بحماس لذلك يقول في الدعوة إلى الجهاد في رسالته إلي الفضيل بن عياض :
يا عابـد الحرمين لو أبصـرتنا لعلـمت أنك في العبـادة تلعب
من كان يخضب خده بدمـوعه فنحـــورنا بدمائنا تتخضب
أو كان يتعب خيله في باطــل فخيولنا يوم الصبيحـة تتعب
ريح العبير لكم ونحـن عبيرنا رهج السنابك والغبار الأطيب
ولقــد أتانـا من مقـال نبينا قول صحيح صادق لا يكذب
لا يستوي غبار خيـل الله في أنف امرئ ودخان نـار تلهب
هذا كتاب الله ينطـــق بينا ليس الشهيد بميت لا يكـذب