نپرداختن خمس

سلام آیا کسی که در پرداخت خمس و زکات کوتاهی کند و اصلا آن را نپردازد طبق احادیث  واقعا حکم کافر  و مرتد را دارد؟ یا تنها کسی که واجب دینی را انجام نداده؟ اگر اینگونه باشد یعنی افراد زیادی در جامعه کافر هستند یا فقط  کسانی اند که واجب دینی را انجام نداده اند و باید بابت آن فقط عذاب شوند .. نه اینکه از اساس کافر تلقی شوند