بزرگترین نقطه‌عطف منفی در تاریخ دینی خاندان اسماعیل(ع)، زمانی رخ داد که عمرو بن لُحَی خُزاعی (از قحطانیانی که بر مکّه مسلّط شده بود)، در پی سفری به «بلقاء شام»، بت‌هایی چون هُبَل، عُزّی و مَنات را به مکّه آورد و بت‌پرستی را رواج داد. این اقدام، آئین حنیف ابراهیم(ع) را دگرگون ساخت. پیامبر اکرم(ص) او را نخستین کسی دانستند که دین اسماعیل(ع) را تغییر داد.
صفحهٔ ۲۷