কারামিতাদের নেতা আবু তাহির আল-কারামাতি কাবাঘর থেকে হাজরে আসওয়াদ খুলে নেওয়ার নির্দেশ দেন। এরপর পাথরটি মক্কা থেকে নিয়ে যাওয়া হয় তাদের নিয়ন্ত্রিত বাহরাইন অঞ্চলে। কিছু ঐতিহাসিক বর্ণনা অনুযায়ী, কারামিতারা হাজরে আসওয়াদকে নিজেদের নিয়ন্ত্রিত অঞ্চলের একটি স্থানে স্থাপন করেছিল। তাদের উদ্দেশ্য ছিল মানুষের ধর্মীয় আবেগকে নিজেদের রাজনৈতিক ও ধর্মীয় দাবির সঙ্গে যুক্ত করা। কিন্তু একটি পাথরকে কাবাঘর থেকে সরিয়ে অন্যত্র স্থাপন করলেই তার সঙ্গে কাবাঘরের পবিত্র সম্পর্ক সৃষ্টি হয় না। মুসলমানদের কাছে হাজরে আসওয়াদের মর্যাদা এসেছে আল্লাহর ঘর কাবার সঙ্গে তার ঐতিহাসিক সম্পর্ক এবং রাসুলুল্লাহ (সা.)-এর সুন্নতের মাধ্যমে।
ঐতিহাসিক বর্ণনা অনুযায়ী, প্রায় ২৩ বছর পাথরটি কারামিতাদের নিয়ন্ত্রণে ছিল। এ সময় মুসলমানরা অত্যন্ত কষ্টের সঙ্গে তাওয়াফ করতেন। কারণ তাওয়াফের সূচনা ও সমাপ্তির গুরুত্বপূর্ণ চিহ্ন হাজরে আসওয়াদ তখন কাবাঘরে ছিল না। অবশেষে দীর্ঘ আলোচনা, রাজনৈতিক চাপ এবং অর্থনৈতিক সমঝোতার পর কারামিতারা পাথরটি ফিরিয়ে দিতে সম্মত হয়। প্রায় দুই যুগ পর হাজরে আসওয়াদ আবার মক্কার পবিত্র কাবাঘরে ফিরে আসে।
