في هذا الوقت كان البحر المتوسط مسرحا لانتصارات أربعة إخوة من أصل أحد الجزر اليونانية ، وكانت ميزتهم الشجاعة وعرفة علوم البحر مما جعلهم مهابي الجانب في البحر من طرف القراصنة والنصارى ، وبعد دخولهم الإسلام وضعوا أنفسهم تحت خدمة سلطان إسطنبول حيث كانوا يقومون بحملات جريئة على شواطئ إسبانيا قصد مساعدة مسلمي الأندلس .
ومن الصعب تحديد أصل الإخوة ولكن ما اتفق عليه المؤرخون أن أصل الأسرة كانت تعيش في إحدى قرى البلاد اليونانية بجزيرة مدلي أو ميتيلين ، وكان أبوهما يدعى يعقوب بن يوسف ،وكان تركيا مسلما – يعمل في الجيش التركي –
وكان والدهم يلقب جاكوب وهو اسم لا يزال يستخدم على نطاق واسع بين الإغريق .
يشير خير الدين في مذكراته أن والده كان من السبايهية ، وكانت له أرض إقطاع في منطقة واراد المجاورة لسلانيك ، وهبها له السلطان محمد الفاتح ، وكان إسحاق مقيما في قلعة مديلـلي أما عروج فقد ركب البحر .
بدأ عروج التجارة على مركبه الصغير صنعه بنفسه ، وفي إحدى خرجاته وقع أسيرا لدى فرسان القديس يوحنا بعد معركة سقط فيها أخوه إلياس قتيلا، وأخذوا عروج مقيدا بالأغلال .
لقد حزن خير الدين كثيرا على هذا الخبر فسعى لإنقاذه بشتى الطرق ، وكان له صديق تاجر على ملة الكفر ، وكان يتاجر بين رودس و الجزر المجاورة لها واسمه " كريغوا " ، وقد أعطاه خير الدين مبلغا عسى به أن يحرر أخاه وقدر بـ 18.000 أوقجة ، وكان كرغوا هذا عارفا بمداخل رودس ومخارجها ،ولكن سرعان ما أحس به الجند فأسروه وأخبرهم بمهمته معرفا الفرسان مدى قيمة عروج عند أهله ، فوضع كمجذف لسفنهم ،وقد كان يمتاز بقوة عضلية مذهلة
عمل عروج لمدة سنتين في المجاذيف وتحت القيد ، لكنه تمكن من الفرار ، إذ ألقى بنفسه في البحر على مقربة من السواحل المصرية ، ومنها ركب البحر عائدا إلى جزيرته ، حيث أبوه وإخوته ، غير أنه كاد يسقط في الأسر مجددا
قرمان التركية ، رأى فيه الأمير كركود أو ابن السلطان بايزيد الرجل الشجاع و القوي ، فأكرمه وأمّره على سفن للإغارة على السواحل الإيطالية ، فاختطف سفينتين تابعتين البابا ، وخاض غمار المتوسط متجها صوب الضفة الغربية منه ، خاصة جبهة الأندلس ، واختار جزيرة جربة قاعدة لنشاطه وانظم إليه أخوه خير الدين على رأس سفينة حربية مجهزة بكامل العدة .
