Pada jaman dahulu Gampong Ujung Karang terdiri dari pantai lautan lepas dan pinggir perbukitan berbatu pasir dan cadas. Sesuai dengan namanya Ujung Karang yaitu dalam bahasa Aceh yaitu Ujong dan Kareueng. Kata Ujong berarti paling pinggir, akhir atau bagian tepi sedangkan Kareueng berarti Lapisan endapan atau lapisan bumi yang terdiri dari batu berunsur kapur karang dan hanya sebagaian kecil atau 1/10 yang tidak mengandung karang.

Dan berdasarkan cerita, Perkampungan Ujung Karang terletak diatas lempengan batu karang yang memiliki ketebalan 50-500 meter diatas permukaan bumi yang dibawahnya terdapat aliran arus sungai besar dengan airnya sangat bening yang menghubungkan dari gunung yang bermuara ke lautan lepas menyerupai gua besar. Hal tersebut menurut sejarah abat 18 dahulu pernah dibangun sumber air bersih dengan model sumur bor atau yang bertepatan pas di daerah pembangunan mesjid Baitul Rahmi sekarang. Memiliki debit air yang tidak mampu dibendung oleh masyarakat setempat walau dalam ukuran Ø10 cm, namun muncratan air yang tajam mampu mencukupi semua kebutuhan masyarakat bahkan melebihi dari kebutuhan yang ada.

Ada sejarah lain mengatakan bahwa pada saat pembangunan jembatan penghubung antara dusun tengah dengan dusun mesjid yaitu jalan nasional sekarang hanya memiliki ketebalan lapisan / lempengan batu karang hanya 30-50 meter diatas aliran badan sungai tersebut, sehingga pada saat pembangunan yang dikerjakan oleh pemerintah Belanda tidak bisa dilakukan penggalian dan pengeboran diatas kedalaman 20 meter karena takut terjadi keretakan pada lapisan karang tersebut.

Sepeninggal kedua legenda tersebut, hingga saat ini belum ada yang membuktikan kebenarannya, namun yang pasti pemukiman ini banyak terdapat lapisan batu karang yang padat hanya dengan kedalaman tanah humus mulai 20 cm dari permukaan kulit bumi, maka perkampungan ini diberi nama dalam bahasa Aceh UJONG KAREUENG, yaitu perkampungan UJUNG KARANG, dan sekarang menjadi gampong dengan nama Ujung Karang.