Karaman kentinin ilk kuruluş tarihi kesin olarak bilinmemekle beraber yapılan arkeolojik kazılar neticesinde, önemli bir yerleşim bölgesi, ticaret ve kültür merkezi olduğuna dair belgeler bulunmuştur.
Karaman ve çevresinin M.Ö.8000 yıllarında yerleşik iskana sahip olduğu ortaya konulmuştur. İl, Hititler zamanında bir askeri ve ticaret merkezi olmuş daha sonra Firigya ve Lidya'lıların egemenliğine geçmiş, M.Ö.322 de Yunan Kralı Perdikkos ve Filippos'un işgaline ve talanına uğramıştır.
Karamanoğulları Anadolu Selçuklu Devletinin zayıflamasından ve yıkılmasından sonra bağımsızlıklarını ilan edip Karamanoğlu Devletini kurmuşlardır. Karamanoğulları OĞUZ'ların SALUR boyuna mensuptur. 24.Oğuz boyu şunlardır. 1.Kayı 2.Bayat 3.Alkaevli 4.Karaevli 5.Yazır 6.Döğer 7.Dondurga 8.Yaparlı 9.Avşar 10.Kızık 11.Beğdili 12.Karkın 13.Bayındır 14.Biçene 15.Çavuldur 16.Çepni 17.Salur l8.Eymür l9.Alayuntlu 20.Üreğir 21.Iğdiz 22.Büğdüz 23.Yuva 24.Kınık. Bu 24 boy 6 ata da birleşir. 1.Günhan 2.Ayhan 3.Yıldızhan 4.Gökhan 5.Dağhan 6.Denizhan.

Şehir Klasik dönemlerde LARENDE olarak bilinir. 1256'da Karamanoğulları devletinin başkenti olan Larende, Cumhuriyetin ilanından sonra Konya iline bağlı olarak KARAMAN adını almıştır.
Karamanoğlu Mehmet bey Konya civarında Moğollarla yaptığı savaşı kazanarak Konya'yı moğol işgalinden kurtarmış ve Karamanoğlu Devletinin başkenti yapmıştır. O tarihlerde Anadolu Selçuklularının resmi dili Arapça, edebiyat dili Farsça idi. Yönetenlerle yönetilenler arasında dil konusunda büyük farklılıklar meydana gelmişti. Dil farkı büyük reaksiyonlar doğurdu. Hacı Bektaş Veli, Tapduk Emre, Yunus Emre, Aşık Paşa, Sarı Saltuk ve Karamanoğlu Mehmet Bey başta olmak üzere daha birçok kültür tarihinin büyük simaları Türk kültür ve medeniyetinin tahrip edilmekte ve yok edilmekte olduğunu görerek, siyasi ve kültürel taarruza geçmişlerdir. Karamanoğlu Mehmet Bey Türk Milliyetçilik tarihine altın harflerle yazılması gereken 13 Mayıs 1277 yılında yayınladığı bir fermanla Türkçe'nin zaferini sağlamıştır. Bu fermanla "Bu günden sonra hiç kimse sarayda, divanda, meclislerde ve seyranda Türk dilinden başka dil kullanmaya" diyerek Türkçe'den başka konuşulan ve yazılan dilleri yasaklamıştır.
Bugün Karaman halkının civar yerleşim bölgelerine nazaran daha düzgün bir lisan kullanmasını bu fermanda aramak lazımdır.
Karamanoğulları devletinin sınırları, en güçlü olduğu zamanlarda, Karaman, Konya, Sivas, Kayseri, Niğde, Adana, Antakya, Silifke, Anamur, Mut, Gülnar, Alanya, Gazipaşa, Antalya, Isparta, Beyşehir'e kadar uzanıyordu.
Karamanlılar kuvvetli düşmanlarının karşısında sarp yerlere bilhassa Toros dağlarına çekilerek korunurlar ve tehlike geçince tekrar İçel ve Larende (Karaman) tarafına geçerlerdi. Geçitler vasıtasıyla Konya'ya ulaşan ticaret kervan yollarını kontrol eden Karamanlılar, Ceneviz, Kıbrıs ve Malta tacirlerinden aldıkları vergiler ile mühim bir gelir temin ediyorlardı. Lamos, Silifke, Anamur, Manavgat gibi kendilerine ait limanlardan tahsil ettikleri gümrük resmi önemli gelirlerdendi. Karamanoğullarının Alaaddin Bey'den itibaren hedeflerinin gümüş sikkeleri görülmektedir.
Hıristiyan alemi tarafından kutsal sayılan ve antik şehir olarak bilinen DERBE kenti Avrupalı hıristiyan turistlerin dikkat ve ilgisini çekiyor. (Derbe Karaman'a bağlı Aşıran köyü yakınlarında yer alır) Hıristiyanların Hz. İsa Peygamber'den sonra kendilerine dini lider olarak bildikleri MICHAEL Derbe'de yatmaktadır. Burayı ve MICHAEL'in kabrini ziyaret edenler Hıristiyan inancına göre kendilerinin hacı oldukları edinilen bilgiler arasındadır.
Karaman 15 Haziran 1989 tarihinde Türkiye'nin 70. Vilayeti olmuştur.