历史上，克拉玛依属于北疆草原，许多游牧部落曾在这里繁衍生息。

在秦朝，克拉玛依现在是赛忠等民族的游牧地。

汉初，疆域由西迁的大月氏控制。

南北朝时期，其管辖的领土是高车和突厥部落的游牧地，后来归突厥汗国管辖。

隋朝所辖领土为西突厥铁勒等部之地。

唐初，所辖领土为西突厥武都的陆地部分——葫芦乌的游牧地。

公元657年，唐朝平定西突厥汗国后，设立烟波总督府(地址在今克拉玛依市附近)，隶属昆凌总督府管辖。

公元702年，归北方朝廷管辖。

唐朝末年，今天克拉玛依所辖地区是格洛鲁等回鹘的游牧地，后来是喀喇汗王朝的东北。

1130年，辽朝宗室耶律诗率部西移至叶密里(今额敏县)，今克拉玛依为其领地。

1132年西辽建立后，属西辽。

1218年，成吉思汗击败西辽政权，现在该城归蒙古汗国管辖。

成吉思汗分封士人的时候，克拉玛依地区现在是窝阔台的封地。

1251年，蒙哥汗登基后，在八里设立尚书省，现在克拉玛依归他管辖。

1309年，现在的克拉玛依地区属于察合台汗国。

明代，瓦拉蒙古的图尔库部在此游牧。1628年，图尔库部西迁后，属准噶尔部游牧地。

1755年，清朝平定准噶尔部后，现隶属克拉玛依版图。

1762年，清政府在库尔卡拉乌苏设大臣，现在城南的独山子、乌吾信镇、共青镇归其管辖。

1764年，清政府设立塔尔巴哈台参赞大臣，现在克拉玛依所辖的西北地区归他管辖。

1778年，清政府在玛纳斯河流域设立绥来县(今玛纳斯县)，隶属迪化直隶州。

管辖范围包括今天克拉玛依的百口泉、夏紫街、大拐、中拐、小拐。

到1886年，建立了库尔卡拉乌苏的直隶厅，至今仍管辖城南地区，下辖振地路。

1888年，塔尔巴哈台设立直隶厅，管辖范围包括现在城市的北部。

城市东部的大拐、中拐、小拐地区仍属绥来管辖，由迪化(今乌鲁木齐)政府管理。

1913年塔尔巴哈台、库尔卡拉乌苏直隶厅更名为县，仍辖城南、城北。

1916年撤塔尔巴哈台参赞，设塔城道，辖塔城、乌苏、沙湾三县。如今，克拉玛依周边地区归他管辖。

此后，这座城市归第五行政区和塔城地区管辖。

新中国成立前，辖沙湾县、乌苏县、克烈半县(今托里县)、鹤峰县(今布克赛尔蒙古族自治县)。

中华人民共和国成立后，为适应乌苏县独山子石油工业的发展，1955年2月成立了独山子矿区管委会。

1956年，根据自治区人民委员会《关于工矿区政权设置的决定》建立县级建制独山子镇，行政工委改为镇人民委员会，直属自治区人民委员会。

目前，该市其余地区仍属邻县管辖：乌尔禾地区属布克赛尔蒙古族自治县，大拐、中拐、小拐属沙湾县，黑游山、白碱滩属托里县，乌吾信镇、共青镇属乌苏县。

1958年5月，国务院批准成立克拉玛依后，正式划定其管辖范围。