La historia de Casares es tan larga y antigua que hasta en el origen de su nombre se mezcla, como en todos los lugares milenarios, la historia y la leyenda. Para unos, Casares deriva de Caxara, «fortaleza» en árabe, mientras que otros lo derivan del nombre de Caesar (Cesar), caudillo político y militar romano, que curó de un mal cutáneo en los baños de la Hedionda, conocidos así por el peculiar olor que sus aguas sulfurosas dan a toda la zona.
Sin embargo, parece cierto que la población fue la íbera Lacipo (Aleschipe), que pervivió aún con la presencia romana, hasta que en el siglo IV desapareció. En aquella época también recibió la visita del emperador Adriano, quien se dirigía a Cádiz.
Durante la época musulmana, Casares, como otros muchos enclaves situados en la frontera del reino nazarí de Granada, tuvo una gran importancia estratégica por su castillo, fortaleza árabe donde tuvo lugar el «Pacto de Casares», recogido por los cronistas, que selló la alianza entre Pedro I «El Cruel» y el destronado Mohamed V de Granada para que el segundo recuperase su reino.
Tras la conquista de Ronda, Casares entra a formar parte de los reinos cristianos. A partir de ese momento, se inicia la repoblación de la zona, cedida al duque de Cádiz, por cristianos viejos en la costa, mientras los moriscos quedan en la serranía. Este sería el caldo de cultivo que en 1570 provocaría la rebelión morisca sofocada por Don Juan de Austria, siendo precisamente Casares donde el duque de Arcos y los cabecillas moriscos pactarían su fin.
Siguieron siglos en los que Casares apenas experimentó cambios, salvo la separación de Manilva, en 1795, y el levantamiento popular en 1810 contra el invasor francés, consiguiendo, por el valor, arrojo e inteligencia de los miembros de sus partidas, que junto con Cádiz, Casares fuese la única localidad que no lograron tomar los franceses.
Sin embargo para la mayor parte de los viajeros que ahora acuden hasta el bonito pueblo serrano, que se extiende hasta la costa, a lo largo de catorce kilómetros de sierra y monte bajo, hasta llegar a una preciosa y cuidada playa, el dato más significativo de su historia fue el nacimiento, el 5 de julio de 1885, de Blas Infante Pérez de Vargas, quien ha sido definido el «padre de la patria andaluza», orgullo de los casareños y cuya casa natal aún puede ser visitada.