Situado sobre un abrupto macizo de roca caliza y en lo más alto del pueblo, se alza el conocido como Castillo de Casares.
Desde su ubicación se dominan los valles, colinas y llanuras costeras que se extienden desde la serranía de Ronda hasta la Bahía de Algeciras, teniendo enlaces ópticos con Jimena, Castellar y Gibraltar. Servía por ello de elemento de comunicación entre las ensenadas litorales de Manilva y Estepona y las fortalezas, torres y aldeas del interior, así como con la ciudad de Ronda.
Los restos que se conservan de la fortaleza, así como los resultados de las diversas excavaciones realizadas en su solar, no arrojan datos sobre asentamientos anteriores al medievo. Así, las primeras referencias a esta fortaleza son de fuentes árabes del siglo XIII, cuando, formando parte del protectorado benimerín, Casares adquirió gran importancia como una de las fortalezas situadas entre el litoral del Estrecho y la Serranía de Ronda.
El recinto amurallado tiene forma de polígono irregular con diversos entrantes y salientes provocados por los condicionantes topográficos, ya que el muro, especialmente en sus partes sur, oeste y norte, sigue el borde de un profundo barranco conocido como “La Planá”. Es por ello por lo que la muralla no llega a tener gran altura, siendo en algunas partes (principalmente al borde del barranco) un simple muro quitamiedos. El perímetro del recinto es de 770.50 metros, y su superficie alcanza los 23.692 metros.
La población se ha ido extendiendo, fuera de las murallas, sobre la ladera oriental y otros cerros cercanos, quedando dentro del recinto la Antigua Iglesia de la Encarnación de finales del siglo XVI (construida seguramente sobre la mezquita mayor de la medina, alrededor de la cual se fueron construyendo las casas), el arrabal (actual Calle Arrabal) y el cementerio. Hoy en día, además se sitúan dentro de dicho recinto viviendas y equipamientos turísticos (casas rurales, restaurantes, y museo de etnohistoria), ya que se trata de una de las zonas más pintorescas y bellas del municipio, de obligada visita.
Además de restos de la muralla, se conservan también parte de los muros y torres del Alcázar, situado en la parte más elevada de la meseta.
Con respecto a las puertas de ingreso, en el flanco se encuentra la única puerta de acceso a la fortaleza, conocida como “Arco de la Villa”. Se abre en el interior de una torre de planta cuadrada, formando un pasadizo acodado, en el que actualmente se ubica el Museo de Etnohistoria. Una segunda puerta se abre en el ángulo norte de la muralla; puerta que daba acceso al arrabal, y que es conocida como el “Arco del Arrabal”.
