En el lugar donde hoy se levanta el Puente de Piedra existía en la época romana otro puente. El puente romano coincidía con la prolongación del cardo máximus y cumplía la función de puente de la ciudad y de acueducto. No obstante la existencia de un puente romano ha sido muy debatida ya que poco se sabe de sus materiales y de su cronología, ya que las fuentes, tanto escritas como arqueológicas, son inciertas.
En época de Abd-el-Rahmán II se cita su destrucción y su reconstrucción, se narra que Alfonso I lo cruzó al conquistar la ciudad (1118), pero también que lo incendió. Por lo visto en esa época el puente era de madera.