Una leyenda del siglo XVII, cuenta que una tarde lluviosa, mientras llevaban a los gigantes-figuras alegóricas que desfilan en ocasiones religiosas- a una procesión, un aguacero obligó a sus dueños a pedir posada en esta casa.

Dada la altura de sus puertas, resultaba un refugio ideal para los gigantes.

Esa tarde un patojo curioso, mirando por el hoyo de la llave se llevó un tremendo susto: vió enormes personas con espadas al cincho y en actitud beligerante.

Corrió por las calles pidiendo auxilio. Las campanas de la ciudad llamaron para la defensa de lo que creyeron piratas atrincherados. Llegó la tropa auxiliada por los vecinos valerosos, todos dispuestos a vender caras sus vidas.

Colocaron un cañòn y dispararon la primera salva, exigiendo rendición. Al oír el estruendo de la pólvora, salió don Cristobal de Alverenga, su propietario, acompañado de su servidumbre.

Al notar que estaba rodeada sacó bandera blanca, y para convencer a los vecinos de la identidad de sus huéspedes abrió de par en par las enormes puertas. Los defensores creyeron ser víctimas de una emboscada cayeron al suelo con sus armas listas para disparar. Uno a uno los soldados, al darse cuenta de su equivocación se largaron a reir. Esa noche terminó con chismes y pulas y así fue que la casa fue bautizada para siempre como: LA CASA DE LOS GIGANTES.