Il ponte deve il suo nome al fatto che era uno dei due ponti preferiti dalle due fazioni, Castellani e Nicolotti, in cui era divisa Venezia per fronteggiarsi in incontri di pugilato; sul ponte sono ancora visibili le orme ai quattro lati, realizzate in pietra d'Istria, da dove i lottatori dovevano partire; essendo all'epoca il ponte senza sponde, la troppa animosità li portava spesso a cadere in canale, dove si trovavano per forza di cose a doversi separare e desistere dalla lotta.
La divisione della città in due fazioni ha due teorie differenti: la prima la fa risalire alle antiche rivalità tra gli abitanti di Eraclea e di Jesolo che continuarono anche quando entrambe le popolazioni si trasferirono nelle isole della laguna da cui avrebbe poi preso origine Venezia, mentre altri dall'uccisione di un vescovo di Castello per mano dei Nicolotti. I Castellani erano gli abitanti delle parti orientali della città le cui parti estreme sono quelle del sestiere di Castello, ed avevano come segno distintivo berretto e sciarpa rossi, mentre i Nicolotti erano gli abitanti delle parti occidentali, terminanti con S. Nicolò dei Mendicoli e portavano berretto e sciarpa neri.