Каторгой изначально именовали судно с тройным рядом вёсел, появившееся в 7 веке в Венеции. Оттуда оно попало в другие страны Средиземноморья и Европы, а в России оказалось при Петре I и называлось также галерой. Гребцами на каторге были рабы либо преступники, поэтому слово распространилось на все виды наказаний, связанные с тяжёлой работой в ссылке.