"Дойти до ручки" означает совсем опуститься. А пошло все с Древней Руси, когда калачи пеклись с ручкой, представлявшей собой перемычку калача. Соблюдая гигиену на улице, такой калач съедался, а ручка отдавалась собакам или нищим. Человек, не брезговавший съесть ручку от чужого калача, ставился вровень с попрошайками и уличными собаками.