Туда же, куда деваются файлы, если их выкинуть из корзины (или большие файлы, которые в корзину не вмещаются).
На самом деле в обоих случаях компьютер ничего не стирает физически. Зачем усилия тратить? Просто теперь то место, где раньше хранился файл, становится доступным для новых записей, то есть в любой момент компьютер там может что-то записать. Соответственно, пока поверх этого файла еще ничего не записали, его можно восстановить, если есть специальные программы. Это так что для флэшки, что для жесткого диска.
Для сравнения представьте, что у вас есть коллекция видеокассет (именно кассет.) Время от времени вы перебираете её содержимое и устаревшие, ненужные, разонравившиеся фильмы откладываете в сторону. Но Вы их не выкидываете, а предназначаете эти кассеты для того, чтоб записывать на них новые фильмы. Складываете их в стопочку вместе с чистыми и таскаете по одной, когда нужно, для записей.