Какой программой найти дублирующиеся файлы. Для поиска копий картинок, изображений

На сегодняшний день технология создания жестких дисков намного шагнула вперед, предлагая пользователям накопители гигантских размеров — до нескольких тысяч ГБ, среди которых наиболее популярны жесткие диски емкостью от 2 до 4 ТБ.

Единственной проблемой такого изобилия свободного места на компьютере у большинства пользователей является прекращение слежения за объемом хранящихся данных и, в следствие этого, неожиданное переполнение жестких дисков — в этом случае поможет только наведение порядка в файлах и поиск дубликатов файлов.

Благодаря высокой скорости соединения с интернетом загрузка любых файлов уже не проблема и является обыденным делом. Исходя из этого, жесткий диск постепенно заполняется различным контентом: видеоклипами, фильмами различного качества, фотографиями, музыкой, документами и другими данными. Со временем во всех этих файлах становится трудно ориентироваться особенно тогда, когда файлы раскиданы по разным папкам с бессмысленными названиями.

Нередки случаи хранения нескольких копий различных файлов, о которых пользователь может даже не подозревать. Бывает еще такое, что, при редактировании фотографий в графических редакторах, они сохраняют резервную копию оригинального изображения без ведома пользователя — таким может похвалиться программа ACDSee .

Чтобы не допустить переполоха среди файлов и накапливания мусора на жестком диске, необходимо заранее позаботиться о структурированном хранении всех данных на накопителе, а также следует вести список хранящихся файлов, если вы собираете в коллекцию альбомы исполнителей, фильмы определенного жанра и многое другое. Но если вы уже докатились до каламбура в файловой системе, мы подскажем вам как навести порядок в файлах на вашем компьютере.

Существует множество способов и стратегий наведения порядка в файлах на компьютере. В свою очередь мы приведем одну стратегию, которая, на наш взгляд, является самой оптимальной и действенной. И в данной, первой части, публикаций на тему наведения порядка в файлах мы коснемся поиска дубликатов файлов.

WinDirStat.

С помощью бесплатной программы WinDirStat можно с легкостью узнать и проанализировать какие файлы занимают больше всего дискового пространства на жестком диске. Данная утилита предоставляет удобную статистику использования места на жестком диске файлами различного типа.

В нижней части окна программы расположена своеобразная мозаика из разноцветных блоков. Цвет каждого блока зависит от типа файлов, а размер блока — от количества занимаемого места (чем больше блок, тем больше размер файлов данного типа).

Кроме просмотра статистики в программе WinDirStat можно осуществить удаление больших файлов, которые занимают значительную часть дискового пространства.

Скачать WinDirStat можно для компьютеров только с операционной системой Windows.

Auslogics Duplicate File Finder.

Программа Auslogics Duplicate File Finder позволит отыскать на любом носителе информации (например, жесткий диск, флешка, карта памяти) дубликаты файлов и в последующем избавиться от них, удалив прямо из окна программы.

Утилита способна находить копии файлов различных типов: аудио, видео, изображения, архивы и исполняемые файлы.

Программа при поиске дубликатов файлов использует алгоритм MD5, который позволяет находить эти самые копии файлов с разными атрибутами (названия, даты создания и пр.).

Duplicate File Remover.

Duplicate File Remover — еще одна программа, которая предназначена для поиска дубликатов файлов различных типов. Помимо поиска программа может удалить, переместить или скопировать файлы в выбранную категорию по вашему желанию.

Используемый программой Duplicate File Remover алгоритм позволяет находить дубликаты текстовых документов, аудио, видео, изображений и других типов файлов со 100%-й точностью.

Список найденных копий можно отсортировать и экспортировать в HTML-отчет.

Пожалуй, единственным минусом данной утилиты является ее условно-бесплатная лицензия, но, в любом случае, стоит скачать Duplicate File Remover с бесплатным пробным периодом 30 дней.

Кроме представленных выше программ для поиска дубликатов файлов существуют и другие.

Например, Anti-Twin — использует тот же самый побайтовый алгоритм сравнения файлов, что и программа Duplicate File Remover. Позволяет находить копии текстовых документов, аудио и видео файлов, изображений и других типов файлов. По завершению поиска и анализа файлов дубликаты можно удалить прямо из окна программы.

Программа VisiPics заточена специально для поиска изображений. Производит поиск фотографий по содержимому, способна найти одно и то же изображение с разными разрешениями. Процентное отношение степени совпадения файлов можно регулировать вручную.

В свою очередь, программа Similarity создана специально для поиска копий аудиофайлов, сравнивая содержание музыкальных композиций.

Знайте, что избавление от дубликатов файлов имеет только положительные стороны, а именно: освобождение дискового пространства от мусора, повышение производительности компьютера, ускорение дефрагментации файловой системы и уменьшение времени сканирования компьютера на вирусы.

Обращаем внимание на то, что данным программам доверять можно, но не на все 100%. Программа редко, но может, ошибочно посчитать дубликатом совсем не подходящий под эти условия файл, который может оказаться важным для вас. При соответствующем подходе и аккуратном использовании программ для поиска дубликатов файлов эти полезные утилиты станут вашими хорошими помощниками в генеральной уборке файловой системы компьютера.

Очень удобной функцией в приложении CCleaner является поиск дубликатов файлов. Очень часто на компьютере существуют идентичные по дате, размеру и названию файлы. Безусловно, некоторые из них нужны, а некоторые могли быть созданы случайно или загружены несколько раз из интернета. Все эти файлы в итоге накапливаются, свободного места становится все меньше и меньше, и, в итоге, компьютер начинает притормаживать. Поэтому, время от времени, от таких файлов нужно избавляться. Если вы продвинутый пользователь ПК, то вам не составит труда найти файлы дубликаты CCleaner какие удалять, но если вы новичок в этом деле, тогда мы поможем вам в этом разобраться.

Какие файлы не нужно удалять

Прежде чем начать поиск дубликатов и удалить их, давайте рассмотрим можно ли удалять файлы дубликаты Сиклинер? Для начала, хотелось бы отметить, что программа не даст удалить абсолютно все копии файла. Один из них обязательно должен остаться нетронутым. Далее, не рекомендуем удалять системные файлы. Наличие у них дубликатов вполне нормальное явление. Как правило системные файлы расположены на диске С в папке Windows.

Файлы, какие можно удалить

Как правило, компьютер состоит из нескольких разделов (дисков). Объем информации, который хранится на каждом из них, скорее всего, впечатляющий. Там есть и картинки, и музыка, и видео, и фотографии, и еще много всего. Некоторые из повторяющихся файлов могли быть продублированы пользователем ошибочно, например, по забывчивости файл был сохранен в разные разделы. Некоторые файлы могли быть загружены с интернета несколько раз и т.д. И когда программа находит такие файлы, то можно смело удалять их с вашего компьютера.

Поиск дубликатов

Во вкладке «Сервис » есть раздел «Поиск дублей ».

В этом разделе, на усмотрение пользователя, можно задать критерии поиска. Можно задать поиск дубликатов по какому-либо одному параметру поиска: по размеру, по дате, по имени и по содержимому или по нескольким параметрам одновременно, отмечая их галочками.

Также можно определить те файлы, которые необходимо пропускать. Здесь есть несколько вариантов:

  • Файлы нулевого размера;
  • Файлы, которые доступны только для чтения;
  • Скрытые файлы;
  • Системные файлы;
  • Файлы, размер которых не превышает заданный вами объем мегабайт;
  • Файлы, размер которых больше заданного объема мегабайт.

Во вкладке «Включения » можно указать места, в которых будет осуществляться поиск. Для проверки какой-либо определенной папки необходимо выбрать «Добавить ». Появится следующее окошко

Нажимаем на кнопку «Обзор » и выбираем желаемую папку, указав путь к ней.

Во вкладке «Исключения » можно задать те папки, которые не должны быть затронуты при поиске.

Добавить их можно аналогично вкладке «Включения ». Нажимаем «Обзор » и выбираем данную папку.

После установки всех параметров поиска нажимаем на кнопку «Найти ».

Результаты поиска дубликатов

После поиска, результаты будут показаны в виде таблицы.

В ней будет указано имена файлов, места, где они расположены, их размеры и даты создания.

Чтобы удалить дубликаты, ставим напротив них галочки. Если вы нажмете правой кнопкой мыши на каком-нибудь файле, то появится контекстное меню.

Выделить все Возможность отметить все найденные дубликаты. У всех файлов останется только одна копия – нижняя.
Снять выделение Возможность убрать отметку со всех найденных дубликатов, в случае их выделения.
Выделить тип/Снять с типа Возможность отметить (снять отметку) все файлы одинакового типа.
Исключить/Ограничить/Выбрать дубликаты Возможность произвести выбранное действие применительно к одной из папок, в которых находится файл.
Сохранить отчет… Возможность сохранения отчета в текстовом документе.
Открыть папку Позволяет открыть папку, в которой располагается данный файл.

После того, как вы выбрали все дубликаты, которые хотите удалить, нажимаем на кнопку «Удалить ».

" пришла новая - "как во всем этом разобраться?" Объемы современных жестких дисков достигли того, что на них вполне может случайно затеряться с десяток DVD-образов, не говоря уже о сотнях фотографий. Вы можете не замечать ненужных и повторяющихся файлов вплоть до того момента, когда место вдруг неожиданно закончится. Но перед тем, как покупать новый жесткий диск, имеет смысл почистить старый на предмет дубликатов. Возможно, после генеральной уборки проблема свободного места уже не будет стоять так остро. Искать повторяющиеся файлы вручную – это долго и неудобно. Гораздо проще воспользоваться одной из специальных утилит, которые выполняют большую часть работы за вас. Если вы готовы к ревизии жесткого диска, осталось только подобрать подходящий инструмент.

Разработчик: Ashisoft Software
Размер дистрибутива: 1,9 Мб
Распространение: shareware
Интерфейс: английский Duplicate Finder может выполнять две основные задачи: искать файлы по заданным критериям и сортировать их. К возможностям поиска относится побайтовое сравнение, проверка контрольной суммы, поиск файлов с одинаковыми названиями и с нулевым размером. Дополнительно можно установить защиту на системные папки, исключить из области поиска скрытые папки и файлы, а также включить режим Fuzzy Logic. В этом режиме файлы с незначительными отличиями будут показываться как идентичные. В область поиска можно включить сразу несколько папок, причем, для каждой задать свои параметры исключения. Так, в рамках каждой папки можно ограничивать поиск файлами определенного типа, размера; также есть ограничение по дате. Типы разрешенных файлов не придется вписывать вручную – тут есть достаточно много профилей для разновидностей файлов, например, текстовых, видео, аудио и т.д. Каждый профиль легко редактируется. Отдельно задаются папки, в которых не стоит выполнять поиск. Эта функция полезна, если областью поиска являются не отдельные папки, а целый жесткий диск. В этом случае удобно указать те папки, которые нужно пропускать. То же самое касается типов файлов – вы можете указать, файлы с каким расширением нужно пропускать.

Найденные дубликаты выводятся не по ходу сканирования, а после того, как поиск будет завершен. В то время, когда Duplicate Finder работает, вы можете наблюдать в строке состояния за ходом выполнения задания и за тем, сколько файлов было проверено. Результаты поиска будут представлены в виде списка. Различить, какие файлы являются дубликатами, можно по цвету: каждая вторая пара одинаковых файлов будет выделена голубым. Честно говоря, очень наглядным назвать такое выделение нельзя - было бы гораздо удобнее, если бы использовался другой цвет, но возможности его изменить мы в программе так и не обнаружили.

В списке найденных файлов показывается исчерпывающая информация о каждом из них: путь на диске, расширение, размер, дата последнего изменения. При помощи команд контекстного меню или кнопок на панели инструментов можно быстро переместить файл в другую папку, удалить его или скопировать. Кроме этого, можно просмотреть свойства файла, открыть в «Проводнике» папку, в которой он находится, или открыть сам файл. Стоит отметить достаточно широкие возможности выделения файлов в списке. Например, есть команда для быстрого выделения всех найденных дубликатов, для выделения всех файлов, которые относятся к указанным папкам, а также по размеру и по дате создания.

Предпросмотр некоторых графических файлов можно выполнить прямо в Duplicate Finder, правда, список поддерживаемых форматов не очень велик. Например, файлы.jpg и.bmp открылись во встроенном просмотрщике без проблем, а вот.tiff посмотреть не удалось. Для коммерческой программы, предназначенной для поиска дубликатов, стандартная схема "триал-версия на 30 дней" не подходит, поскольку за это время вполне можно успеть выполнить поиск ненужных файлов на всех жестких дисках, и приложение окажется просто ненужным. Поэтому разработчики Duplicate Finder применили другой подход: в оценочном режиме при помощи программы можно переместить, скопировать или удалить до 50 файлов, общий размер которых не может превышать 2 Мб. Впрочем, ничто не мешает вам удалять дубликаты, найденные при помощи Duplicate Finder, из файлового менеджера, но это не очень удобно. Хотя, если вы выберете этот, в общем-то, не очень честный способ, то имейте в виду, что в меню Action есть удобная команда Copy File Path To Clipboard, которая дублируется сочетанием клавиш CTRL+W. При выполнении этой команды в буфер обмена копируется путь к выделенному файлу. Остается только вставить его в командную строку файлового менеджера, и вы быстро окажетесь в нужной папке.

Разработчик: Александр Рослов
Размер дистрибутива: 3,9 Мб
Распространение: бесплатно
Интерфейс: русский Бесплатная программа DupKiller вполне может дать фору многим коммерческим аналогам. Утилита имеет достаточно удобный и, к тому же, русский интерфейс и может похвастаться гибкими настройками поиска дубликатов. Кроме стандартных возможностей сравнения файлов по названию, размеру, дате создания и типу тут можно найти интересную возможность сравнения по содержимому. При этом, пользователь может определить, откуда нужно начинать сравнивать файлы – с начала или с конца, а также указать, при каком проценте "похожести" их можно считать одинаковыми. Также стоит обратить внимание на возможность поиска файлов с похожими названиями. Выбрав эту функцию, можно определить, насколько файлы должны отличаться по названию, чтобы программа восприняла их как дубликаты.

Исключения тоже гибко настраиваются: можно указать минимальный и максимальный размер файлов для поиска, указать допустимые атрибуты для файлов и папок, а также расширения файлов и папки, которые должны быть исключены из поиска. DupKiller может искать дубликаты не только на жестких дисках, но и на виртуальных, RAM- и CD/DVD-дисках. Очень удобно, что для каждого носителя выводится его общий размер, а также количество свободного места в гигабайтах и процентах. После удаления ненужных файлов вы сможете сравнить результаты и оценить, насколько программа оказалась полезной. С ее помощью вы также можете определить, какие файлы уже были скопированы на DVD, и потому могут быть безболезненно удалены с винчестера. Во время сканирования программа ведет подробный лог операций и сообщает, какое действие выполняет в данный момент. После завершения операции выводится окно с сообщением о том, сколько времени было потрачено на поиск, сколько найдено повторяющихся файлов, и какой размер они занимают на жестком диске.

Список найденных дубликатов достаточно нагляден: файлы разбиваются на группы, которые визуально отделены друг от друга. Щелчок по файлу открывает окошко предварительного просмотра. Просмотр доступен для многих графических файлов, а также для всех текстовых. А подключив плагин, который входит в поставку DupKiller, но по умолчанию выключен, можно, не покидая программу, выполнять прослушивание аудиофайлов.

Возможности работы со списком дубликатов тоже на высоте: есть кнопки для быстрого удаления выделенных и помеченных файлов, автоматическое выделение файлов по ряду признаков. Параметры удаления настраиваются отдельно – можно переносить файлы в «Корзину» или удалять их безвозвратно.

Разработчик: Reasonable Software
Размер дистрибутива: 1,8 Мб
Распространение: shareware
Интерфейс: английский NoClone – это, пожалуй, самая известная программа для поиска дубликатов, и ее популярность вполне объяснима. Ее не очень симпатичный внешний вид с лихвой компенсируется большим числом функций. Программа может выполнять побайтовое сравнение файлов, находить одинаковые файлы MP3 по ID3-тегам, а также производить поиск в почте на предмет одинаковых писем. При помощи NoClone можно находить не только повторяющиеся файлы, но и делать выборку по определенному критерию, например, выводить список всех файлов, размер которых превышает 500 Мб, или всех файлов, которые были изменены в течение указанного промежутка времени.

Если вы регулярно делаете резервное копирование, а также выполняете синхронизацию данных между двумя компьютерами, у вас неизменно скапливается большое число версий одних и тех же файлов. Благодаря функции поиска похожих файлов (Similar Files), NoClone позволяет найти и удалить их. В настройках программы можно определить, на сколько процентов файлы должны быть похожи, чтобы NoClone показала их в списке дубликатов. Список с найденными дубликатами достаточно нагляден: в нем можно увидеть название, размер, расположение и дату файла. Очень продуманна функция предварительного просмотра изображений – если в других программах картинки показываются в небольшом всплывающем окошке, которое появляется при выборе графического файла в списке, тут есть специальная панель предпросмотра. На ней можно отобразить несколько файлов одновременно.

Разобраться со списком дубликатов поможет инструмент Smart Marker. C его помощью можно выделить найденные файлы по таким критериям, как размер, дата, название, количество символов в имени, расположение. Кроме этого, есть специальные флажки "оставлять как минимум один невыделенный файл в группе" и "выделить файлы в каждой группе". Еще одна особенность NoClone обнаруживается, когда дело доходит до удаления файлов. Кроме стандартных способов удаления – помещения дубликатов в корзину и полного удаления – в программе есть еще один интересный вариант: замена файла NTFS-ссылкой. Иными словами, программа оставляет на жестком диске только один файл, а вместо всех копий создает ссылки, которые ведут на него. Это может быть очень полезно, когда найденные при помощи NoClone дубликаты используются другими приложениями, например, если речь идет о библиотеке виртуальных дисков в программе Alcohol. Если вы удалите файл, то при запуске таких приложений можете получать сообщения об ошибках. Если же будет создана NTFS-ссылка, программа будет "видеть" файл по старому адресу, а фактически его там не будет. Разработчик: Marcus Kleinehagenbrock
Размер дистрибутива: 650 Кб
Распространение: бесплатно
Интерфейс: английский CloneSpy – это компактная бесплатная утилита для поиска дубликатов файлов со множеством интересных решений, к которым вполне могут присмотреться создатели многих коммерческих программ. Во-первых, тут очень удобное окно для добавления папок в область поиска. В большинстве программ для добавления каждой новой директории приходится по новой вызывать окно со списком папок и проделывать путешествие к нужному элементу, начиная с "Моего компьютера". В CloneSpy все гораздо удобнее: есть специальное окошко для добавления папок, которое разделено на две части: в левой вы выбираете нужную директорию, затем нажимаете кнопку Add Selected Folder, и директория добавляется в список папок, которые будут сканироваться. Повторять эти действия можно сколько угодно раз, не закрывая окна добавления папки. А список выбранных папок можно сохранять для дальнейшего использования и, при необходимости, подгружать в программу.

Следующая особенность – вывод результатов поиска по мере обнаружения дубликатов. В других программах, чтобы увидеть повторяющиеся файлы, как правило, приходится ждать конца сканирования, которое, в зависимости от того, насколько широка область поиска, может затянуться и на всю ночь. Тут же результаты можно просмотреть мгновенно – по мере поиска программа открывает отдельные окна для каждой группы повторяющихся файлов. В таком окне сразу же можно запустить файл, открыть папку, в которой он находится в «Проводнике», отметить файлы вручную или, по ряду критериев (дата, количество символов в названии, длина пути к файлу), удалить или пропустить и перейти к следующей группе дубликатов.

Работу с программой несколько омрачает отсутствие возможности предварительного просмотра изображений – каждый раз запускать программу для просмотра графики очень неудобно. Если вы выполняете сканирование большой области, то вывод результатов в отдельном окне для каждой группы файлов вряд ли будет удобен. Поэтому в этом случае перед началом сканирования стоит заглянуть на вкладку Report настроек программы и изменить параметры вывода результатов. Правда, выбрав вариант отображения результатов в виде единого списка, вы не сможете работать с дубликатами до завершения сканирования.

После долгого, постоянного пользования компьютером, на его дисках, как ни крути, накапливаются большие объёмы данных, т. е. всякие фотографии, видео, фильмы, музыка, документы и прочее. Когда данные занимают много места - это нормально, к примеру, у меня самого нужных данных более чем на 600 Гб, а в кого-то ещё больше. Но очень часто слишком много места занимают дубликаты файлов.

Такие файлы могут появляться, когда вы, к примеру, переносите их откуда-то в новое место на диске, забывая, что у вас уже такие файлы на этом диске имеются. И ладно если навалом дубликатов всяких документов, но когда много дубликатов фоток, музыки и особенно видео, то это, как правило, отнимет у вас прилично места на диске. Недавно проверял и обнаружил, что дубликаты съедают у меня порядка 100 Гб. на жёстком диске, что, на мой взгляд, весьма много:)

В данной статье я покажу вам простой способ найти все дубликаты файлов в Windows на ваших дисках, чтобы вы могли легко проверить их и быстренько удалить всё ненужное.

В Windows, к сожалению, нет нормальных встроенных средств для поиска дубликатов файлов. Есть вариант сделать это через командную строку PowerShell, но это очень неудобно, тем более для новичков будет сложновато. Поэтому проще воспользоваться сторонними программами. Одна из таких называется AllDup. Она полностью бесплатная, доступна на русском языке, поддерживается всеми операционными системами Windows и, наконец, довольно проста в использовании.

Загрузка и установка программы AllDup

Программу можно загрузить бесплатно с официального сайта AllDup. Ниже ссылка на раздел загрузки:

Программа доступна в двух вариантах: обычном установочном и портативном (Portable). Портативный отличается тем, что не требует установки на компьютер, т. е. программу можно будет запускать прямо из скачанной папки.

Для скачивания нажмите кнопку «Server #1», либо «Server #2» или «Server #3» (если по первой кнопке скачивания не происходит, даны запасные серверы) под нужной версией программы.

Прямые ссылки на скачивание последней на сегодняшний день версии (март 2017) AllDup: стандартная версия , портативная версия . За свежими версиями всегда обращайтесь к официальному сайту AllDup!

Установка программы очень проста, можно сказать, состоит из последовательных нажатий «Далее», никаких специальных настроек производить не нужно. Поэтому данный процесс я рассматривать не буду.

Подробнее о нюансах установки программ для Windows рассказано

Поиск дубликатов при помощи AllDup

После того как установите программу, запустите её. Откроется главное окно для настроек поиска:

Настройка поиска включает в себя несколько этапов:


Это все основные этапы настройки поиска, остальные можно не задействовать.

Теперь, для запуска поиска дубликатов, нажмите кнопку «Поиск» вверху окна AllDup:

Начнётся процесс поиска.

Чем больше файлов в указанных вами папках находится на ваших дисках, тем дольше будет идти поиск.

После того как поиск будет завершён, программа в виде таблицы отобразит найденные файлы с дубликатами.

Первое, что лучше сделать сразу - сохранить результаты поиска, потому что если вы сейчас закроете это окно с результатами, то потом поиск придётся выполнять заново. Для сохранения нажмите кнопку с изображением дискеты, либо выберите в верхнем меню «Результат поиска» и нажмите «Сохранить результат поиска».

Теперь, даже если вы выключите компьютер, запустив потом программу снова, вы сможете вновь добраться до результатов поиска.

Результаты поиска вы можете отсортировать по разным параметрам, кликая по заголовкам столбцом в таблице. Наиболее полезный, на мой взгляд, критерий для сортировки - размер файлов. Поэтому, если хотите чтобы вверху таблицы отображались самые большие найденные файлы, то кликните по столбцу «Размер (Байт)».

Следующее, что лучше настроить для удобства просмотра результатов - отображаемый размер. Изначально размер файлов программа показывает в байтах, что не очень удобно. Лучше выставить отображение в мегабайтах или даже гигабайтах. Для этого нажмите кнопку, отмеченную на скриншоте ниже (1), после чего отметьте один из вариантов (2):

Теперь остановлюсь на том, как, собственно, пользоваться результатами поиска, как посмотреть и удалить ненужные дубликаты…

Найденные дубликаты программа делит на так называемые группы. Одна группа - это все найденные копии одного и того же файла, включая оригинал (он тоже будет отображаться в этой группе).

Чтобы посмотреть дубликаты одной из групп, нужно её открыть, кликнув по стрелочке. Пример:

Раскрыв определённую группу, вы можете проверить, что это за файл, открыв его. Для этого просто дважды кликните по файлу в группе либо нажмите ПКМ и выберите «Открыть файл». Файл будет открыт через стандартную программу Windows, через которую у вас обычно открываются все файлы выбранного типа.

Чтобы удалить дубликаты, отметьте их галочкой, щёлкните ПКМ и выберите один из вариантов: удаление файла в корзину Windows либо безвозвратное удаление.

Соответственно, не удаляйте все файлы из группы, потому что так вы удалите и дубликаты и оригинал сразу! Например, если в группе 3 файла, то удалив сразу 3, вы удалите и оригинал и 2 дубликата. В этом случае, чтобы сохранить только единственную копию файла, вам нужно удалить 2 файла из группы.

Таким образом, вы можете проверять отдельно каждую группу и удалять дубликаты. Но если информации найдено очень много, можно сделать проще. Сделать так, чтобы программа автоматически выбрала в каждой группе все файлы, кроме одного (т. е. только дубликаты), после чего вы можете разом избавиться от всех дубликатов или перед этим пробежаться и перепроверить, точно ли всё отмеченное подлежит удалению.

Чтобы автоматически отметить дубликаты, зайдите в меню «Выбор» (1) и отметьте включите там один из вариантов (2), например, «Выбрать все файлы, за исключением первого файла».

В результате программа в каждой группе выделит 2 дубликата, а первый в списке файл оставит не выбранным. То есть, таким образом, вы отметите 2 дубликата, а оригинал останется не отмеченным. Или же можете через меню «Выбор» попробовать другие опции, удобные вам.

После того как программа отметила файлы, вы можете перепроверить выбор, если требуется. А чтобы быстро всё ненужное удалить или выполнить какое-то другое действие, нажмите кнопку, отмеченную на скриншоте ниже:

В открывшемся окне вы увидите общий объём выбранных файлов, т. е. сколько места занимают найденные дубликаты и количество выбранных файлов. Внизу вам нужно выбрать действие над выбранными файлами. Вы можете удалить файлы через корзину, удалить безвозвратно (пункт «Удаление файлов»), скопировать или переместить файлы в какую-либо папку, а также переименовать найденные дубликаты. Если вы уверены в том, что отмеченные файлы являются дубликатами и больше вам не нужны, то проще их удалить, но в любом случае выбор за вами.

Итак, выберите нужное действие (1) и нажмите «ОК» (2). Больше здесь можно ничего не настраивать.

После этого программа произведёт выбранное вами действие над отмеченными ранее файлами!

Вот и весь процесс:) Чтобы выйти из результатов поиска просто закройте это окно. Если вы сохранили результаты поиска, то затем, если вам снова потребуется этот результат, вы можете добраться до него через раздел «Результат поиска» (1) в главном окне программы. Сохранённые вами результаты будут отображены в таблице (2). Чтобы открыть нужный результат просто кликните по нему дважды.

Заключение

AllDup – очень удобная программа для поиска дубликатов ваших файлов на компьютере. В программе нет, по сути, ничего лишнего, в ней есть все нужные инструменты, фильтры и параметры для быстрой обработки большого объёма найденных дубликатов. Конечно, есть и аналогичные программы, которые наверняка тоже хорошо справляются со своей задачей. Я пробовал пока что только AllDup и менять её пока не вижу никакого смысла.

Иногда в повседневной компьютерной деятельности возникает задача найти дубликаты файлов. Причин для этого может быть множество: нехватка места на жестком диске, попытки уменьшить энтропию в своих файлах, разобраться со сброшенными в разное время фотографиями с фотоаппарата и множество других нужных случаев.

В сети можно найти большое количество программ, которые позволяют искать дубликаты файлов. Но зачем искать какие-то программы, если шикарный инструмент для такой работы обычно всегда под рукой. И называется этот инструмент Total Commander (TC ).

В этой статье я покажу все методы на основе Total Commander версии 8.5 , в этой версии поиск дубликатов файлов стал очень богат функционально.

!!!Маленькое важное отступление. Что нужно понимать под словом дубликат файла? Два файла ИДЕНТИЧНЫ только тогда, когда они полностью совпадают побитно. Т.е. любая информация в компьютере представлена последовательностью нулей и единиц. Так вот, файлы совпадают только тогда, когда у них полностью совпадает последовательность нулей и единиц, из которых эти файлы состоят. Все разговоры о том, что можно сравнить два файла по какому-либо другому признаку, глубоко ошибочны.

В TC есть два, различающихся по своей сути, метода поиска дублирующихся файлов:

  • Синхронизировать каталоги;
  • Поиск дубликатов;

Их особенность и применение лучше всего показать на примерах.

1.Синхронизация каталогов.

Данный метод применяется тогда, когда у вас две сравниваемые папки имеют идентичную структуру. Это обычно бывает во многих случаях, вот несколько из них:

  • Вы регулярно делали архив своей рабочей папки. Через какое-то время вам понадобилось выяснить, какие файлы были добавлены или изменены с момента создания архива. Вы распаковываете весь архив в отдельную папку. Структура папок в нем практически совпадает с рабочей. Вы проводите сравнение двух папок «исходной» и «восстановленной из архива» и легко получаете список всех измененных, добавленных или удаленных файлов. Пара несложных манипуляций — и вы удаляете из восстановленной папки все дубликаты файлов, которые есть в рабочей.
  • Вы работаете в папке на сетевом диске и регулярно делаете копию к себе на локальный диск. Со временем ваша рабочая папка стала довольно большой и время, затрачиваемое на полное копирование, стало очень большим. Чтобы не копировать каждый раз всю папку, можно сначала провести сравнение с резервной и скопировать только те файлы, которые были изменены или добавлены, а также удалить в резервной папке файлы, которые были удалены из основной.

Когда вы войдете во вкус, почувствуете всю предоставленную мощь этого метода, вы сами сможете придумать тысячи ситуаций, когда метод синхронизации каталогов окажет вам огромную помощь в работе.

Итак, как же все происходит на практике. Приступаем.

Предположим у нас есть основная папка «Рабочая» , в которой лежат файлы, с которыми происходит работа. И есть папка «Архив» , в которой лежит старая копия папки «Рабочая» . Наша задача найти в обеих папках дублирующиеся файлы и удалить их из папки «Архив» .

Открываем TC. В правой и левой панелях открываем сравниваемые папки:

Нажимаем меню «Команды»-«Синхронизировать каталоги…»


Открывается окно сравнения каталогов

Далее нам необходимо установить параметры сравнения. Ставим галочки в параметры «с подкаталогами», «по содержимому», «игнорировать дату»

  • «с подкаталогами» — будут сравниваться файлы во всех подкаталогах, указанных папок;
  • «по содержимому» — вот ключевая опция, которая заставляет TC сравнивать файлы ПОБИТНО!!! В противном случае, файлы будут сравниваться по имени, размеру, дате;
  • «игнорировать дату» — эта опция заставляет TC показывать различающиеся файлы, без попытки автоматического определения направления будущего копирования;

!!! Сравниваться будут файлы только с одинаковыми именами!!! Если файлы идентичны, но они имеют разное имя, то они не будут сравниваться!

Нажимаем кнопку «Сравнить». В зависимости от объёма файлов, сравнение может идти очень долго, не пугайтесь. В конце концов сравнение закончится и в нижней строке состояния(на рисунке секция 1) отобразится результат:


Если кнопки в секции «Показывать» (на рисунке секция 2) нажаты, то вы увидите результат сравнения для каждого файла.

— эта кнопка включает отображение файлов, которые есть в левой панели, но которых нету в правой;

— эта кнопка включает отображение идентичных файлов;

— эта кнопка включает отображение различающихся файлов;

— эта кнопка включает отображение файлов, которые есть в правой панели, но которых нету в левой;

Если у вас, изначально, все кнопки отображения выключены, то результат сравнения можно оценить только по строке состояния (на рисунке выше секция 1), в данном случае мы видим что сравнились 11 файлов, из которых 8 файлов являются одинаковыми, 2 файла различаются, и еще в левой панели имеется файл, которого нет в правой панели.

Для выполнения нашего задания необходимо оставить отображение только идентичных(одинаковых) файлов, поэтому все остальные кнопки отображения выключаем


Теперь у нас остались только идентичные файлы, и мы спокойно можем удалить их в папке «Архив» . Для этого выделяем все файлы. Проще всего это сделать нажатием универсальной комбинации CTRL+A . Или сначала выделить мышкой первую строчку, потом нажать на клавиатуре клавишу SHIFT и не отпуская ее выделить мышкой последнюю строчку. В результате у вас должно получиться вот так:

Заключительным шагом мы нажимаем правой клавишей мышки на любую строку и в открывшемся меню выбираем пункт «Удалить слева»

TC любезно переспрашивает нас о нашем желании,

и если мы нажимаем «ДА» , то он удаляет все помеченные файлы в папке «Архив» .

После этого, автоматически, происходит повторное сравнение двух папок. Если вам не нужно повторное сравнение, то процесс можно прервать, нажав на кнопку «Прервать» или нажать клавишу ESC на клавиатуре. Если повторное сравнение не было прервано, и мы включили все кнопки отображения, то мы увидим вот такое окно

Все. Поставленная задача выполнена. Все одинаковые файлы найдены и удалены в папке «Архив» .

Обучающее видео по теме

2.Поиск дубликатов.

Коренное отличие данного метода от метода синхронизации каталогов заключается в том, что TC игнорирует имена сравниваемых файлов. Фактически, он сравнивает каждый файл с каждым, и показывает нам идентичные файлы как бы они не назывались ! Такой поиск очень удобен, когда вы не знаете ни структуры папок, ни имен сравниваемых файлов. В любом случае, после поиска дубликатов, вы получите точный список идентичных файлов.

Поиск дубликатов я покажу на одной практической задаче, поиске дубликатов личных фотографий. Довольно часто вы сбрасываете в компьютер фотографии со своих цифровых гаджетов. Частенько ситуация запутывается, что-то сбрасывается по многу раз, что-то пропускается. Как быстро удалить файлы, сброшенные несколько раз? Очень просто!

Приступаем.

Предположим, вы всегда сбрасываете все свои фотографии в папку «ФОТО» на диске D. После всех сбросов папка имеет примерно такой вид:

Как видим, некоторые файлы находятся в папках, названных по дате съемки, некоторые сброшены в корень папки «_Новые» и «_Новые1»

Чтобы начать поиск дубликатов открываем в любой панели TC папку, в которой будем искать. В нашем случае это папка «ФОТО»

Далее нажимаем на клавиатуре комбинацию клавиш ALT+F7 или в меню выбираем «Команды»-«Поиск файлов»

Открывается окно стандартного поиска TC. Строку «Искать файлы:» оставляем пустой, тогда будут сравниваться все файлы.

Затем переходим на закладку «Дополнительно» и выставляем галочки «Поиск дубликатов:», «по размеру», «по содержимому» и нажимаем «Начать поиск» .


Поиск может идти ОЧЕНЬ долго, не надо этого пугаться, так как происходит огромное количество сравнений большого объёма файлов. При этом в строке состояния показывается процент выполнения

Когда поиск закончится, откроется окно результатов поиска, в котором нажимаем кнопку «Файлы на панель»


В окне поиска и в окне панели идентичные файлы собраны в секции, отделенные пунктирными линиям

В каждой секции отображается имя файла и полный путь к файлу. Имена ИДЕНТИЧНЫХ файлов могут быть абсолютно различными!
В данном случае видно, что одна и таже фотография записана ТРИ раза, причем два раза под одним именем(IMG_4187.JPG ) а третий раз эта фотография записана под совершенно другим именем(IMG_4187_13.JPG ).

Далее остается выделить ненужные одинаковые файлы и удалить их. Это можно делать вручную, выделяя каждый файл нажатием клавиши Ins . Но это долго и не эффективно. Есть более правильные и быстрые способы.

Итак, наша задача состоит в том, чтобы удалить повторяющиеся файлы в папках «_Новые» и «_Новые1» .
Для этого нажимаем на дополнительной клавиатуре, справа большую клавишу [+] . Обычно этой клавишей в TC выделяются файлы по маске. Эту же операцию можно сделать через меню «Выделение»-«Выделить группу»