Есть краулеры, к примеру - Screaming Frog и Netpeak Spider (скриншот где смотреть дубли http://joxi.ru/82QB0zJtwx6VDA) правда платные. Если поискать в инете то может найдете или кряки к ним или аналоги. Я также пользуюсь метатегером https://embo.com.ua/metateger/ - но это не для дублей а для оптимизации под список ключевых слов определенной страницы для поднятия позиций в поисковиках. Проводить аудит можно также через них или sitechecker - есть триал период, вроде как режим краулинга и поиск дублей.
