<?php
$files = glob('/папка/папка/*.html'); //сбор путей ко всем html-файлам в список

#перебор списка циклом
foreach ($files as $number => $file) {
    #действия с каждым файлом
    $text = file_get_contents($file); //чтение из файла
    $text = str_replace('что заменить', 'чем заменить', $text); //замена (она же "дописывание")
    file_put_contents($file, $text); //запись обратно в файл
    #промежуточная отчетность
    echo 'обработан файл'.$file.'<br>';
}

echo 'все файлы обработаны';
?>