И ещё один момент. Использование echo для вывода HTML - это плохой стиль. В данном случае он приведён с целью упрощения скрипта. В реальности, безусловно надо делать всё через TPL-файлы
<?php
$dir = "audio"; // Директория с mp3-файлами
$files = glob("$dir/*.mp3"); // Получаем список mp3-файлов
for ($i = 0; $i < count($files); $i++) {
echo "<p>".basename($files[$i])."</p>"; // Выводим название файла
echo "<audio controls='controls'>"; // Выводим тег аудио с панелью управления
echo "<source type='audio/mpeg' src='".$files[$i]."' />"; // Подключаем путь к аудио-файлу
echo "</audio>"; // Закрываем тег
echo "<br /><br />"; // Переходим на 2 перехода на новую строку
}
?>