Hatsune Miku, Ну так это уже ошибки приложения, что стек сыпется )
Ладно, закругляемся)
Но я бы рекомендовал автору присмотреться к 4 посту, это более рациональный вариант
Допилить его и будет хороший вариант by rand()

Hatsune Miku, thread_stack?
Также через конфиг mysql настраивается
Но я повторюсь, память не проблема, так она лимитируется "ручками в my.cnf", а вот CPU не ограничить конфигом.
И если подобное в продакшн пустить, то будьте готовы видеть серьёзную утилизацию CPU сервера mysql процессом, и дисковыми операциями

Hatsune Miku, Попробуйте)
Сгенерьте таблицу на пару миллионов
И выберите пару записей
Памяти не много утечёт (в mysql есть настройка, сколько выделять по ORDER BY)
Вопрос в том, что order by rand
это:
-чтение всей таблицы
-использование временной таблицы
-файловая сортировка
P.S. 2 миллиона таблица 1,5 Гб, order by rand 10-15 сек выполняется)
Тестовое железо
2*2400 gGz
4 Gb RAM

не используйте order by rand()
Зло это, которое со временем даёт такую нагрузку, что мало не покажется