Помогите с настройкой VPS

В общем, есть сервер VPS, в этом деле я не особо силен.
Характеристики
Intel® Xeon® CPU X5690 @ 3.47GHz 3466.931 Mhz
2гб ОЗУ(скоро будет 3 или даже 4)
Centos-5 (64bit) — ISP Lite

Собственно висят сапа сайты и один жирный сайт на DLE 9.2 с форумом буллет енерджи.
Посещаемость сайта 10-15 тыс человек, просмотров 40-60 тыс.

Своими силами вроде все настроил, но есть проблемы.
Иногда вылетает ошибка оут о мемори(увеличил количество памяти для php до 600мб вроде пока все хорошо)
Сколько оптимально?

Поставил ngnix, изменил конфиг msql для серверов с 2гб озу + руками подкрутил и погонял тестером(забыл как его )

Собственно вроде все работает, но как то не очень стабильно.
Оперативка всегда забита на 70-80%.
И последний глюк который я заметил — качаешь с сайта файл 40-60мб, в это время сайт не грузится, через какое то время вылетает ошибка
504 Gateway Time-out
nginx

Сайт на дле, все настройки оптимизации сделаны, стоит мини чат + модуль редиректа(возможно отказался бы, но блин закрывать все вс...)

Бывает другой глюк, сайт работает и шустро, но ISP отваливается, фтп не работает по ssh не подключается, в мониторинге показывает 0% озу.
Помогает презагруз.

Собственно вопрос, какой сайт способен тянуть такой сервер?
Может ему банально не хватает ОЗУ? Или дело в кривых настройках апача, ngnix и сервер способен тянуть сайт в 2-3 раза больше.
Вот график, вчера хз чтоб было, пришлось 2 раза перезагрузить.
Сегодня днем полежал и сам встал.
clip2net.com/s/1OCek
Притом по выходным сайт рвут, посещаемость поднимается на 3-4к и просмотры и онлайн, но графики сильно не меняются, все так же, трафика больше…
Прошу советов в настройке сервера и DLE, и если дело в конфигурации опытные администраторы, готов заплатить за настройку и небольшую консультацию.
Если тема не там, извините
Вроде все, заранее спасибо.