Пережить нагрузку и сохранить пользователей.

Приветствую, все меня наверно (ну или многие :)) знают как разработчика шаблонов.

я не хвастался своим ресурсом сильно много :) да и не собираюсь, но есть у меня один исторический проект для реконструкторов :)

Так случилось, что про наш сайт узнали очень многие популярные личности и решили на своих сайтах от рекламировать, и мы вот боимся вот чего.


Высокую нагрузку и ХабраЭффект (нет не с Хабра люди пойдут :) это просто выражение)…

Сейчас на сайте около 300 посещений в день, ожидаем с начало прирост от 2000-5000, посмотрим как выдержит сайт и VPS, а потом вообще несколько сотен тысячь :((( оно и весело и печально. Мы хотим быть готовы хотя бы на 80 процентов… подумали с моим сис. админом и вот он что попросил меня спросить у вас, дорогие ребята!

Ниже слова админа

1. Есть ли возможности кэширования в статику, которую будет раздавать nginx — не встроенными в nginx средствами
2. есть ли модуль\плагин который связывает кэширование встроенное в nginx + ЛС, чтоб следить за актуальностью кэша, оставили коммент, ЛС сказал nginx что вот эта страница в кэше устрарела удали меня, или сам плагин у nginx просто удаляет этотф айл кэша и нгинс генерит его поновой (если нет готовы заказать)
3. что скажете про плагин кэширования от дк_лаб кто-то применял его на реальных проектах с посещасомтью от 5 тысяч в сутки

цель у меня пережить «Хабраэффект», кто-то мне подсказывает, что без статического(сгенереных хтмл страниц) кэша не обойтись, дело в том что рекламная статья будет на сайте где посещаемость около 15 млн… тут понимаете не то что хвастаемся что нам повезло и так далее :) нам реально страшно…

от себя

PS у нас VPS OVZ-6 вот тут подробней fastvps.ru/vds/... с таким VPS хотим выдержать 5000-10000 посещений, а потом скорей всего взять выделенный сервер и уже сделать рекламу на супербольшом сайте…

Всем спасибо консультацию и идеи или возможные предложения помочь, не бесплатно конечно!

48 комментариев

avatar
на том же хосте поглядите выделеный сервера по скидке — за 59 евро — космос, 32 гб рам\8 процов на ай7
avatar
и несколько сотен уникалов в сутки или несколько сот тыщ юзеров онлайн?
avatar
так можно дойти до отдельного сервера для базы данных, отдельного для вэба. Цель как можно максимально закэшировать страницы и держать кэш в актуальном состоянии
avatar
ежли есть 100000 онлайн то и денежка на подобное железо должно быть
avatar
никто не говорит о «100000 онлайн», а допустим о 1000 пользователей онлайн. Во вторых некоторые проблемы можно решить не повышая мощности, а снижая нагрузку.
avatar
1000 онлайн хватит нынешней конфигурации
avatar
создайте 5-10 топиков с 800 комментами, и активно пооткрывайте страницы с ними. Думаю вы убедитесь что данной конфигурации не хватит
avatar
а если сделать постраничные комментарии?
avatar
Задачи у нас такие:
Сначала выдержать 5000-10000 в сутки, он-лайн даже не знаю склько это допустим 10%

А потом выдержать большой наплыв после рекламы на сайте у которого несколько миллинов.
avatar
При посещаемости от 50000 все будет зависить от сервера. Насчет ls, он оптимизирован достаточно лля 5000 неактивных онлайн и 200-300 активных. Но если все эти 10000-50000 начнут делать контент, писать комменты то никакой кеш не поможет )

Также целесобразно будет разделить базу и выделить для неё один суперпроизводительный сервер, желательно отдельную физическую машину. Причем можно использовать облако с резервный сервером.
Без этого ваш сайт упадет моментально при публикации рекламной статьи на сайте с посещаймостью 15.000.000 )
avatar
А этот парень прав! ))
avatar
А не кто не спорит :) но вопрос в другом…
avatar
Ну опять же как писали выше :) железом сыт не будешь, да и не проблема :) мы понимаем что перед такой рекламой нам сто процентов нужна собственная железяка, тут не кто не спорит…

но тоже хочется быть уверенным что и она не упадет :) поэтому и спрашивает о дополнительных возможностях оптимизации, понимаете? :)

То есть в теории, как все организовать мы знаем и сложностей невидим, на предмет того, что вы пишите, о выносе базы на отдельный сервер и пр. Мы переживаем за вопрос оптимизации самого движка и его кэширования :)

ВОТ в чем вопрос :)
avatar
Очень приятно, что есть проекты на LS с такой посещаемостью! Дайте адрес, устроим лайвстрит-эффект, заодно проверите устойчивость… ))))
avatar
да что то не хочется =) там почти весь день он-лайн по 10-20 человек :) не хочется огорчать…

да и к тому же я пока не уверен что готовы к такому… :))) к любому эффекту… Но вопрос остается в силе!!!

Кто нить подскажет?
avatar
у меня на самом дешевом хостинге 15-20 человек онлайн все время. и ничего, страничку за 0,5-1,0 секунды формирует… ))
avatar
так у меня так же :)))

и не хочется портить эту идиллию :) тыкателями по всем ссылкам :) с LS
avatar
это не критично пока онлайн не станет 100 человек, чтож уж там говорить о большем

А если есть шанс что ваш ресурс подвергнется ХХХХ-эффекту, то не хочется потерять тех посетителей, которые потенциально заинтересованы в вашем сайте.
avatar
Собственно говоря, проблему решает облачный хостинг, типа клодо. Берете немного ресурсов, посепенно нагоняете посетителей и следите за скоростью работы проекта. Как только появились «тормоза», докупаете ресурсов и снова следите за производительностью системы. Другого варианта пока не вижу.
avatar
ну ребят не оттуда пляшите =) расширить железо это не проблема, кинуть денег и перенести проект, да самое простое что может придумать любой :))

мы сначала хотим решить вопрос с отличным кэшированием! А то как понимаете будет не в коня овес :)))
avatar
Тоже заинтересован в обсуждении этой темы, но, к сожалению подсказать ничего не могу т.к. не хватает опыта :X
avatar
Интересный подход… ожидаете наплыва пользователей от рекламы с сайта посещаемостью в 15 млн… А почему здесь не хотите показать проект? У нас все таки поменьше наплыв будет:) Конечно дело хозяйское показывать или нет, но прямо заинтриговали, если можно линк на сайт в ЛС. Меня больше интересует вопрос — сколько реально постоянных посетителей может принести такая реклама. А насчет нагрузки… да ничего страшного, многие хорошие сайты лежали в дауне после хабраэффектов и ничего, потом устаканивалось все:)
avatar
Ну обычно наплыва измеряется в процентах, и обычно это цифра 10-30%

не хочу показывать, что мы не ЦА с тестерами, прошло время тестирования уже.

не хочется ложится, а увеличивать посещаемость по степенно и наращивать мощности :) понятно что ляжем по любому, но как то хочется мягко и нежно и побыстрей встать!

проект же не для крэштестов

PS на счет реальных посетителей, может принести ну как сказать, у нас есть возможность раз в месяц писать рекламную новость где наша ЦА процентов 50%, и там посещаемость 10-15млн в разных разделах :) много может принести, сколько не известно… А одна рекламная новость мне кажется нуууууу процента 3% постояников не больше.
avatar
Так, вот все горазды бросаться советами по хайлоаду. Но НИ ОДИН не поинтересовался, а на каком, собственно, железе крутится LS?
Давайте так. Вы даете сюда профилирование нагрузки сервера, в идеале — графики Munin'а.
Меня интересует LA, использование памяти, дисковой подсистемы, собственно MySQL (с разделением запросов по типам), интенсивность запросов к nginx, а также теперешние параметры сервера.
Не путайте божий дар с кешированием, это не панацея и не решает всех проблем. (честно, одно и то же: кеш-кеш-кеш!)
Найдите узкое место сначала, а потом его и ликвидируйте. Если дадите инфу — ок, будем помогать и думать, а так пока все советы равноценны гаданию на кофейной гуще. Вот это, может, поможет… но и это generic-решение.
avatar
я же давал ссылку на свой VPS смотрели? или это не хватает?

на счет нагрузки, так ее сейчас и нету, мы только готовимся к ней и тестируем ее по iframe с других нагруженных сайтов.
avatar
— И вообще, при >1k онлайн с VPS надо уезжать.
avatar
само собой )
avatar
Amazon вам в помощь, так на вскидку EC2+S3+RDS+Балансировщик нагрузки.
avatar
я вам скажу решение Amazon s3 не чем не лучше аренды 3 серверов физических :)

Кстати мы юзаем S3 и довольные :)
avatar
Приветствую, все меня наверно (ну или многие :)) знают как разработчика шаблонов.
к сожалению, не удалось увидеть ни одного шаблона
есть примеры шаблонов?
  • ort
  • +2
avatar
ну вообще не в тему вопрос :) но скинул в в личку из уважения к вам :)
avatar
Причем тут уважение ко мне?
Уважение скорее к
все меня наверно (ну или многие :)) знают
avatar
Ну вы же наверное знаете эти не писанные правила, например того же хабра :)) за которые жестко минусуют… я просто аж боюсь теперь комментить не по теме топика :) это в крови теперь!

А если бы я в каждом топике писал, кто я такой и свои новые шаблоны, мне бы послали наверное? :) нет?

Так то я всех безусловно уважаю :) даже тех кто меня не знает :) так сказать человеческая солидарность ко все человекам.
avatar
Я конечно может много на себя беру :) так как знаю вы и так большой вклад сделали в LS ) пожалуй самый большой, из всех нас…

но не присоединитесь к теме? как быть? что поможет? Кэш или хорошее железо? или золотая середина?

Мы пока что думаем об создание плагина по аналогу во такой штуковины на WP
maxsite.org/page/maxsite-cache
avatar
Очень хорошее решение… но как ни крути это костыль.
avatar
VPS отстой
avatar
Почитал я коменты и немного удивился. Проекты на Друпале выдерживают громадные нагрузки и ничего… LS который сам по себе менее универсален теоретически должен выдерживать еще большие нагрузки, так как у него нет избыточного функционала. Но похоже не так.
У меня сейчас LS на дедике установлен и на сайт нет нагрузки… так страницы генерируются по 1 секунде.
Рядом проект на SMF где около 15к посетителей + куча плагинов установленно и тормозной портал. Так там время генерации около 0.2 секунды.
На LS я планирую нагрузку в сутки до 20к посетителей. Неужели я ошибся в выбором движка? И неужели пока не поздно надо на Друпал переезжать (а он мне ой как не нравиться)
avatar
Не только от движка все зависит. От хостера, сервера, настроек… Сделай простой, грубый тест. Подержи кнопочку F5 и посмотри как быстро у тебя вылезет max_user_connections. И все поймешь :)
avatar
долго подержал)) ничего не вылезло)) правда потом пришло пару секунд подождать пока страница откроется) но это тоже не показатель) как раз такие быстрые запросы с одного АйПи мне кажется лучше отфильтровывать на стороне сервера…
но в данный момент мы говорим о движке)) насколько его код оптимизирован для высоконагруженных проектов? Есть ли проекты на LS у которых бы была посещаемость от 100к например?
avatar
О движке. Ну вот щас у себя на одном из серверов посмотрел. От версий ЛС даже зависит. Вот старенькая О.4.2 на том же сервере держит F5 довольно долго, 1.0.1 загибается значительно быстрее. Друпал, Джумла держится до сих пор. На одном и том же сервере. Хотя, конечно, этот тест ни о чем может вообще не говорить.
avatar
1 секунда? Либо это не быстрый хостинг, либо у вас не включен кэш, либо включен файловый кэш и дисковая подсистема нагружена очень сильно.
В любом случае это много и странно
avatar
включен файловый кеш… memCache на дедике не использую… как APC кеширование включить на LS еще не понял. (если кинете ссылкой или что то посоветуете буду рад)
avatar
дисковая система вообще не нагружена) 16 гиг оперативки из которых занято не больше 1 гига)
avatar
Только что выключил кеш) стало в 3-4 раза быстрее) наверно надо мемкеш все таки прикрутить на сервер
avatar
А мне вот интересно — прошло 3 месяца. Произошел ваш оверлоад, сколько уников в сутки? Или реклама на миллионных сайтах не сработала?
avatar
Я делал сайт на LiveStreet 1.0.1 и люди с YouTube сделали не большую рекламу. Сайт посетило за 1 час 4000 человек. Странно, но он не упал.
avatar
ну тогда я спокоен)) спасибо) осталось только с кешированием разобраться…
avatar
А чего ему падать. Это же в час, пришел-ушел. Вот если бы они все у тебя одновременно сидели и кнопочку тыкали… :)
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.