подписка
Подписаться

Миллион хостов в сутки

Подписка на RSS
Andrex
30/05/2007
altsupport:

А так - вам свой движек (без шаблонозитаров типа Smarty). Так как сущесвующие CMS делаются универсальными. Чтобы сразу было куча модулей. И постоянно идут проверки - проинсталирован ли модуль и т.п.
И искать программиста в этом разбирающегося (в оптимизации SQL-запросов, создании самой БД (ее полей, индексов), в php (чтобы проверки в цикл не вставлять), ну и даже бонально - в html (а то сайт будет результат "выполевывать" быстро, а браузер его минуту обсчитывать будет)).

Запустите - посмотрите как у вас и что, потом будете вносить изменения. Без тестов "на живом", вам будет тяжело скорость замерять.


Ага, спасибо, логика понятна. Будем действовать... :)
Скопировать ссылку на сообщение
Ответить
Figu
30/05/2007
Почитал еще раз диалоги. Советую вам исключительно программировать под себя привлекая программиста толкового!
Оптимизировать БД, выносить часть данных в файлы. Постараться не делать по 30 запросов к БД на главной странице.
Оптимально, их вообще быть не должно! Страница генерируется и обновляется раз в сколько-то минут из БД. Затем юзеры гоняют её вообще без запросов.
Такой способ показал себя очень неплохо!
Т.е. обновляем раз в сколько-то времени или же при появлении новых данных. При этом идут необходимые запросы к БД и все кэшируется в файлы (к примеру).

И никакой модульности! Модульность делает сайт более динамичный и лёгким в модернизации, но затормаживает его в десятки раз.

Ну и т.д. Про необходимость индексов и разбития БД на мелкие таблицы я вообще молчу.

Вы запросили сложную задачу, если честно. Она требует определенного класса программиста и логика. Креатив вам в данном случае может только помешать. Каждый должен делать свою работу и понимать что он делает, как и что будет в итоге.
Скопировать ссылку на сообщение
Ответить
fraggle
31/05/2007
Миллион хостов в сутки - звучит крайне утопично.
Но дерзайте.

По технике: имеем сайт в 60-70 тыс. хостов, 2.5 млн хитов. Используется 5 серверов. Периодически не хватает. Вопросы оптимизации стоят крайне остро. Для миллиона - даже не представляю что нужно.
Скопировать ссылку на сообщение
Ответить
Andrex
31/05/2007
Figu:

Советую вам исключительно программировать под себя привлекая программиста толкового!

Да, как я понял, к программной части такого проекта нужно привлекать не менее двух толковых специалистов - отдельного специалиста по веб-разработке и отдельного специалиста по БД. В их спорах может родиться истина ;)
Figu:

Страница генерируется и обновляется раз в сколько-то минут из БД. Затем юзеры гоняют её вообще без запросов.

Способ очень понравился :) Надо подумать, насколько реально можно сократить количество динамического контента по всему проекту.

Figu:

Вы запросили сложную задачу, если честно. Она требует определенного класса программиста и логика. Креатив вам в данном случае может только помешать. Каждый должен делать свою работу и понимать что он делает, как и что будет в итоге.


Да, я уже понял. :D Когда я пытаюсь представить ВСЕ проблемы, связанные с такой посещаемостью - у меня глаза закрываются и кружится голова ;) В итоге, хотя проект изначально мне очень нравится, до сих пор не решил - стоит ли ввязываться, или нет. Больно уж много чисто административных сложностей. Плюс денежная часть весьма нехилая выходит, придется инвестора искать, а это, в свою очередь, дополнительная головная боль...

Отдельный повод для расстройства - "наоборотность" старта проекта. Обычный путь - делаем небольшй проект и масшатбируем. В данном же случае, из-за особенности проекта он получит свой максимум посещаемости сразу, в первый месяц (за счет "вирусной" рекламы), после чего, в случае неуспеха, будет ее терять и терять. Т.е. малой кровью обойтись в случае неудачи не выйдет... :(

fraggle:

По технике: имеем сайт в 60-70 тыс. хостов, 2.5 млн хитов. Используется 5 серверов. Периодически не хватает.


Ох-ох, чего-то много получается у Вас... Мне до сих пор на миллион называли 2-3 сервера. Это, конечно, слова, прикидки. Но на 70 килохостов пять серверов - все равно много, имхо. Те посещаемые проекты, которые мне известны, обходятся гораздо меньшими ресурсами...
Скопировать ссылку на сообщение
Ответить
altsupport
31/05/2007
Цитата:

Надо подумать, насколько реально можно сократить количество динамического контента по всему проекту.

Вариантов то кэширования всего с гулькин нос.
Кэширование запросов на уровне БД (MySQL сам закэширует) (запрос тока надо дополнить SQL_CACHE).
Результаты запроса кэшируются отдельным скриптом и складируются в файлы.
И кэширование вообще страницы (как всей, или только отдельных скриптов).
Ну и не забывать про кэш браузера пользователя. Чтобы постоянно не подгружать уже загруженные изображения, стили, js.
Продуманая структура БД (с индексами) на порядок увеличит выборку по ней.

Цитата:

Ох-ох, чего-то много получается у Вас...

И на 10 000 может 10 серверов понадобиться, и на 50 000 один.
Все-же зависит от сайта (его контента).
Скопировать ссылку на сообщение
Ответить
Леонид
01/06/2007
... Есть ли жизнь на Марсе..?
... Нет ли жизни на Марсе...
Скопировать ссылку на сообщение
Ответить
kuzmin
01/06/2007
Да, кстати, у меня есть проект с посещаемость менее 10 000 человек в сутки и ... уже 4-ый сервер ставим... что быть хоть как-то работало:)

Все зависит от задачи! Если точнее опишете, что будет, может и конкретнее подскажем.

Все равно 1 мил. сразу не получиться, вот постепенно и наращивайте как только нагрузка возрастет. Мы вот берем все в аренду, так проще и в результате дешевле.

А так про CMS даже не представлю, работает ли один такой сайт на CMS, кроме собственно писанной.

Все универсально хорошо на первых порах, а потом это только обуза!

Да, кэшируем все и вся, но нифига это не дает :cry:
Скопировать ссылку на сообщение
Ответить
Figu
01/06/2007
kuzmin:

Да, кстати, у меня есть проект с посещаемость менее 10 000 человек в сутки и ... уже 4-ый сервер ставим... что быть хоть как-то работало

Я уверен что ваш сайт заработал бы на самом обычном хост плане за 10 долларов, если это не "файловый архив" с большим трафом.

Более того, хост план с кластерной базой (а она у многих хостеров именно на кластере) БЫСТРЕЕ работает чем БД на выделенном сервере!
Это тоже проверено практикой! При переходе на выделенный сервер один из сайтов просто "погиб", при этом замечательно работая на хост плане.

Что касается трафика, то 30-50 Гб/месяц на хост плане можно вытягивать. Дальше уже будет наверное действительно перегруз.
Скопировать ссылку на сообщение
Ответить
kuzmin
01/06/2007
Трафик большой, но это не файловый архив. За 10$ точно бы не заработал. Уже пробовали (хотя может вам виденее:) и dedicated тоже не потянет(опережая ход мысли).

Про "погиб" на выделенном сервере - так у нас 4-ре выделеных, один под БД, 3 под сайт.
Кластер для БД не нужен, пока сервак спровляеться. вот остальные три посути уже и есть кластер.

да за 10$ это круто. мы такие тупые, что тратим более 3000$ в месяц на сервера, когда можно все 10-ю обойтись:)

Читайте между строк:
"Все зависит от задачи!".
Ответить
Разделы форума
Открытие бизнеса
Привлечение клиентов
Удержание клиентов
Ведение бизнеса
Работа с маркетплейсами
Тенденции развития
Специальные форумы