Штормовое предупреждение!

Предложения и обсуждение по развитию сайта и форума

Модератори: Nick Maslov, Модераторы форума

Штормовое предупреждение!

Повідомлення Nick Maslov » Сер серпня 08, 2007 17:43

Hi!

Отчасти в продолжение темы о рекламе на сайте.
Как уже писал когда-то Сан в теме по поводу администрирования, членских взносов и т.п., что поддержка сайта и администрирование сервера на котором он живет - это наш вклад в присутствие Клуба в интернете. Оплачиваю размещение сервера я.

Понятно, что сервер занимается не только сайтом Клуба, а выполняет еще ряд задач, которые позволяют частично покрыть расходы на его содержание (имеется ввиду сам сервер и трафик; о администрировании речь не идет).

К счастью, сайт и форум понемногу растут, количество контента и посетителей/просмотров увеличивается, но в то же время, само-собой, растет и нагрузка на сервер. На данный момент это уже более 75% (запросов/нагрузки), что начинает создавать ряд трудностей и иногда проявляется в медленной загрузке страниц и даже кратковременной недоступности (в основном форума).

Есть вариант провести небольшую оптимизацию сайта (в т.ч., например, генерацию статических страниц из динамических, - тем более, что по своей сути у нас сайт статический), но выигрыш будет незначительный, тем более, кто этим будет заниматься. К тому же, бОльшую часть нагрузки создает форум - и как по объективным причинам (количество посещений), и по не очень (особенности самого форума).

Т.е. так или иначе, но необходимо решать вопрос с производительностью. Было проработано несколько наиболее удобных/простых вариантов, из них выделен оптимальный (+ запасной). Но, в любом случае, это подразумевало дополнительные (для меня) расходы.

Появилась мысль покрывать их за счет "продажи" рекламы на сайте, тем более, что анализ посещаемости и активности на сайте (форуме) обнадеживал, но оценивать не имея реальных цифр (сумм, которые можно получить от рекламы) можно было только с точностью до "километра на килограм".

В связи с этим и возник опрос относительно отношения к рекламе. Когда проголосовало достаточное, для понимания тенденции, количество людей мной было принято решение проверить свои гипотезы на практике, по результатам чего (в т.ч. опроса) уже принимать окончательное решение.

Тем более, что вопрос нагрузки на сервер критичный и срочный, поэтому даже на пространные объяснения "что и как" времени нет (не было).

На склочно-возмущенные выпады Айри относительно того, что времени на выкладывание фотографий нет, а на настройку рекламы есть отвечу, что когда вопрос стоит строить "рекламу" и оставить ему возможность зайти на форум и "поныть" или просто остановить сайт, то я исхожу из соображений функциональности.

Могу сказать, что мои ожидания, в целом оправдались, что не может не радовать, но тональность на которую перешло, так сказать, обсуждение отбила желание что-либо делать вообще. Поэтому реклама была убрана безо всяких комментариев и эксперимент прекращен.

Кстати, что касается "зарезания" хоста, который участвует в формировании контекста, а потом удивлении, что реклама "не по теме" - это хорошая шутка, приблизительно из серии "алё, это телемастер? Я тут сидел, телевизор смотрел, гвоздиком в ухе ковырял, а потом бац - звук пропал! Приезжайте и почините мне телевизор!".

В закрытых разделах, понятное дело, реклама может и не попадать в контекст - ведь робот его не может определить (у него нет туда доступа). Но я к этому отношусь с пониманием (для чего это все).

Далее. Поскольку все движения были остановлены по вышеуказанным причинам, а сама проблема не решена - в настройки были внесены определенные изменения - сейчас сайт работает в таком же режиме, но в случае потребности в производительности, он будет ограничиваться, что, разумеется, может отразиться на скорости его работы.

Но поскольку это всего лишь временная мера, а я не могу себе позволить заставлять людей ходить на "тормозящий" ресурс, и дальнейшие перспективы (даже варианты) достаточно туманны - предлагаю озаботиться поиском места для размещения сайта.

По срокам - неделя (максимум две), потом я не смогу что-либо гарантировать.

Технические требования очень простые:
дискового пространства - 7Gb (лучше искать хотя бы 10);
трафик - от 50Gb/мес.
база данных - ~100Mb

требования к веб-серверу самые обычные - mysql, php, SSI, т.е. ничего редкого нет.

Объем дискового пространства, теоретически, можно немного уменьшить, но для этого нужно хорошо подойти к вопросу реорганизации контента, но, во-первых, кто этим займется и в такие сроки, во-вторых, выигрыш будет минимален.

Необходимо отметить, что процент зарубежного трафика достаточно большой (до 40-45%), т.е. нужно быть осторожнее с небольшими шарашками, обещающими безлимитный трафик (они зачастую на такой трафик не ориентируются).

Надеюсь, что категоричные противники рекламы будут активистами в поиске вариантов и дальнейшей поддержке. Айри предлагаю сделать ответственным.

Удачи!

P.S. Вопрос взносов и прочей оплаты не рассматриваю (точнее - уже рассмотрел) по целому ряду причин, если вы не видите "почему нет" - возможно, вы недавно в Клубе, либо просто не прониклись его духом.
Nick Maslov
Участник движения
 
Повідомлення: 1155
З нами з: Вів травня 17, 2005 14:11
Звідки: Киев

Повідомлення Shurik » Сер серпня 08, 2007 18:28

Ну так есть же согласованные добровольные взносы.
В конце концов сумма не большая ее можно просто объявить кто сколько захочет тот и скинется.

Зарубежный хост провайдер усторит?
Там, где асфальт, ничего интересного, а где интересно, там нет асфальта.

© Аркадий и Борис Стругацкие
Аватар користувача
Shurik
Член Клуба, Администратор форума
 
Повідомлення: 8853
З нами з: П'ят грудня 16, 2005 15:36
Звідки: Львов.
Телефон: О67-49-26-l7l
Машина: УАЗ 3151

Re: Штормовое предупреждение!

Повідомлення Olexa » Сер серпня 08, 2007 18:36

Nick Maslov написав:Кстати, что касается "зарезания" хоста, который участвует в формировании контекста, а потом удивлении, что реклама "не по теме" - это хорошая шутка,

Я це вже зрозумів :). Вже буквально з кількох наступних відображень робот почав видавати рекламу сайтів з продажу авто (щоправда, порожніх). Втім, я одназу знову зарізав рекламний хост і на цьому заспокоївся.

Nick Maslov написав:Технические требования очень простые:
дискового пространства - 7Gb (лучше искать хотя бы 10);
трафик - от 50Gb/мес.
база данных - ~100Mb

требования к веб-серверу самые обычные - mysql, php, SSI, т.е. ничего редкого нет.

Объем дискового пространства, теоретически, можно немного уменьшить, но для этого нужно хорошо подойти к вопросу реорганизации контента, но, во-первых, кто этим займется и в такие сроки, во-вторых, выигрыш будет минимален.

Необходимо отметить, что процент зарубежного трафика достаточно большой (до 40-45%), т.е. нужно быть осторожнее с небольшими шарашками, обещающими безлимитный трафик (они зачастую на такой трафик не ориентируются).

Ого.

А з чого складається об'єм дискового простору, що використовується? Як він розподілений по розділах?

Як розподілений по розділах трафік?

Що показав короткий експеримент з рекламою? Чи здатна вона вирішити проблему? Якщо так, чи здатна вона вирішити проблему, якщо не відображати її для зареєстрованих учасників форуму (як варіант, для членів клубу)?
Аватар користувача
Olexa
Член Совета Клуба, Админ форума
 
Повідомлення: 7741
З нами з: Чет червня 23, 2005 16:30
Звідки: Київ
Машина: УАЗ 31602

Повідомлення BoBeG » Сер серпня 08, 2007 19:18

Судячи з усього сказаного для нашого портала треба окремий сервер
або найти хостінг який надає послуги якраз для порталів.
Якшо наш портал буде хоститися на сервері де купа сайтиків то можуть буди проблеми.
А в загалі яка зараз конфігурація сервера на якому наш сайт.
Скільки ше сайтів на ньому хостяться(якшо це відомо).
І на яку суму треба хостінг.
Нажаль я зара у відпустці, сайти клієнтів на память не знаю але в основному вони всі забугорні і ціни там немалі.
З українських знаю http://ukrhosting.com/
Ще багато провайдерів в україні надають послуги з хостінгу, можуть надати окремий сервер.
УАЗ 315201, УМЗ 414, воєнні мости
______________________________________
http://www.uaz-club.org.ua/gallery/index.php?cat=10101
Аватар користувача
BoBeG
Участник движения
 
Повідомлення: 694
З нами з: Пон грудня 25, 2006 12:53
Звідки: Львів
Машина: УАЗ 3151

Повідомлення Olexa » Сер серпня 08, 2007 19:26

BoBeG написав:З українських знаю http://ukrhosting.com/
Ще багато провайдерів в україні надають послуги з хостінгу, можуть надати окремий сервер.

Навскидку:

http://cityhost.com.ua
http://mirohost.net
http://tophost.com.ua
http://tuthost.com
http://www.host.com.ua
http://www.hvosting.net.ua
http://www.inet-service.com.ua
http://www.x-host.com.ua
http://www.1gb.ua
http://adamant.ua

Але мені здається, що спочатку треба зрозуміти, з чого складається об'єм та трафік сайту. Може, ми зможемо щось оптимізувати.
Аватар користувача
Olexa
Член Совета Клуба, Админ форума
 
Повідомлення: 7741
З нами з: Чет червня 23, 2005 16:30
Звідки: Київ
Машина: УАЗ 31602

Повідомлення Shurik » Сер серпня 08, 2007 19:31

ну там где я знаю - рутсервер стоит 100уев в месяц.

кстати откуда это на нашем сайте забугорный траф.?
это вообще живые люди или боты?

Не плохие цены дает бестхостинг у меня на нем реселлерская панель.
Да и контора давно работает.
Там, где асфальт, ничего интересного, а где интересно, там нет асфальта.

© Аркадий и Борис Стругацкие
Аватар користувача
Shurik
Член Клуба, Администратор форума
 
Повідомлення: 8853
З нами з: П'ят грудня 16, 2005 15:36
Звідки: Львов.
Телефон: О67-49-26-l7l
Машина: УАЗ 3151

Повідомлення BoBeG » Сер серпня 08, 2007 19:34

Це просто зробити
якшо є програма для статистики на сервері
впринципі можна логи обробити окремо.
УАЗ 315201, УМЗ 414, воєнні мости
______________________________________
http://www.uaz-club.org.ua/gallery/index.php?cat=10101
Аватар користувача
BoBeG
Участник движения
 
Повідомлення: 694
З нами з: Пон грудня 25, 2006 12:53
Звідки: Львів
Машина: УАЗ 3151

Повідомлення Shurik » Сер серпня 08, 2007 19:52

Але мені здається, що спочатку треба зрозуміти, з чого складається об'єм та трафік сайту.


Та то досить цікаво. В першу чергу я би звернув увагу на фотки. Є боти які сканують зображення. Якщо траф в основнму тягнуть фотки, то треба переробити структуру фотогалереї і забрати з картинок прямі лінки на збільшену копію.
Там, где асфальт, ничего интересного, а где интересно, там нет асфальта.

© Аркадий и Борис Стругацкие
Аватар користувача
Shurik
Член Клуба, Администратор форума
 
Повідомлення: 8853
З нами з: П'ят грудня 16, 2005 15:36
Звідки: Львов.
Телефон: О67-49-26-l7l
Машина: УАЗ 3151

Повідомлення Olexa » Сер серпня 08, 2007 19:54

Shurik написав:Та то досить цікаво. В першу чергу я би звернув увагу на фотки. Є боти які сканують зображення. Якщо траф в основнму тягнуть фотки, то треба переробити структуру фотогалереї і забрати з картинок прямі лінки на збільшену копію.

Або забанити ботів.
Аватар користувача
Olexa
Член Совета Клуба, Админ форума
 
Повідомлення: 7741
З нами з: Чет червня 23, 2005 16:30
Звідки: Київ
Машина: УАЗ 31602

Повідомлення Mamont » Сер серпня 08, 2007 23:14

у мну есть сервер, mamont.org
В украину 100 мег, мир 2 мег, винта хватит, оперативки тоже...
Возможны перебои в работе, т.к. сервер в институцком корпусе и подчинении, но статистика показала только 2-3 отключения за полтора года... Вот так вот... Плюс могу дать доступ по ссш и т.п. и вообще он МОЙ:) На счет нагрузки и т.п. на нем еще сквид стоит, торент, пара непосищаемых сайтов и все... Ессесено торент будет урезан.
Думайте... Можем зеркало, как вариант забабахать, или раскидать нагрузку, у вас, например только сайт, а у мну склад фоток и т.п.
Ну, чтоб всем...
Аватар користувача
Mamont
Участник движения
 
Повідомлення: 1150
З нами з: Пон травня 21, 2007 22:49
Звідки: Киев, Соломенка (07.06.1980)

Повідомлення Nick Maslov » Чет серпня 09, 2007 11:58

Shurik написав:Ну так есть же согласованные добровольные взносы.


Да, возможно. Но это, скорее всего, без меня. Есть масса нюансов.

Shurik написав:В конце концов сумма не большая ее можно просто объявить кто сколько захочет тот и скинется.


А кто не захочет? Или сначала захочет и скинется, а через месяц-полгода уже не захочет и остальным придется захотеть чуть больше, и еще через полгода кто-то скажет, что тоже уже не хочет.
Упорно хочется пройти по граблям, по которым уже ходили другие люди и понабивать себе шишек?

Кстати, для кого сумма небольшая?

Shurik написав:Зарубежный хост провайдер усторит?


Мне - вообще без разницы. А так ... кого-то устроит, кто-то будет ныть, что нет. :)
Nick Maslov
Участник движения
 
Повідомлення: 1155
З нами з: Вів травня 17, 2005 14:11
Звідки: Киев

Re: Штормовое предупреждение!

Повідомлення Nick Maslov » Чет серпня 09, 2007 12:32

Olexa написав:
Nick Maslov написав:Кстати, что касается "зарезания" хоста, который участвует в формировании контекста, а потом удивлении, что реклама "не по теме" - это хорошая шутка,

Я це вже зрозумів :). Вже буквально з кількох наступних відображень робот почав видавати рекламу сайтів з продажу авто (щоправда, порожніх). Втім, я одназу знову зарізав рекламний хост і на цьому заспокоївся.


Мені це не зовсім зрозуміло (приблизно як перекривати бензопровід, щоб не заважав шум мотора).

Olexa написав:Ого.

А з чого складається об'єм дискового простору, що використовується? Як він розподілений по розділах?

Як розподілений по розділах трафік?


фото - ~3Gb;
відео - ~2Gb;
галерея - ~700Mb;

30-40% (іноді до 50%) - роботи, ftp і т.п.; інше - форум (50%), фото і відео (40%), галерея (10%). Цифри приблизні.

Olexa написав:Що показав короткий експеримент з рекламою? Чи здатна вона вирішити проблему?


Да, цілком. Навіть у тому вигляді в якому була вже можна було орієнтуватись на свій окремий сервер (ну, может ще трохи щось "пошаманити").

Olexa написав: Якщо так, чи здатна вона вирішити проблему, якщо не відображати її для зареєстрованих учасників форуму (як варіант, для членів клубу)?


Навряд. Постійна аудиторія - достатньо великий відсоток відвідувачів.
Nick Maslov
Участник движения
 
Повідомлення: 1155
З нами з: Вів травня 17, 2005 14:11
Звідки: Киев

Повідомлення Nick Maslov » Чет серпня 09, 2007 12:41

BoBeG написав:Судячи з усього сказаного для нашого портала треба окремий сервер
або найти хостінг який надає послуги якраз для порталів.
Якшо наш портал буде хоститися на сервері де купа сайтиків то можуть буди проблеми.


Саме так.

BoBeG написав:А в загалі яка зараз конфігурація сервера на якому наш сайт.
Скільки ше сайтів на ньому хостяться(якшо це відомо).


Зараз живе на P4 2.4GHz/512Mb

BoBeG написав:І на яку суму треба хостінг.


Це не до мене, - треба робити огляд ринку.
Єдине, що я могу сказати - майже напевно, хостинг не підійде. :)

BoBeG написав:Нажаль я зара у відпустці, сайти клієнтів на память не знаю але в основному вони всі забугорні і ціни там немалі.
З українських знаю http://ukrhosting.com/
Ще багато провайдерів в україні надають послуги з хостінгу, можуть надати окремий сервер.
Nick Maslov
Участник движения
 
Повідомлення: 1155
З нами з: Вів травня 17, 2005 14:11
Звідки: Киев

Re: Штормовое предупреждение!

Повідомлення Olexa » Чет серпня 09, 2007 12:54

Nick Maslov написав:
Olexa написав:
Nick Maslov написав:Технические требования очень простые:
дискового пространства - 7Gb (лучше искать хотя бы 10);
трафик - от 50Gb/мес.
база данных - ~100Mb

А з чого складається об'єм дискового простору, що використовується? Як він розподілений по розділах?

Як розподілений по розділах трафік?


фото - ~3Gb;
відео - ~2Gb;
галерея - ~700Mb;

30-40% (іноді до 50%) - роботи, ftp і т.п.; інше - форум (50%), фото і відео (40%), галерея (10%). Цифри приблизні.

А які мають бути цифри для збереження статусу-кво?

Чи не варто перенести відео на www.youtube.com (дозволяє вбудовувати розміщене в них відео у свою сторінку), video.google.com чи video.bigmir.net (щоб було у UA-IX)? І дивитись буде зручніше.

Чи можливо зменшити трафік "роботи, ftp і т.п."?

"Фото" та "відео", наскільки я розумію, це Зустрічі. Щось виходить, що там фото 3 ГБ, а в галереї 700 МБ. Чи все там гаразд з розподільчою здатністю? Скільки там взагалі фото? У галереї, наскільки я розумію, 2802 фото, причому одразу знаходяться екземпляри з завищеною розподільчою здатністю.
Аватар користувача
Olexa
Член Совета Клуба, Админ форума
 
Повідомлення: 7741
З нами з: Чет червня 23, 2005 16:30
Звідки: Київ
Машина: УАЗ 31602

Повідомлення Nick Maslov » Чет серпня 09, 2007 13:01

Shurik написав:ну там где я знаю - рутсервер стоит 100уев в месяц.

кстати откуда это на нашем сайте забугорный траф.?
это вообще живые люди или боты?

Не плохие цены дает бестхостинг у меня на нем реселлерская панель.
Да и контора давно работает.


100 - это уже многовато, imho.
Зарубежный - и боты, и люди; людей меньше. Опять же, чтобы говорить более предметно нужно строить подробную статистику.

Если честно, то мне не совсем понятно - с одной стороны, ты пишешь, что "сумма небольшая" и кто захочет - скинется, с другой - начинается пересчет крошек (сто байт из Новой Гвинеи, три картинки из Пакистана - нужно их "оптимизировать").

Можно пережать все фотки в 320x200, удалить видео; в форуме хранить сообщения только за последний месяц (неделю), а еще лучше - вообще отказаться от форума и переписываться в почте (или на уазбуке), тогда сайт можно держать на хостинге за 5$/год и все будут довольны и счастливы. :)
Nick Maslov
Участник движения
 
Повідомлення: 1155
З нами з: Вів травня 17, 2005 14:11
Звідки: Киев

Далі

Повернутись до Развитие сайта и форума

Хто зараз онлайн

Зараз переглядають цей форум: Немає зареєстрованих користувачів і 1 гість