Сколько памяти нужно для cdn?
Хочу реализовать CDN по доставке видео контента, а именно: фильмы, сериалы. Примерно будет 100к, это фильмы и сериалы. Меня интересует вопрос по железу. Что расскажите? Скок памяти?
Представьте, что вы собрались писать такое, вот какой бы вы выбрали vds? В интернете честно говоря информации вообще не нашел, возможно плохо искал(
Дополнительно:
На чем вы писать собрались?
Просто доставка контента в любом случае должна быть реализована, это я лишнее написал)
Да и то можно вширь пойти через балансир нагрузки.
Т.е. в большей степени cdn это сетевая система (географическое распределение и все такое) а не серверная как вы описываете :)
Ещё одним недостатком этих "балансеров" является то, что они обычно очень существенно жмут видео. Вплоть до использования статического битрейта. Результат не всегда хорош, но большинство пользователей такого контента качество видео обычно парит ещё меньше, чем поганая реклама.
Собственно, CDN в таких "кинотеатрах" не геораспределённые (и даже скорее "далёкие" от потребителя, ибо пиратство лучше всего работает из-за пределов страны обитания получателей), там задача в другом совсем. Дело в том, что проблема даже не в занимаемом видеофайлами месте. В первую очередь проблема в пропускной способности канала. Например, пусть у нас видеофайлы с битрейтом 3 Мбит/с (аудио+видео), тогда 300 пользователей забьют условный гигабит. Популярному "кинотеатру" придётся иметь много серверов, которые будут отдавать одно и то же. То есть на деле места нужно будет очень и очень много, причём оно уйдёт на дублирование файлов.
Память в этих серверах будет совсем не узким местом.
Помимо всего прочего, придётся очень много усилий потратить на менеджмент этого хозяйства, например, на динамическое принятие решений о количестве реплик каждого (популярный свежий фильм надо хранить во множестве копий, в то время как малопопулярный можно хранить не так широко).
А ещё быстро вылезет проблема качальщиков и "онлайн-кинотеатров" из всяких телеграмов, которые будут качать на максимальной скорости фильмы с твоего сайта и выкладывать в свои каналы/боты, забивая сеть. Придётся напрячься с управлением скоростью отдачи, чтобы это не работало. Например, кодик по факту отдаёт видео на скорости максимум 2x от выбранного качества (видимо, по имени файла в ссылке, содержащей разрешение, определяется лимит скорости в вебсервере). Скачать что-то штучное ещё можно, поставить скачивание на промышленный поток уже не получится, ведь в телеграм-ботах мало кто будет ждать доставки "заказанного" файла несколько часов.
Сколько это стоит для таких сервисов сложно сказать. Но, скорее всего, они не используют виртуалки. Для больших дисковых пространств выгоднее или арендовать железные сервера, или даже ставить своё оборудование в датацентр. Причём для серверов отдачи видео не нужно много процессора и памяти, можно брать дешманские б/у сервера, цеплять к ним дисковые полки (в том числе с недорогими б/у дисками) и получить очень даже неплохой по цене вариант.
Да и в целом не так уж и дорого хранить десятки террабайт. Я себе в прошлом году в розницу купил не самые дешёвые диски по цене 2700 рублей за террабайт, а ведь оптом, да ещё и линейку и производителя подешевле - можно наверное и на 1000 за террабайт выйти... При большой активности пользователей и платящих рекламодателях можно очень даже неплохо зарабатывать.
Vds??
Несколько серверных стоек в ДЦ…
Но по факту зависит от количества юзеров и насколько криво написан софт
- В почему именно от юзеров? Впервую очередь ведь контент там будет лежать
- NovaVortex, контент не обязательно должен лежать имено там
Если Вы хотите посчитать размер контента - возьмите средний показатель веса 1часа видео на ютубе в стандартных форматах -
1080 /720 /480
И сложитеРазное кино может весить по разному, зависит банально от длинны фильма. Ну и от битрейта
- Drno, примерно, 150 тб по 1.5 гб на фильм в формате 1080p. Честно, если взять videocdn, я не верю, что у них такой vds, ибо на 150 тб очень дорого, а дохода у них по факту почти нет
- Drno, или я путаю что-то?
- NovaVortex, ты не посчитал плюсом в 720 и 480
Не думаю что в 1,5 гб фильм.
Качество же будет отвратительное..При хранении такого количества инфы забудь про vds.
Для такого арендуются сервера целикомХранилка на 50 тт стоит вроде 300$ примерно
А если ты про пиратские сайты с кино, то они обычно не хранят ничего у себя, а гонят видео с торрентов
- NovaVortex, гугл предоставляет кеш-серверы для провайдеров тырнета по системе Google Global Cache. от гугла железяка и ПО от провайдера интернет и електричество. в итоге большинство ютуп-роликов кешируются на железяке внутри провайдер-сети и не грузят сервера ютупа, провайдеру и обывателям плюс в скорости.
если ты заинтересован самому делать CDN даже не по доставке видео-контеста а просто CDN для чего-либо, готовь огроменные деньги. с мелочью в "полтора" сервера никто разговаривать даже не будет :) - pfg21, ну, то что много денег - знаю. У меня вот интересует вопрос про videocdn. Явно ведь, что они платят крупные деньги, с рекламы у них там мало, по-любому. Но каким-то чудом у них 100к видео там. Как?
- NovaVortex, CDN, если сторонний, то он никаких реклам не вставляет.
он по договору кеширует запросы на него направленные и по этому же договору получает бабки. остальное не его дело :)
если CDN формирует сам контент-источник, ну сам как-то разруливает потоки денег внутри фирмы :) - pfg21, в этом "бизнесе" словом CDN обозначают не CDN в настоящем профессиональном смысле, а просто пиратский видеосервис где-нить в абузоустойчивой локации без цели быть близко и отзывчиво к потребителю, который живёт на рекламу xxxbet'а :) Вопросов эффективной доставки качественного контента такие "CDN" не решают вообще. В кодике сериалы аниме кладут 24-минутные серии 720p с размером серии 194 Мб (битрейт 1000 для видео avc и 90 для аудио aac), очень хорошо экономят, ведь их типичный потребитель на качество вообще не обращает внимание...
- shurshur, не знал :) привык к торрентам и такого не пользовал.
тогда все неясности отпадают.
Ответы:
Забавно, ирл точно такой же вопрос недавно задавали, предположим что ты мне не поверил и решил спросить на тостере)
еще раз говорю, стать видеобалансером с таким подходом невозможно
найди движок и договаривайся с балансером, какой-то да возьмёт тебя, их же достаточно много
- распределенная по географии ЦА инфраструктура, иначе даже 360р из европы во владивосток будет грузиться с лагами (утрированно)
- к этой инфраструктуре система шлюзов, чтобы не заблокироваться ркн и не отъехать с первыми же клиентами
- ты, наверняка, думаешь, что рекламодатели ходят по улице и не знают кому бы свои деньги за прероллы на пиратских кинотеатрах сунуть? так вот, это не так, они все давно и плотно сотрудничают с набравшими репутацию балансерами и экспериментировать при их бюджетах смысла никакого
ты сейчас не веришь что у них 150тб есть, а об этих вопросах когда планируешь задуматься? когда тебе кодер выставит прайс в 10к$?
- И переводчиками.
Абсолютно любой CDN упирается не в место на диске/память, а в толщину канала.
Идея про VDS тут явно не уместна. CDN это десятки/сотни физических серверов в правильных датацентрах с правильным каналом.
Оценивать нужно как общий трафик за месяц, так и пиковый трафик в единицу времени, - по опыту последний обеспечивать как раз дороже всего.
Если интерес не праздный - начните с использования яндекс.cdn https://cloud.yandex.ru/ru/services/cdn
За него можно платить в рублях, он достаточно недорогой (~1р за 1гб трафика), не нужно думать про пиковую нагрузку.
---
UPD Прочитал комментарии, вопрос по сути нужно переформулировать "как сделать пиратскую раздачу видео со своей рекламой за копейки".
Ответ на этот вопрос: CDN нафиг не нужен, встраивайте рекламу на уровне фронта/видео-плеера, само видео тащите из плеера p2p через торенты или откуда угодно еще.
- NovaVortex, я бы не хотел переходить на личности, но хотел быть дать дружеский совет: завязывайте с болотом непонятных проектов сомнительной легальности и переходите в настоящую разработку.
Тогда вы поймете что CDN решает те проблемы (и удовлетворяет тем требованиям) о которых вы даже не думали и не представляли, делая свой пиратский хостинг.
Опишите проблему, и специалист поможет с настройкой, исправлением ошибки или доработкой сайта. Подберём понятный план работ без лишней переписки.
Пока нет других ответов. Будьте первым, кто поможет автору.
Ответить на вопрос
Для того чтобы определить необходимое количество памяти для CDN (Content Delivery Network), необходимо учитывать несколько факторов. CDN предоставляет кэширование и доставку контента по всему миру, что может потребовать значительных ресурсов.
1. Тип контента: Различные типы контента требуют разного объема памяти. Например, изображения и видео файлы требуют гораздо больше памяти, чем текстовые файлы.
2. Объем трафика: Если ваш веб-сайт имеет большой объем трафика и много посетителей одновременно, то это также потребует больше памяти для CDN.
3. Географическое распределение: Чем больше узлов CDN распределены по всему миру, тем больше памяти потребуется для хранения кэшированных данных.
4. Кэширование: Настройка правил кэширования также влияет на объем памяти. Например, если вы кэшируете контент на длительное время, то это потребует больше памяти.
5. Динамический контент: Если ваш контент часто обновляется, то это также может повлиять на объем памяти, так как CDN должен обновлять кэшированные данные.
Итак, ответ на вопрос о количестве памяти для CDN зависит от конкретных потребностей вашего веб-сайта. Рекомендуется начать с небольшого объема памяти и мониторить использование, постепенно увеличивая его при необходимости. Важно также обратить внимание на предоставляемые провайдером услуги CDN возможности масштабирования и гибкости настройки, чтобы оптимизировать использование памяти.