Плагин для хранения картинок в хранилище Amazon S3
Плагин позволяет автоматически сохранять все изображения (картинки топиков, фотосетов, аватары пользователей и блогов) на внешнее хранилище Amazon S3. Плагин сделан переопределением функций ядра, поэтому разницы в работе в ЛС никто не заметит, просто картинки будут сохраняться на внешнем хранилище, а не на сервере, где расположен сайт.
По идее любые плагины, загружающие картинки с помощью функций ядра (а по уму плагины так и должны делать), будут так же сохранять файлы на Амазон. ;)
Примеры тут — откройте любую картинку и посмотрите путь. :)
Страница плагина. Плагин будет доступен после модерации…
Для тех, кто не в курсе:
А что такое Amazon S3?
Amazon S3 расшифровывается как Amazon Simple Storage Server — облачное хранилище файлов от Amazon. У обычного хостинга/VPS/сервера всегда есть несколько ограничений. Первое самое прозрачное — объем жестких дисков (особенно, если это касается дорогих SCSI). Упрешься в потолок — нужно делать апгрейд. Со вторым ограничением сталкиваешься, когда на ресурс неожиданно приходит чрезмерно много пользователей, и сервер банально… падает. Или другой вариант — не хватает Интернет-канала, и пользователи тянут файлы так, как если бы оказались 10 лет назад на 36.6К-модеме. Мало этого, если вдруг жесткий диск на сервере полетит, то лучшее, на что придется надеяться, — это лишь когда-то сделанный бэкап. Увы, даже с резервной копией, сделанной несколько часов назад, можно потерять тонну важных данных.
А теперь посмотрим на Amazon S3. Тебе предоставляется ровно столько пространства в хранилище, сколько нужно. Хоть 10 Мб, 1 Гб или даже 10000 Тб — никаких ограничений (оговорюсь, кроме максимального размера на файл — 5 Гб). В датацентрах Amazon используется специально проработанное оборудование и распределенные файловые системы, позволяющие бесконечно масштабироваться. Те же самые знаменитые технологии, которые давным-давно использовались, скажем, в Google для хранения огромных массивов данных, но в виде услуги для конечного пользователя. Что не менее важно, Amazon S3 гарантирует сохранность данных. Любой объект в обязательном порядке избыточно хранится одновременно в нескольких местах. Как только объект попадает в хранилище, S3 заботиться о его надежности, проверяя и в случае необходимости увеличивая недостающую избыточность данных. Помимо этого, S3 также регулярно проверяет целостность хранимых данных, используя контрольные суммы. Если вдруг обнаруживаются нарушения, целостность восстанавливается опять же с помощью тех самых избыточных данных. Что все это дает? Много «девяток»:
99.99% доступность файлов в течение года;
99.999999999% надежности.
Стоп, я еще не сказал о системе версионности. Ты можешь использовать ее для сохранения, извлечения и восстановления предыдущих версий объекта, хранящихся в Amazon S3. Запрос по умолчанию извлекает последнюю версию. Но более старую модификацию файла можно закачать, указав версию файла.
Резюмируем:
Любые нагрузки:
Используя Amazon S3 вы можете не боятся, к примеру, Digg эффекта. Любые объёмы трафика, – это рай для вашего ресурса.
Стабильность:
Использование системы распределённого хостинга гарантирует стабильность.
Платите за то, что используете:
Если вы берёте себе VPS, то платите твёрдо одну и туже сумму, к примеру за объём диска, который вам выделили. На Amazon S3 вы платите только за то, что используете – никаких переплат.
Хранилище онлайн:
Нет необходимости хранить данные на дисках – залейте их в Сеть, и храните там. Храните данные тайно, или открывайте доступ кому необходимо. (удобно, но по поводу “нет необходимости хранить данные на дисках” – я бы поспорил).
Неограниченное место, анлимные пропускные возможности, платите только за то – что используете по факту – что может быть краше?
Сколько это стоит?
Все новые юзеры получают в подарок на год ежемесячный пакет бесплатных услуг. Так, к примеру, в течении 12 месяцев, каждый месяц вы будете получать совершенно бесплатно:
5 гигабайт места под файлы
20 000 запросов от пользователей
2 000 запросов PUT
15 гигабайт входящего трафика
15 гигабайт исходящего трафика
Если вам этого мало, то тарифы амазон более, чем гуманные:
Первый террабайт самый дорогой — $0.093 (2.8 рубля) за каждый гигабайт в месяц. С 1 до 49 Тб цена за каждый гиг будет $0.083 (2.5 рубля). Ну и дальше, чем больше хранишь, тем дешевле обходится каждый гигабайт. Цены же на запросы и траффик также очень гуманные: GET стоит $0.01 (30 копеек) за 10,000 запросов, PUT, COPY, POST стоит столько же, но за 1,000 запросов. Входящий трафик бесплатный, исходящий до 1 гигабайта бесплатно, свыше $0.12 (3.5 рубля) за каждый гигабайт до 10 Тб, от 10 до 40 Тб — $0.09 и так далее по нисходящей.
Дешвле в тысячи раз использовать этот сервис, чем содержать свой сервак, а в случае использования VPS цены за дополнительные гигабайты вообще золотые.
Ещё один из плюсов, который я уже оценил — переезд с одного хостинга на другой занимает ну очень мало времени — копируешь быстренько файлы движка и базу, а море контента в виде картинок мерно покоится в меганадежном месте. :)
~ небольшой расчет хранения файлов: ~
Считаю без учета бесплатных за первый год, пусть это будет второй год обслуживания:
Для сравнения:
По идее любые плагины, загружающие картинки с помощью функций ядра (а по уму плагины так и должны делать), будут так же сохранять файлы на Амазон. ;)
Примеры тут — откройте любую картинку и посмотрите путь. :)
Страница плагина. Плагин будет доступен после модерации…
Для тех, кто не в курсе:
А что такое Amazon S3?
Amazon S3 расшифровывается как Amazon Simple Storage Server — облачное хранилище файлов от Amazon. У обычного хостинга/VPS/сервера всегда есть несколько ограничений. Первое самое прозрачное — объем жестких дисков (особенно, если это касается дорогих SCSI). Упрешься в потолок — нужно делать апгрейд. Со вторым ограничением сталкиваешься, когда на ресурс неожиданно приходит чрезмерно много пользователей, и сервер банально… падает. Или другой вариант — не хватает Интернет-канала, и пользователи тянут файлы так, как если бы оказались 10 лет назад на 36.6К-модеме. Мало этого, если вдруг жесткий диск на сервере полетит, то лучшее, на что придется надеяться, — это лишь когда-то сделанный бэкап. Увы, даже с резервной копией, сделанной несколько часов назад, можно потерять тонну важных данных.
А теперь посмотрим на Amazon S3. Тебе предоставляется ровно столько пространства в хранилище, сколько нужно. Хоть 10 Мб, 1 Гб или даже 10000 Тб — никаких ограничений (оговорюсь, кроме максимального размера на файл — 5 Гб). В датацентрах Amazon используется специально проработанное оборудование и распределенные файловые системы, позволяющие бесконечно масштабироваться. Те же самые знаменитые технологии, которые давным-давно использовались, скажем, в Google для хранения огромных массивов данных, но в виде услуги для конечного пользователя. Что не менее важно, Amazon S3 гарантирует сохранность данных. Любой объект в обязательном порядке избыточно хранится одновременно в нескольких местах. Как только объект попадает в хранилище, S3 заботиться о его надежности, проверяя и в случае необходимости увеличивая недостающую избыточность данных. Помимо этого, S3 также регулярно проверяет целостность хранимых данных, используя контрольные суммы. Если вдруг обнаруживаются нарушения, целостность восстанавливается опять же с помощью тех самых избыточных данных. Что все это дает? Много «девяток»:
99.99% доступность файлов в течение года;
99.999999999% надежности.
Стоп, я еще не сказал о системе версионности. Ты можешь использовать ее для сохранения, извлечения и восстановления предыдущих версий объекта, хранящихся в Amazon S3. Запрос по умолчанию извлекает последнюю версию. Но более старую модификацию файла можно закачать, указав версию файла.
Резюмируем:
Любые нагрузки:
Используя Amazon S3 вы можете не боятся, к примеру, Digg эффекта. Любые объёмы трафика, – это рай для вашего ресурса.
Стабильность:
Использование системы распределённого хостинга гарантирует стабильность.
Платите за то, что используете:
Если вы берёте себе VPS, то платите твёрдо одну и туже сумму, к примеру за объём диска, который вам выделили. На Amazon S3 вы платите только за то, что используете – никаких переплат.
Хранилище онлайн:
Нет необходимости хранить данные на дисках – залейте их в Сеть, и храните там. Храните данные тайно, или открывайте доступ кому необходимо. (удобно, но по поводу “нет необходимости хранить данные на дисках” – я бы поспорил).
Неограниченное место, анлимные пропускные возможности, платите только за то – что используете по факту – что может быть краше?
Сколько это стоит?
Все новые юзеры получают в подарок на год ежемесячный пакет бесплатных услуг. Так, к примеру, в течении 12 месяцев, каждый месяц вы будете получать совершенно бесплатно:
5 гигабайт места под файлы
20 000 запросов от пользователей
2 000 запросов PUT
15 гигабайт входящего трафика
15 гигабайт исходящего трафика
Если вам этого мало, то тарифы амазон более, чем гуманные:
Первый террабайт самый дорогой — $0.093 (2.8 рубля) за каждый гигабайт в месяц. С 1 до 49 Тб цена за каждый гиг будет $0.083 (2.5 рубля). Ну и дальше, чем больше хранишь, тем дешевле обходится каждый гигабайт. Цены же на запросы и траффик также очень гуманные: GET стоит $0.01 (30 копеек) за 10,000 запросов, PUT, COPY, POST стоит столько же, но за 1,000 запросов. Входящий трафик бесплатный, исходящий до 1 гигабайта бесплатно, свыше $0.12 (3.5 рубля) за каждый гигабайт до 10 Тб, от 10 до 40 Тб — $0.09 и так далее по нисходящей.
Дешвле в тысячи раз использовать этот сервис, чем содержать свой сервак, а в случае использования VPS цены за дополнительные гигабайты вообще золотые.
Ещё один из плюсов, который я уже оценил — переезд с одного хостинга на другой занимает ну очень мало времени — копируешь быстренько файлы движка и базу, а море контента в виде картинок мерно покоится в меганадежном месте. :)
~ небольшой расчет хранения файлов: ~
Считаю без учета бесплатных за первый год, пусть это будет второй год обслуживания:
- 15 гигабайт места = $1.39
- 150 000 запросов от пользователей = $0.15
- 5 000 запросов PUT = $0.05
- 15 гигабайт (150 тыщ запросов по 100Кб) исходящего трафика = $1.8
Для сравнения:
- У мастерхоста дополнительные 15Гб на виртуальном хостинге стоят 8400 рублей, на VPS — не нашёл на сайте, как получить больше места.
- У mchost на виртуальном хостинге дополнительные 15 Гб стоят 1500 рублей, с VPS таже непонятно стоимость доп.места
91 комментарий
Вообще, как я писал в самом начале топика, плагин совместим со всем, что сделано по логике и, скажем так, методологии разработки под ЛС. Должны работать всё плагины.
Вот тут я делал анонс что в версии 0.2 реализована
ТАк что в моем плагине данная поддержка из-под коробки. Когда появится проверю на конфликты.
Не знаю как нормально задать этот вопрос.
Вот например адрес в вашем примере:
skachko.s3.amazonaws.com/images/00/00/01/2011/11/02/9646c1.jpg
Можно ли сделать, чтобы адрес был такой?
ls.skachko.com/images/00/00/01/2011/11/02/9646c1.jpg
но это дополнительная нагрузка и никакой nginx уже не поможет.
Надо будет поправить чуток зону ДНС у себя, и прописать букету имя хоста.
Выгоднее Маштабировать нагрузки по средствам дополнительных серверов, а Амазон или аналог использовать для нагрузок + хранения бекапов.
1. Сервер для хранения данных с винтом на 1 терабайт с каналом в 100 мб в Европе Вам обойдется в районе 50-100 баксов.
Вопрос другой Движок. Его как раз лучше хранить на Амазоне или РекСпейсе. К примеру на Рекспейсе у Вас 4-е ядра и 1 гиг оперативки и 10-20 гигов места за смешную сумму в 20 баксов в месяц + оплата за траффик (его понт, так как все храниться на удаленных серверах)
Но плагин супер! как я понял он работает с 5-й версией?
Да, тестировал только на пятой.
Сервер на рекспейсе дает ответ в среднем 50 Мс
Сервер на Украине ( я тут живу) в среднем дает ответ 10 мс.
В случае маленьких файлов это не чувствительно, а вот в случае если вы грузите большие картинки и док файлы это дает плохие результаты, а именно файл действительно начинает дольше грузиться. Большие файлы это больше 50 мегабайт.
У вас очень специфичные проекты.
Ваш скрипт интересен больше в формате собственного сервиса для Ливстрита по хранению информации как по мне. Взяв 4-е сервера в 2х дата центрах, можно сделать аналог Амазоновского сервиса)) поставить туда по 3и винта 2х терабайтных. Места море… Цены помегабайтные без оплаты за траффик, но с ограничением канала за который платишь в рамках пакетов.
Аля
100 гигабайт места + канал 10мб — 20 баксов в месяц. Цена лучше чем на Амазоне и все честно + вы заработаете, вопрос в другом — будут ли клиенты )
www.dropbox.com/developers/reference/api
code.google.com/p/imageshackapi/
Кстати заметил, на CTRL+Enter у всех вылазит тег <br/>?
и на шифтр ентр тоже )
1. Работает ли с 0.4.2
2. Картинки сначала ресайзется и заливаются на мой сервер, а потом на amazon или сразу на amazon?
2. Сначала идёт обработка на стороне севера, на амазон загружается результат, после чего удаляется на сервере.
И вопрос: а будет ли поддержка, кроме амазона, еще и других сервисов типа имаджешака(там даже нет ограничений и бесплатно, насколько я помню) и дропбокса(насчет ограничений не помню, но знаю, что изначально даром дают 2 гига). Об этом писалось выше, но все же. Так-то плагин полезный и цена адекватна.
Поддержку сделать можно, вопрос мотивации…
Сделайте еще для www.clodo.ru/cloud-storage/
lib.clodo.ru/cloud-storage/cloudstorage/
просто разница в 100-200р незначительная
а у клодо есть qiwi yandex webmoney
ни одного сервера регнутого на меня и т.д. т.д.
даже аттестат вебмоней года 4 получался на знакомого)
иногда, чтобы до сих пор быть аноном, приходится чем-то жертвовать.
ну, это сугубо мое воспитание, ибо я люблю само понятие интернет социум.
так что, скорее не в «нету карточки», а в каких-то своих принципах сетевиков. раньше все были анонами. а сейчас что? что сейчас творится. это пиздец. любой кто не палит ФИО, сразу задрот. доверие в инете упало. раньше люди верили в инет людей. а сейчас не верят вообще, что годами доказываешь.
Сайт на своём сервере, vds или обычный хостинг?
С уважением
Алексей
скайп: avskachko
Не ожидается?
Купил бы с удовольствием.
Вот для фоток есть API.
Очень хотелось бы плагина.
Писал вам на аську, не отвечате.
01 апреля 2012, 09:29 -> не покупайте этот плагин, он не работает, поддержки нет
6 минут на такие выводы — мне кажется это абсолютный рекорд! :D
Ну а если серьезно — никто вам не обещал поддержку по аське. Здесь вашего вопроса нет. На месте разработчика, после таких заявлений, я бы с вами и разговаривать не стал.
Проблема была с библиотекой CURL.
Как ставить curl можете прочитать здесь
Надо было просто поискать поиском.
Ответ очевиден, не чем, простая конкуренция на рынке, создает больший спрос к товару, а так же мотивирует увеличение качества товара на рынке.
Насчёт доната согласен).