S3 ограничение на объекты в ведре

похоже, что лимит изменился. Вы можете хранить 5 ТБ для одного объекта.

общий объем данных и количество объектов, которые можно хранить неограниченно. Отдельные объекты Amazon S3 могут иметь размер от 1 байта до 5 терабайт. Самый большой объект, который может быть загружен в одном месте, составляет 5 гигабайт. Для объектов размером более 100 мегабайт, клиенты должны рассмотреть возможность использования составной загрузки способность.

http://aws.amazon.com/s3/faqs/#How_much_data_can_I_store

• нет ограничений на объекты в ведре.
• существует ограничение в 100 ведер на учетную запись (вам нужно запросить amazon, если вам нужно больше).
• нет снижения производительности, даже если вы храните миллионы объектов в a одноковшовый.

из документов,

нет ограничения на количество объектов, которые могут быть сохранены в ведро и никакой разницы в производительности, используете ли вы много ведер или только несколько. Вы можете храните все ваши объекты в одном ведре, или вы можете организовать их по несколько ведер.

по состоянию на август 2016

хотя вы можете хранить неограниченное количество файлов/объектов в одном ведре, когда вы идете в список "каталог" в ведре, он даст вам только первые 1000 файлов / объектов в этом ведре по умолчанию. Чтобы получить доступ ко всем файлам в большом "каталоге", как это, вам нужно сделать несколько вызовов их API.

" вы можете хранить столько объектов, сколько хотите в ведре, и писать, читайте и удаляйте объекты в своем ведре. Объектов может быть до 5 размер терабайт."

от http://aws.amazon.com/s3/details/ (по состоянию на 4 марта 2015 года)

количество объектов, которые можно хранить в корзине S3, не ограничено. AWS утверждает, что он имеет неограниченное хранилище. Однако, есть некоторые ограничения -

1. по умолчанию клиенты могут предоставлять до 100 ведер на один аккаунт AWS. Однако вы можете увеличить лимит корзины Amazon S3, посетив сервис AWS Limits.
2. объект может быть от 0 байт до 5 ТБ.
3. самый большой объект, который может быть загружен в один PUT составляет 5 гигабайт
4. для объектов размером более 100 мегабайт, клиенты должны рассмотреть возможность использования многоэлементной загрузки.

Это, как говорится, если у вас действительно есть много объектов, которые будут храниться в ведре S3 рассмотреть рандомизацию префикса имени объекта для повышения производительности.

когда ваша рабочая нагрузка представляет собой смесь типов запросов, введите некоторую случайность в имена ключей, добавив хэш-строку в качестве префикса к имени ключа. Путем введения случайности в ваши имена ключей загрузка ввода-вывода будет распределена по нескольким разделам индекса. Например, можно вычислить хэш MD5 последовательности символов, которую планируется назначить в качестве ключа, и добавить 3 или 4 символа из хэша в качестве префикса к имени ключа.

Подробнее - https://aws.amazon.com/premiumsupport/knowledge-center/s3-bucket-performance-improve/

-- по состоянию на июнь 2018

@Acyra - производительность доставки объектов из одного ведра будет сильно зависеть от имен объектов в нем.

Если имена файлов были удалены случайными символами, то их физические местоположения будут распространяться дальше на аппаратном обеспечении AWS, но если вы назвали все 'common-x.jpg', 'common-y.jpg-тогда эти предметы будут храниться вместе.

Это может замедлить доставку файлов, если вы запрашиваете их одновременно, но не достаточно, чтобы беспокоить вас, больший риск связан с потерей данных или простоем, так как эти объекты хранятся вместе, они будут потеряны или недоступны вместе.