Amazon S3 і причина, через яку я перестав мати з ним справу

Одного разу я дізнався, що моїх даних сайту на серверах Amazon S3 більше немає. Що трапилося і чим закінчилося далі.

Збираючись розмістити новий пост у блог, я за класичною схемою після написання тексту поліз завантажувати картинки на сервер Amazon S3. Свого часу вирішивши, що для сайту слід використовувати надійне зовнішнє сховище з резервними копіями, я перейшов на ідею зберігання картинок і рідше інших файлів на сторонньому від хостингу ресурсі. Але зіткнувся з неприємною ситуацією – на сервері лежав один єдиний файл, який містив картинку, що висить на лого та якийсь текст у коді сторінки

Текст як би дослівно говорить про “хлопець, ти ідіот і не вмієш зберігати свою інформацію” – з чим я навіть сперечатися не буду. З тим лише незначним моментом, що до моїх даних доступ був відкритий тільки на читання (з деяких пір Амазон перестав від балди давати доступ до завантажених файлів і доводилося до кожного відкривати доступ. Я давав доступ всім виключно на читання, щоб можна було розмістити картинки на сайті), отже є дуже явна підозра, що ламанули безпосередньо аккаунт і тут уже, як би, більше питання до самого Амазону про те, що взагалі трапилося і якого дідька. Ну…оскільки файлів моїх там було цілих 50-60 мегабайт (що одно тому, що за використання сховища з мене списувалися 10 центів на місяць або навіть менше), і по суті за сховище я особливо і не платив, вирішив що вони мені нічого не винні.

Справа в тому, що косяк цей був уже не перший з боку Амазона і раніше мені, з якогось переляку, заборонили туди доступ (в моє ж сховище з мого комп’ютера). Якось цю справу виправив, але зробив відразу ж бекап (я його робив рівно рік тому, тобто в наявності у мене були файли річної давності і ті, що зберігалися на комп’ютері, тому що зображення які я розміщую на сайті приблизно в 90% випадків є моїми). Що цікаво – 29.06.2020 я робив резервну копію даних сайту та баз даних з хостингу, а ось копію файлів з Амазона, на жаль, примудрився не зробити.

Результатом цього всього бадилля і моєї нездатності робити хоча б щомісячні бекапи стала доба, витрачена на відновлення блогу до первозданного вигляду з усіма картинками (деякі, на жаль, відновити не вдалося, але вони були не критичні для тих статей). Решта ресурс повністю функціонує.

ПРОХАННЯ ДО ЧИТАЧІВ БЛОГА!

Якщо де-небудь ви побачите відсутні картинки або файли – прохання залишити або в тому ж записі повідомлення, або ж у коментарях до цієї про те, де і з чим виникла проблема. Постараюся одразу ж її вирішити.

Далі я розповім як мені вдалося так швидко відновити працездатність і що робити, якщо з вами трапиться така ж біда.

---

Головним інструментом я по праву вважаю плагін для WordPress, який дозволяє на всьому сайті в пару кліків змінити текст. Плагін називається Search Regex і він виконав за мене просто титанічний працю – завантаживши на хостинг бекап файлів, що залишилися з Амазона, все, що мені потрібно було для підхоплення цих файлів, це поміняти джерело, звідки вони взяті. Зробити це можна або вручну, в кожній статтею змінюючи посилання до кожного файлу, або ж за допомогою даного плагіна вибравши адресу посилання та замінивши його на потрібний нам. Це дозволило мені буквально в парі сотень статей одночасно змінити джерело картинок та файлів, тим самим відновивши половину функціоналу сайту. Але бій не був виграний, тому що на нас чекало найскладніше – відновлення інших статей.

Деяким статтям пощастило більше, деяким менше. Тим, що пощастило більше – у кеші залишилися завантажені зображення. Вбивши в пошук Гугла назви статей сайту – я отримав доступ до зображень, нехай і часом дуже погано. Тим не менш, місцями я зміг відновити (знову таки з пошуком по картинках) деякі зображення, які я брав свого часу з інтернету. Якщо ж у вас трапилося більш глобальне лихо і зникли самі статті – у їх відновленні вам допоможе веб-архів. Вбивши на цьому сайті адресу необхідного нам ресурсу, ми маємо можливість знайти його резервну копію, яка зберігається на просторах інтернету і, як мінімум, зберегти текст із статті, яка у нас була. Картинки таким методом, на жаль, не відновити.

Що ж до зображень із оглядів ігор і фільмів/серіалів – тут я також знайшов незвичайний спосіб, як можна якщо не відновити, то нашвидкуруч відтворити необхідний контент – за допомогою програми Automatic Screenshotter . Головним завданням, яким воно займається, є зняття скріншотів за заданими параметрами. Якщо нам потрібні картинки для сайту з гри або фільму – ми можемо зробити їх в автоматичному режимі даною програмою, а надалі вибрати ті, що найбільш вдалі і додати до статті. Раніше я вручну робив скріншоти в іграх, а з серіалами доводилося ще шукати хороші кадри, а зараз це робитиметься в майже автоматичному режимі.

---

Як результат злому ресурсу я:

• Призвів до нормального вигляду файли статей
• Переніс всі картинки на хостинг сайту, що дозволить надалі в 2 кліки зробити бекап необхідної мені інформації, у тому числі картинки та файли.
• Спростив створення скріншотів для статей на сайті
• Стану робити бекапи частіше, тим самим нівелювати наслідки подібних зламів (не зарікатимусь, що хостинг складніше зламати, але в цілому використання хостингу під файли спростить і бекап і стеження за файлами)
• Прискорить роботу сайту для основних одержувачів контенту (хоч сервери Амазона і перебували в Європі, але навряд чи це було в Україні, отже пінги на доступ до картинок були вищими. Зараз же з перенесенням картинок на оригінальний хостинг є варіант, що швидкість доступу до них буде вище, а значить основні читачі моїх статей отримуватимуть інформацію швидше)

Не буду говорити що я не засмучений подіями і що мені не шкода часу, який зараз на вагу золота перед зимовим сезоном, але в цілому якщо ти не здатний впоратися з роботою свого ресурсу – це привід задуматися про те, чи потрібен він тобі. За добу мені вдалося все відновити повністю робочий стан, а значить все не так вже й погано 🙂

Сподіваюся подальша робота сайту буде без подібних казусів і у вас завжди буде можливість отримати необхідну інформацію з наших сторінок)

UPD проблема не тільки у мене, і пов’язана вона з тим, що на основний каталог, у якому містилися файли, був доступ для всіх користувачів

Информация была найдена на одном из ресурсов на японском, дословный перевод Гугла

Яким чином натрапили на мій кошик і вирішили перевірити доступ діло десяте, але будьте обережні якщо ви користуєтеся файлопомийкою (після сьогоднішньої ситуації можна це місце назвати іншим?) Амазона – завжди перевіряйте рівень доступу для всіх користувачів . Втім особисто я не пам’ятаю, щоб папці було дано повний доступ, але й зворотного говорити не стану так як створювалося це всього року приблизно 2 тому.