В прошлую пятницу, 13 сентября, по всей Украине перестал работать процессинг платежей “ПриватБанка”. Клиенты банка не могли осуществлять денежные переводы в онлайне, а также расплачиваться в магазинах и торговых сетях с использованием POS-терминалов банка.

Сбои наблюдались до конца дня, а их отголоски – и на выходных. С понедельника процессинг работает стабильно.

В разгар коллапса платежей в банке сообщили, что сбой случился из-за аварии. После устранения ее причин, специалисты банка долгое время вручную обрабатывали скопившуюся очередь из непроведенных транзакций.

Сегодня руководитель ecommerce-проектов “ПриватБанка” Кристина Кармазина опубликовала в Facebook более развернутое описание событий. По ее словам, в системе образовался мощный “затор” из транзакций: многим зачислили пенсии, зарплаты и другие выплаты и банк не справился с потоком.

Она также описала хронологию событий и реакцию на них сотрудников банка. Работы по восстановлению процессинга велись до конца дня вторника, 17 сентября.

AIN.UA публикует ее комментарий целиком.

Почему сломался процессинг “ПриватБанка”

Пятница – это пиковый день для транзакционной нагрузки. Идут зачисления на карту, много трат в POS-терминалах на земле и в интернете.

Процессинг нагружен по полной. Мы оптимизируем запросы постоянно.

Представьте, что процессинг – это труба, по которой проходят транзакции с карт банка и с торговых точек по чужим картам – это многосторонний поток. В пиковые моменты любое “спотыкание” или образование минимального “затора” приводит к реверсам (возвратам транзакций) в системе.

Реверсы – это сущность, которая влияет на производительность, т.к. реверсы в системе имеют приоритет. 

Это похоже на снежный ком. Представьте: идет многосторонний поток, образовалась небольшое накопление транзакций, пошел возврат потоков, реверсы проходят – но не проходят новые транзакции в потоке и становятся в очередь на реверс.

Для процессинга многих тысяч транзакций в минуту – это норма. Если в какую-то минуту поток увеличивается – начинаются реверсы. В нагруженный день в онлайне отработать “затор” и все накопленные реверсы нереально. Представили этот ужас?

И вот в пятницу 13-го зашли целевые пополнения, пенсия и выплаты – очень много зашло в самый час пик. И количество транзакций превысило норму в пик нагрузки.

Хронология событий

  • В 17:32 начался “затор”.
  • До 19:23 работало с переменным успехом.
  • Реверсы накапливаются, поток транзакций не проходит.
  • В 19:23 приняли решение выключить ВСЕ: движения по нашим картам, наши POSы, наши банкоматы, наш интернет-эквайринг. Цель – минимизировать поток, провести целевые зачисления, вырулить реверсы. Процессинг – это живой организм, который возвращали к жизни последовательно.
  • В 21:00 – включили банкоматы.
  • В 21:08 – включили наши карты в банкоматах и POS других банков.
  • В 22:48 – закончили проведение целевых платежей.
  • В 23:00 – восстановили полноценную работу e-сommerce.
  • В 23:11 – восстановили полную работоспособность всех комплексов “ПриватБанка”.
  • С субботы по вторник включительно команда анализировала проблемные транзакции, продолжали что-то возвращать на карты, что-то допроводить. К концу вторника e-сommerce разрулили, остались POS.