xbstream: Can't create/write to file './ibdata1' galera

Đây là lỗi tôi gặp phải khi khởi động mariadb galera cluster cụm 3 node. Diễn biến là như này. Ban đầu tôi quên không cấu hình iptables giữa các server, tất nhiên khi đó các node joiner sẽ không thể đồng bộ data với donor để tham gia vào cluster. Tôi bèn stop iptables, nhưng sau đó tôi liên tục gặp thông báo "xbstream: Can't create/write to file './ibdata1' galera". Quái lạ, hay là trên joiner node có một file ibdata1 đó chưa được xóa, tôi tự nhủ. Di chuyển đến khu vực datadir của joiner tôi không thấy file nào tên là ibdata1 chỉ có sst_in_progress và grastate.dat Tại datadir của joiner, tôi bèn rm -rf * hi vọng sẽ xóa sạch các file cũ để làm mới khu vực này sau khi sst từ donor. Tiếp tục khởi động mysql trên joiner, tôi tiếp tục nhận được thông báo lỗi cũ...

Gõ thử lỗi đó lên google, trong một kết quả tìm kiếm, có người đề cập đến thư mục .sst Thư mục .sst sẽ vẫn còn nguyên nếu sst trước đó bị lỗi và nó sẽ không được tự động xóa bỏ trong lần sst kế tiếp.  Tôi bèn nhớ ra lệnh rm -rf * tôi dùng tại datadir của joiner không xóa bỏ các hidden file và directory. Thử ls -a /var/lib/mysql, chà có thư mục .sst thật, và quả là trong .sst có file ibdata1 thật. Do sst lần trước bị chặn bởi iptables nên thất bại, thư mục .sst chứa các file đồng bộ nửa chừng trươc đó vẫn còn nên làm lỗi luôn lần sst kế tiếp. Tôi chỉ cần xóa bỏ .sst này và khởi động lại mysql, joiner đồng bộ với donor thành công, cùng tham gia vào cụm cluster.

Ghi chú:

Bản MariaDB galera cluster tôi đang dùng là 10.1.12

joiner: là node tham gia cluster, cần phải đồng bộ data với các node đang có sẵn trong cluster

donor: là node đã nằm trong cluster, được chọn một cách ngẫu nhiên hoặc có chủ đích từ joiner để làm nguồn đồng bộ data

sst: là quá trình đồng bộ full, data được kéo từ donor về joiner

Tham khảo:

https://bugs.launchpad.net/percona-xtradb-cluster/+bug/1431101