VSGA tổng hợp và chia sẻ đến độc giả nghiên cứu được công bố trên arXiv (mã nguồn và bộ dữ liệu công bố tại GitHub) bởi nhóm tác giả Han Wang và cộng sự, Trung tâm Công nghệ và Kỹ thuật Ứng dụng Không gian, Viện Hàn lâm Khoa học Trung Quốc. Nhóm xây dựng bộ dữ liệu HOSS ReID, đề xuất phương pháp TransOSS dựa trên Vision Transformer, đạt mAP 57,4%, cao hơn VersReID (49,3%), mở ra hướng tiếp cận cho giám sát hàng hải bằng dữ liệu vệ tinh đa nguồn.
Giới thiệu
Theo dõi tàu thuyền liên tục trên biển có vai trò quan trọng trong tìm kiếm cứu nạn, thực thi pháp luật hàng hải và phân tích vận tải biển. Các phương pháp hiện nay sử dụng vệ tinh địa tĩnh hoặc vệ tinh video nhưng còn hạn chế về độ phân giải, thời gian và phạm vi quan sát. Việc kết hợp ảnh quang học và radar khẩu độ tổng hợp (SAR) từ các vệ tinh quỹ đạo thấp (LEO) được xem là giải pháp tiềm năng, giúp quan sát tàu cả ban ngày, ban đêm và trong điều kiện thời tiết xấu.
Nhóm tác giả Han Wang và các cộng sự, thuộc Trung tâm Công nghệ và Kỹ thuật Ứng dụng Không gian, Viện Hàn lâm Khoa học Trung Quốc và Đại học Viện Hàn lâm Khoa học Trung Quốc, đã nghiên cứu bài toán tái nhận dạng tàu giữa ảnh quang học và SAR. Nhóm tác giả xây dựng bộ dữ liệu HOSS ReID và đề xuất phương pháp TransOSS dựa trên kiến trúc Vision Transformer (ViT), nhằm hỗ trợ nhận dạng và theo dõi cùng một tàu giữa hai loại ảnh có đặc trưng rất khác nhau.
Bộ dữ liệu và phương pháp
Do chưa có bộ dữ liệu công khai phù hợp, nhóm tác giả tự thu thập dữ liệu từ hai chòm vệ tinh Jilin-1 (quang học) và TY-MINISAR (SAR). Ảnh quang học có độ phân giải 0,75 m, ảnh SAR có độ phân giải 1 m. Nhóm tập trung thu thập ảnh tại các cảng, kênh đào có nhiều tàu và ưu tiên các tàu đang neo đậu nhằm hạn chế ảnh hưởng của chuyển động.
Bộ dữ liệu HOSS ReID gồm 13 chuỗi ảnh, với tổng cộng 18 ảnh SAR và 25 ảnh quang học. Dữ liệu được chia thành tập huấn luyện, truy vấn và gallery, trong đó gallery bổ sung thêm nhiều đối tượng gây nhiễu để mô phỏng điều kiện tìm kiếm thực tế. Các tàu được chia thành bốn nhóm chính gồm tàu chở dầu, tàu container, tàu hàng rời và các loại tàu khác.
Trên bộ dữ liệu này, nhóm tác giả đề xuất mô hình TransOSS dựa trên kiến trúc Transformer. Mô hình gồm ba thành phần chính: (1) sử dụng hai nhánh xử lý riêng cho ảnh quang học và SAR ở đầu vào, sau đó đưa vào bộ mã hóa Transformer chung; (2) bổ sung thông tin về chế độ ảnh để mô hình phân biệt và học các đặc trưng ít phụ thuộc vào loại cảm biến; (3) bổ sung thông tin về kích thước thực tế của tàu nhằm hạn chế mất thông tin khi ảnh được đưa về cùng kích thước.
Quá trình huấn luyện gồm hai giai đoạn. Đầu tiên, mô hình được tiền huấn luyện trên khoảng 56 nghìn cặp ảnh quang học–SAR từ các bộ dữ liệu công khai bằng phương pháp học tương phản. Sau đó, mô hình được tinh chỉnh trên HOSS ReID bằng kết hợp hàm mất mát phân loại theo ID và Triplet Loss, giúp các ảnh của cùng một tàu có đặc trưng gần nhau và các tàu khác nhau có đặc trưng cách xa nhau.
Thành tựu & kết quả
- Kết quả thực nghiệm cho thấy TransOSS đạt hiệu quả tốt nhất trên bộ dữ liệu HOSS ReID, với mAP 57,4%, Rank-1 65,9%, Rank-5 79,5% và Rank-10 85,8%, cao hơn phương pháp tốt thứ hai là VersReID với mAP 49,3%.
- Các mô hình Transformer nhìn chung cho kết quả tốt hơn ResNet, kể cả khi ResNet được thiết kế riêng cho bài toán ReID khả kiến–hồng ngoại. Điều này cho thấy việc tái nhận dạng tàu giữa ảnh quang học và SAR khó hơn đáng kể so với ReID khả kiến–hồng ngoại.
- Ở bài toán nhận dạng giữa hai chế độ, TransOSS đạt mAP 48,9% và Rank-1 33,8% khi tìm tàu từ ảnh quang học sang SAR; ngược lại, từ SAR sang quang học đạt mAP 38,7% và Rank-1 29,9%. Kết quả thấp hơn ở chiều SAR → quang học cho thấy đây là hướng khó hơn do ảnh SAR thường chứa ít thông tin hình dạng và chi tiết trực quan của tàu.
- Các thí nghiệm cũng cho thấy từng thành phần của TransOSS đều có đóng góp tích cực. Bộ tách token hai nhánh giúp mAP tăng khoảng 1,9–4,4 điểm %, tiền huấn luyện trên dữ liệu quang học–SAR quy mô lớn mang lại mức cải thiện lớn nhất, đưa mAP của ViT-base từ 43,0% lên 52,3%. Embedding chế độ ảnh và embedding kích thước tàu tiếp tục giúp mAP tăng lần lượt 1,1 và 1,8 điểm %. Khi kết hợp toàn bộ các cải tiến, TransOSS tăng 33,5 điểm % mAP và 17,3 điểm % Rank-1 so với ViT-base ban đầu. Kết quả Grad-CAM cũng cho thấy mô hình có khả năng tập trung vào các vùng và đường viền hình dạng quan trọng của tàu ở cả hai loại ảnh.
Hạn chế
- Dữ liệu còn ít, việc thu thập ảnh quang học và SAR của cùng một tàu khó và tốn kém.
- Khoảng cách giữa ảnh quang học và SAR lớn, khiến hiệu quả ReID liên chế độ còn thấp, đặc biệt theo chiều SAR → quang học.
- Dữ liệu dùng để tiền huấn luyện chưa được thiết kế riêng cho ReID tàu.
Triển vọng & hướng phát triển
- Khai thác thêm thông tin địa lý và đặc trưng tán xạ SAR để nâng cao khả năng nhận dạng.
- Phát triển học tự giám sát/không giám sát để giảm nhu cầu dữ liệu gán nhãn.
- Tăng cường data augmentation và mở rộng dữ liệu.
Nguồn:
