欢迎访问《控制理论与应用》期刊网站！

融合拼接注意力机制的船舶轨迹预测方法

doi: 10.7641/CTA.2024.30557

吴跃高，俞万能，曾广淼，商逸帆，廖卫强

集美大学轮机工程学院, 福建厦门 361021

基金项目: 国家自然科学基金项目(52171308), 福建省自然科学基金项目(2022J01333)资助.

详细信息

作者简介

吴跃高硕士研究生,主要从事船舶轨迹预测及智能信息处理等方面工作,E-mail: wyg729@foxmail.com;

俞万能教授,主要从事船舶智能控制等方面研究,E-mail: wnyu2007@jmu.edu.cn;

曾广淼博士研究生,主要从事计算机视觉等方面工作,E-mail: miaogm.zeng@foxmail.com;

商逸帆硕士研究生,主要从事计算机视觉等方面工作,E-mail: 202112855021@jmu.edu.cn;

廖卫强教授,主要从事无人船智能控制系统等方面工作,E-mail: wqliao@jmu.edu.cn.

通信作者

廖卫强，E-mail: wqliao@jmu.edu.cn;Tel.:+86592-6181760.

Ship trajectory prediction method incorporating concatenated attention mechanism

WU Yue-gao ， YU Wan-neng ， ZENG Guang-miao ， SHANG Yi-fan ， LIAO Wei-qiang

School of Marine Engineering, Jimei University, Xiamen Fujian 361021 , China

Funds: Supported by the National Natural Science Foundation of China (52171308) and the National Natural Science Foundation of Fujian Province (2022J01333).

摘要

船舶轨迹预测对船舶的航行安全有着重要的价值, 为提高对船舶未来轨迹的预测精度, 本文将基于拼接注意力的序列到序列模型(Seq2Seq-CA)与模型预测控制(MPC)相结合, 提出了一种新的船舶轨迹预测方法. 通过在 Seq2Seq中引入拼接注意力机制, 增强了模型对序列特征的理解. 为进一步提高模型预测轨迹的准确性与运动合理性, 采用MPC 对预测轨迹概率分布进行纠正, 得到最终的输出轨迹. 在训练和测试的过程中, 为提高对序列数据的利用率, 随机初始化序列的起始位置并使用滑动窗口法对序列进行读取. 在自动识别系统(AIS)数据集上测试轨迹预测方法性能, 根据定量分析, Seq2Seq-CA相较于原Seq2Seq提高17.2%的预测准确性. 通过结合MPC进行轨迹纠正后, Seq2Seq-CA的预测准确性、鲁棒性分别提升39.9%和9.2%. 根据定性分析, 本文提出的预测方法在不同船舶运动模式下均能更准确合理地预测船舶的未来轨迹.

关键词

注意力机制 / AIS数据 / 深度学习 / 轨迹预测 / 模型预测控制

Abstract

Ship trajectory prediction plays a crucial role in ensuring the navigation safety of ships. In order to enhance the accuracy of predicting future ship trajectories, this paper introduces a novel ship trajectory prediction method that combines the concatenation attention mechanism in Seq2Seq-CA with model predictive control (MPC). The incorporation of the concatenation attention mechanism within Seq2Seq enhances the model’s understanding of sequence features. To further improve the accuracy and motion coherence of trajectory predictions, MPC is employed to correct the probability distribution of predicted trajectories, yielding the final output trajectories. During the training and testing processes, random initialization of sequence starting positions and the utilization of a sliding window approach are employed to enhance the utilization of sequence data. Performance testing on the AIS dataset demonstrates that Seq2Seq-CA improves prediction accuracy by 17.2% compared to the original Seq2Seq. After trajectory correction using MPC, Seq2Seq-CA exhibits a 39.9% increase in prediction accuracy and a 9.2% improvement in robustness. Qualitative analysis confirms that the proposed prediction method accurately and reasonably predicts future ship trajectories under various ship motion patterns.

Keywords

attention mechanism / AIS data / deep learning / trajectory prediction / model predictive control

1 引言 2 AIS数据集 2.1 预处理 2.2 数据结构及读取方式 3 船舶轨迹预测模型 3.1 Seq2Seq-CA模型 3.1.1 编码器 3.1.2 解码器 3.2 轨迹纠正模型 3.2.1 船舶运动模型 3.2.2 代价函数 4 实验设计与结果分析 4.1 损失函数 4.2 评价函数 4.3 定量分析 4.4 定性分析 5 结论

1 引言

随着全球贸易的增长，船舶在航线上的密度不断提升，航道上船舶交汇频率不断提高，进而增加碰撞事故的潜在风险. 但随着物联网技术不断进步，众多电子设备应用于船舶上用于保障船舶的航行安全. 其中自动识别系统（automatic identification system，AIS）作为一种利用无线电技术的船舶自动识别系统，能够向周围船舶和岸基接收站发送重要信息，例如船名、位置、速度、航向、货物类型等 ^[1] . 通过获取船舶一段时间内的坐标、航向、速度和类型等数据，进行一系列处理计算可以得到船舶未来一段时间内的轨迹位置. 这些位置信息可用于评估碰撞风险、识别异常船舶行为、优化航线规划，以及发现潜在的故障和问题，从而避免碰撞和交通拥堵 ^[2-5] . 然而，要实现精准的风险评估和感知，从而保障船舶航行安全，关键在于获得足够准确的船舶未来运动和位置信息 ^[6] . 因此，提高船舶轨迹预测的精准性与合理性是保障船舶航行安全与效率的关键.

船舶轨迹预测方法主要分为基于传统预测方法和机器学习方法两大类 ^[7] . 基于传统预测方法进行轨迹预测任务时，方法包括卡尔曼滤波器 ^[8-9]、隐马尔科夫模型 ^[10]、高斯混合模型 ^[11]、贝叶斯网络等 ^[12-13] . 但传统预测方法通常基于建立概率模型或回归模型，面对动态目标的非线性运动模式时，例如加速、转向、转弯等，其预测结果精度不佳. 作为机器学习的组成部分，神经网络在处理船舶未来轨迹预测问题时具有相对更强的表达能力和适应性. 例如通过人工神经网络、反向传播神经网络（back propagation，BP）、最小二乘支持向量机（least squares support vector machine，LSSVM）、基于支持向量回归（support vector regression，SVR）等方法进行船舶轨迹预测 ^[14-17] . 然而以上神经网络由于结构简单和层数有限，缺乏长期的记忆能力，难以提取序列中的时序信息，在进行轨迹预测任务时准确性有限.

深度学习作为机器学习的一个分支，注重于使用更深层神经网络学习. 循环神经网络（recurrent neural network，RNN）作为深度学习中的一种网络结构，由于具备多层次结构与内在的记忆机制，能够更好地捕捉序列数据中的时间特征关系. Gao等人 ^[18] 通过利用历史的AIS数据，将轨迹建议网络（trajectory proposal network，TPNET）与长短期记忆网络（long short term memory network，LSTM）网络相结合，对河段的船舶轨迹进行了多步预测. Yang等人 ^[19] 将高效通道注意力（efficient channel attention，ECA）与双向门控循环单元（gated recurrent unit，GRU）模型结合，得到更高的准确性. Bao等人 ^[20] 将多头注意力与双向GRU结合，通过引入头部注意机制，捕捉长序列之间的关系，提高了预测精度. 上述在RNN基础上修改以提高预测性能的方法同样适用于其他时序预测任务 ^[21-22] . 考虑到序列到序列模型（sequence to sequence，Seq2Seq）与RNN相比较，在长序列记忆方面的优势 ^[23]，基于 Seq2Seq架构的卷积神经网络（convolutional neural network，CNN）加强了以往 CNN，RNN 提取序列特征的性能 ^[24] . 同时，张扬等人 ^[25] 利用Seq2Seq 实现针对船只不同运动状态改变预测步长灵活进行预测. 但网络模型在学习过程中难以捕捉船舶运动的复杂性和约束条件，不能准确理解船舶运动的特殊约束，存在预测轨迹违反船舶运动学原理的问题 ^[26] .

在对预测轨迹进行纠正时，在预测轨迹的基础上，通过交通道路规则，能够实现纠正的目的 ^[27] . 同时通过独立的深度神经网络进行纠正也能获得一定的效果 ^[28] . 基于 MPC 在轨迹跟踪任务上的成功 ^[29-30]，Tsolakis等人 ^[31] 在MPC的基础上，结合国际海上碰撞规则（international regulations for preventing collisions at sea，COLREGs）提出一种轨迹优化算法. 以上方法中，MPC不仅能够考虑到目标的运动特性，并能够灵活应对不同的环境和任务需求 ^[32] .

综上所述，在完成船舶轨迹预测任务时，本文采用Seq2Seq作为主干结构，融合拼接注意力机制（concat attention，CA）以增强网络模型的记忆能力. 同时将 MPC 引入船舶轨迹预测任务，采用速度避障法（velocity obstacle，VO）的思想，基于梯度下降的方法对网络模型的初步预测轨迹进行纠正，使得最终输出的预测轨迹兼具准确性与运动合理性.

论文的贡献如下:

1）提出Seq2Seq-CA船舶轨迹预测模型，通过引入 CA注意力机制，增强预测模型在处理序列数据时的长期记忆能力;

2）建立船舶运动模型，在轨迹预测任务中引入 MPC与VO避碰的方法，对预测模型的输出进行纠正，使得最终输出的预测轨迹符合船舶运动学原理;

3）将AIS数据划分为不同时间段内的轨迹文件，有助于更好地理解船舶的运动特征，同时随机初始化序列起始位置并通过滑动窗口法读取序列数据，更全面地利用轨迹数据.

本文的其余部分如下: 第2节中介绍本文AIS数据集的使用处理细节. 第3节对船舶轨迹预测模型的工作流程和整体结构进行介绍. 第4对船舶轨迹预测模型的性能进行定量、定性分析. 在第5节中总结了这篇论文.

2 AIS数据集

本文的AIS数据来自Marine Cadastre网站 ^[33]，选取 6 个月内船舶航行产生的 AIS 原始数据. 选取海域的具体范围为纬度（29.34030^◦N∼29.38720^◦N），经度（–94.85270^◦W∼94.73310^◦W）.

2.1 预处理

1）首先，将原始AIS数据根据船舶呼号分类，得到初步处理的数据. 由于海域面积有限，且数据时间跨度较长，有的船舶会多次往返此区域. 将同一艘船舶的AIS数据划分为不同时间段内的轨迹文件，去除航迹过短的文件，以及船舶长时间停泊的文件.

2）其次，原始AIS数据中数据时间分布不均匀，且有少数轨迹文件中出现10至30分钟的数据缺失. 通过二次插值法，将轨迹数据处理为时间均匀分布的数据.

3）由于AIS数据中位置坐标、航向、航速等属于不同量纲数据，为减小不同量纲之间影响，提升模型收敛速度. 本文采用最大最小归一化方法（min-max normalization）对轨迹数据进行处理，如式（1）所示:

d^{*} = \frac{d_{i} - m i n (d)}{m a x (d) - m i n (d)},

(1)

其中: d^∗是经过归一化后的数据，d_i是归一化前的数据，d表示整列的数据.

根据上述方法对原始数据预处理后，得到4883条 AIS轨迹文件，随机选取其中的100条轨迹文件来作为测试集.

对AIS数据按列进行归一化处理前后的结果与归一化参数如表1–3所示，从表1中可以看出未经处理的 AIS数据，其中经纬度、航向、航速不仅隶属于不同量纲，且数值大小之间存在较大的数量级差异. 表2为归一化处理后数据，不仅消除了量纲问题的影响，且降低了数值之间数量级差异的影响.

表1AIS数据

Table1AIS data

表2归一化后AIS数据

Table2Normalized AIS data

表3归一化参数

Table3Normalization Parameters

2.2 数据结构及读取方式

如图1所示，数据被分为3个不同的序列，编码器的输入序列X，解码器的输入序列Y ，以及用以计算损失值的真实序列Z. 编码器序列X时间步长为20，维度为 4. 解码器序列Y 时间步长为20，维度为4. 真实序列Z 时间步长为20，维度为4. 在模型训练时需要加载X，Y ，Z3个序列，在测试时仅需要加载X，Z两个序列.

图1数据样本结构图

Fig.1Data sample structure diagram

\{\begin{matrix} X = (r_{i}, \dots, r_{i + 20}), \\ Y = (r_{i + 21}, \dots, r_{i + 41}), \\ Z = (r_{i + 22}, \dots, r_{i + 42}) . \end{matrix}

(2)

序列中的数据样式如式（2）所示，其中: r_i是每个时间点的船舶AIS数据，X，Y，Z分别为所在序列的集合. 读取训练集与测试集数据时，首先选择随机序列起始位置，随后用滑窗法，依次读取固定长度的序列.

3 船舶轨迹预测模型

本文的船舶轨迹预测流程如图2所示，船舶轨迹预测流程由2个主要模型组成，Seq2Seq-CA船舶轨迹预测模型与轨迹纠正模型. 在预测任务时，首先通过对原始数据进行预处理，之后通过LSTM1，LSTM2以及 CA注意力机制得到船舶未来轨迹的概率分布.

图2船舶轨迹预测流程图

Fig.2Ship trajectory prediction process diagram

在进行轨迹纠正时，首先从概率分布中采样得到初步的预测轨迹散点，将预测散点传入MPC轨迹纠正模型后，综合预测散点与船舶的运动状态，通过最小化优化代价函数得到控制变量，通过控制变量控制船舶跟踪轨迹散点，进而实现轨迹纠正的作用. 通过不断重复上述过程，最终得到纠正后的预测轨迹.

3.1 Seq2Seq-CA模型

如图3所示，融合CA注意力机制的Seq2Seq-CA预测模型属于Seq2Seq架构，由编码器和解码器构成. 编码器将输入进行一定变换变为形状固定的编码状态，解码器将上一步的编码状态转为初步输出. 本文编码器为LSTM1，解码器为LSTM2和CA注意力层.

图3Seq2Seq-CA结构图

Fig.3Seq2Seq-CA structure diagram

3.1.1 编码器

编码器使用LSTM，其输出与输入产生的隐藏状态相同. 将序列数据输入编码器时，从序列数据中按照顺序逐个输入LSTM1网络. LSTM1的初始隐藏状态是随机初始化的，当数据输入时，LSTM1网络的隐藏状态来自上一步的输出. 将所有数据输出的隐藏状态hx_i在一个方向上相连，最后得到编码器的最终输出h_t，h_t的结构如式（3）所示:

h_{t} = ({h x}_{i}, {h x}_{i + 1}, \dots, {h x}_{i + 19}),

(3)

其中hx_i是单个序列数据输入LSTM1网络后得到的隐藏状态输出.

3.1.2 解码器

解码器包括LSTM2与CA注意力层，LSTM2的工作流程与编码器中的LSTM1相同. 解码器的最终输出h_s的结构如式（4）所示:

h_{s} = ({h y}_{i}, {h y}_{i + 1}, \dots, {h y}_{i + 19}),

(4)

其中hy_i是序列Y中单个序列数据输入LSTM2网络进行计算，进而得到的隐藏状态输出.

解码器中的CA注意力机制，其将输入数据分成多个部分，每个部分都有一个相关的权重，表示该部分对输出的贡献程度 ^[34] . 在进行注意力机制计算时，需要使用到查询、键、值3个部分，在本文中，查询部分为解码器的输出h_s、键、值均为编码器的输出h_t . 将 h_s中的每一个隐藏状态hy_i取出，依次与h_t中的每一个隐藏状态hx_i进行相似度分数计算得到各自的相似度分数β_ij，进而用于计算输出向量V，即

V = β_{i 1} {h x}_{1} + β_{i 2} {h x}_{2} +, \dots, + β_{i j} {h x}_{i},

(5)

其中将相似度分数β_ij每一个隐藏状态hx_i相乘然后求和，得到输出向量V .

CA注意力机制的结构图如图4所示，首先编码器的输出h_t与解码器的输出h_t在同一方向上连接，接着与可训练矩阵相乘得到h_c，之后将h_c通过归一化方法处理，最后将处理后的h_c与编码器输出h_t相乘得到CA注意力层的输出.

图4CA注意力结构图

Fig.4CA attention structure diagram

S o f t m a x ([h_{t} : h_{s}] \cdot W) \cdot h_{t} .

(6)

式（6）为图4中计算过程的数学表达，其中: W为可训练矩阵; h_t与h_s分别为编码器输出隐藏状态、解码器输出隐藏状态; ·为矩阵乘法符号; Softmax为将实数分布转为输出值和为1的概率分布的归一化方法.

3.2 轨迹纠正模型

通过深度学习进行轨迹预测时，采样得到的轨迹输出通常为离散，局部的散点，而非连续平滑的轨迹，会出现预测的轨迹违背船舶运动学原理的问题. 因此，初步预测的轨迹需要通过轨迹纠正，得到符合船舶运动学原理的轨迹.

3.2.1 船舶运动模型

如图5所示，将船舶的坐标位置信息（x，y），及动态信息航向角α、航速v数据作为搭建模型的考虑因素.

1）建立运动学模型.

ξ (t) = [\begin{matrix} x \\ y \end{matrix}]

(7)

u (t) = [\begin{matrix} v \\ α \end{matrix}]

(8)

其中: 忽略船舶参数及性能指标，建立的船舶运动学模型只考虑自身的位置、速度、航向角; x，y表示位置; v表示速度，α表示航向角; ξ为表示船舶状态的变量函数，反映船舶的位置信息; u为表示控制变量的函数，反映船舶的运动信息.

图5船舶运动模型图

Fig.5Ship motion model diagram

2）进行线性化.

\dot{ξ} = f (ξ, u),

(9)

其中状态变量ξ的导数，是一个非线性函数，无法直接表示，需要进一步的线性化处理进行表示.

f_{1} = v s i n α

(10)

f_{2} = v c o s α

(11)

对于状态变量中的x，y进行求导，得到式（10）–（11）中关于x，y的函数f₁，f₂，从而将船舶运动模型中的4个变量进行关联.

\dot{ξ} = f (ξ_{r}, u_{r}) + \frac{\partial f}{\partial ξ} (ξ - ξ_{r}) + \frac{\partial f}{\partial u} (u - u_{r}),

(12)

式（12）为根据泰勒一阶展开的公式，在参考目标点ξ_r 展开后的结果，用以进行下一步的误差计算.

\tilde{ξ} = ξ - ξ_{r},

(13)

\dot{ξ} = \frac{\partial f}{\partial ξ} \tilde{ξ} + \frac{\partial f}{\partial u} \tilde{u} = A \tilde{ξ} + B \tilde{u},

(14)

式（13）为计算展开后的当前点与参考点的误差，求导后的结果如式（14）所示; 式（14）中的A，B为线性化过程中需计算得到的矩阵，即

A = [\begin{matrix} 0 0 \\ 0 0 \end{matrix}],

(15)

B = [\begin{matrix} s i n α v c o s α \\ c o s α - v s i n α \end{matrix}]

(16)

A，B矩阵的具体内容如式（15）（16）所示，其中表示航向角的α、表示航速的v的需要通过前后两次坐标信息进行计算获得.

3）进行离散化.

\tilde{ξ} (k + 1) = \tilde{A} \tilde{ξ} (k) + \tilde{B} \tilde{u} (k) .

(17)

\tilde{A} = [\begin{matrix} 1 1 \\ 1 1 \end{matrix}]

(18)

\tilde{B} = [\begin{matrix} T s i n α T v c o s α \\ T c o s α - T v s i n α \end{matrix}] .

(19)

整体的离散化过程如式（17）–（19）所示. 其中T表示采样的时间间隔，时间间隔需要根据条件进行合理的调整以达到最好的效果. 由于

\tilde{A}

矩阵中的内容均为常数，无法改变数值. 仅通过控制

\tilde{B}

矩阵中的参数T，v，α，调整参数中的数值完成控制过程.

4）约束条件.

\tilde{ξ} (k + i) = ξ (k + i) - ξ_{r} (k + i),

(20)

m i n α ⩽ α ⩽ \sum_{i = 1}^{t} \tilde{ξ} (k + i)^{T} Q \tilde{ξ} (k + i),

(21)

m i n v ⩽ v ⩽ m a x v .

(22)

式（20）–（22）为模型一些约束条件，Q为设置的权重矩阵，t为MPC中预测的步长 ^[35-36] . 考虑到船舶在航行时由于惯性大，航速难以在短时间内降低. 经过多次实现调整，最终选择每次迭代更新航速时，设置航速的变化幅度v不超过前一次速度的1%，航向角α的变化幅度不超出前一次航向角的1.5%.

3.2.2 代价函数

图6为本文中代价函数的原理图，图6中船舶距离目标点距离为l，θ为船舶速度方向与目标点相对船舶角度的夹角. 基于VO避碰法的思想，将θ与l纳入控制船舶到达目标点的代价函数，在优化过程中以不断接近目标点，同时始终维持航向角朝向目标点为目的，不断减小代价函数的值.

图6代价函数原理图

Fig.6Principle of cost function diagram

f_{c o s t} = (- a c o s θ + b) l,

(23)

其中包括2个结构，分别控制船舶接近目标点，及控制船舶朝向目标点. 参数a，b控制着维持航向的强度.

本文中，a为

\frac{1}{2}

，b为

\frac{5}{2}

. 此时，代价函数fcost的值域为 [2，3]，可以使得维持航向的强度高于不维持航向的强度. 在这样的参数设置下，整体函数的梯度也不会存在较大的变化，从而可以通过轨迹跟踪实现稳定的轨迹纠正效果.

4 实验设计与结果分析

本章节对实验中涉及的方法以及实验获得的结果展开详细的说明分析. 在实验设计方面，本文一共进行100轮测试，获得所有测试集文件损失值以防止数据加载时出现的偶然性因素，同时将介绍本文在模型训练测试时使用到的损失函数，评价指标.

在结果分析方面，本文将比较 Seq2Seq-CA 与 Seq2Seq的性能，比较不同注意力机制之间对Seq2Seq 的提升效果等方面的内容. 同时本文用来对比的不同注意力机制分别为点积注意力（dot product attention，DOT）、余弦注意力（cosine attention，COS）、加性注意力（additive attention，ADD），以及双线性注意力（bilinear attention，BL）^[37-38] .

4.1 损失函数

本文通过最小化负对数似然值对模型进行训练，负对数似然值如式（24）所示.

L = - \sum_{t = 1}^{T} l o g (P (P_{t} ∣ {\bar{x}}_{t}, {\bar{y}}_{t}, {\bar{σ}}_{t}, {\bar{ρ}}_{t})),

(24)

其中:

{\bar{x}}_{t}

，

{\bar{y}}_{t}

表示预测位置分布的均值，

{\bar{σ}}_{t}

表示预测坐标分布的方差，

{\bar{ρ}}_{t}

表示预测坐标之间的关联度，P表示条件概率.

4.2 评价函数

数据经过归一化处理后，计算出的性能指标为无量纲数据指标，使用均方误差（mean squared error，MSE）的平均损失值和标准差分别评价模型的预测准确性与鲁棒性 ^[39]，如式（25）所示.

MSE Loss = \frac{\sum_{i = 1}^{n} {({T r}_{i} - {P r}_{i})}^{2}}{n},

(25)

其中: Tr_i表示每个样本的真实轨迹，Pr_i表示预测样本的轨迹，n表示样本数.

4.3 定量分析

1）读取方式的性能对比.

在Seq2Seq原始架构模型上验证不同数据读取方式对性能的影响，不同读取方式对应的性能指标如表4所示.

从平均损失值可以得出，随机序列起始位置较固定序列起始位置能够提升模型预测准确性8.1%. 在标准差的评价指标上，随机起始位置比固定起始位置性能提升模型性能73.4%. 以上结果的产生是由于随机起始位置可以遍历更多的数据组合，使得模型能够在有限的数据量下，获得更多的序列数据组合，学习到更多的船舶运动特征，这种操作在数据量有限的情况下有着重要的作用.

表4不同读取方式的性能

Table4Performance for different reading methods

2）不同模型的运算性能对比.

如表5所示，通过模型的参数量、训练时间与预测时间评价计算不同模型的运算性能. 模型的训练、预测时间与参数量成正比，Seq2Seq-CA在参数量方面与其他模型相差不大. 且在训练、预测时间方面与其他模型在整体上处于同一水平，没有显著的差异.

表5不同模型的计算性能

Table5Computational performance of different models

3）不同模型的预测性能对比.

不同模型预测性能如图7所示，Seq2Seq-CA在平均损失值、标准差2个指标上均优于其他模型. 从平均损失值方面，Seq2Seq-CA 较原 Seq2Seq 预测精度提升17.2%，较RNN提升23.4%. 根据标准差指标，Seq2-Seq-CA的鲁棒性较Seq2Seq-DOT虽低于7.1%，但均优于其他模型.

通过比较不同注意力机制的性能，可以得出添加 CA注意力机制对Seq2Seq的性能提升优于其他4种注意力机制. 且注意力机制的引入不一定增强原模型性能，ADD注意力机制反倒降低Seq2Seq的性能.

图7不同模型的性能对比图

Fig.7Comparison chart of performance of different models

4）轨迹纠正对模型的性能提升.

如图8所示，通过MPC对Seq2Seq-CA的预测轨迹概率分布进行纠正后，预测性能在平均损失值和损失值标准差方面均得到优化. 根据平均损失值的前后变化，MPC轨迹纠正模块提升Seq2Seq-CA预测准确性 39.9%，根据标准差的指标，MPC 轨迹纠正模块使得 Seq2Seq-CA的鲁棒性提升9.2%.

图8轨迹纠正性能提升对比图

Fig.8Comparison chart of trajectory correction performance improvement

5）不同注意力机制性能的探讨.

根据图7所示，CA注意力在此任务上对原模型的提升性能最好，这是由于CA注意力机制允许将不同隐藏状态的信息在特定维度上进行拼接，这样可以综合不同隐藏状态的信息，且在这个过程中隐藏状态的顺序没有被破坏. 对于经典的DOT注意力，在此任务中将两种隐藏状态之间通过点积获得隐藏状态之间的相似性，点积相乘这一过程破坏了原始隐藏状态中存在的序列信息. 由于ADD注意力需要计算两个线性变换，然后对它们进行加和，由于线性变换学习能力较弱. 且在计算注意力权重时没有考虑隐藏状态中的位置信息，这导致ADD注意力在此任务上表现不佳.

4.4 定性分析

在实际的海上交通中，船舶运动并非一成不变，而是受到多种因素影响. 反映在船舶运动上表现为不同的运动模式，如直线航行、转向、转弯等. 这些不同的运动模式对于船舶轨迹预测任务提出了新的挑战.

1）船舶运动模式.

不同船舶运动模式示如图9所示.

图9不同船舶运动模式示意图

Fig.9Schematic diagram of different ship movement modes

本文主要关注的船舶运动模式为直线航行、转弯和转向. 本文选择对不同运动模式下轨迹预测效果进行分析，可以更全面地评估模型的性能，为实际应用提供有力的支持.

2）不同运动模式下的预测轨迹概率分布. 在船舶不同运动模式下进行预测得到的轨

在船舶不同运动模式下进行预测得到的轨迹概率分布如图10所示.

图10不同运动模式下的预测轨迹概率分布图

Fig.10Predicted trajectory probability distribution diagrams under different motion modes

图10（a）–（b）中出现的预测概率分布效果是最为常见的情况，其中船舶的运动模式分别为直线航行与转弯，其预测轨迹概率分布虽然与真实轨迹存在一定的偏差，但整体趋势相符. 图10（c）中的船舶运动模式为转向，其预测的概率分布与真实轨迹之间存在较大的偏差，这种预测情况的出现正是需要对预测轨迹概率分布进行轨迹纠正最为重要的原因.

总体上可得Seq2Seq-CA能捕获船舶的运动特征，输出船舶的未来运动趋势，但依然存在一些问题.

3）不同运动模式下纠正后的预测轨迹.

对船舶在不同运动模式下的预测轨迹概率分布进行纠正得到的结果如图11所示.

图11不同运动状态下纠正后的轨迹图

Fig.11Corrected trajectory diagrams under different motion modes

图11（a）–（b）中船舶的运动模式为直线航行与转弯，通过纠正预测概率分布，纠正后的轨迹与真实轨迹之间的偏差进一步缩小. 图11（c）中的船舶运动模式为转向，由于其预测概率分布与真实轨迹之间存在较大的偏差，尽管纠正后轨迹在准确性方面不如图11中其它纠正后轨迹准确，但依然能够得出船舶转向时的运动位置变化.

5 结论

为了提高船舶轨迹预测方法在未来轨迹预测中的准确性和合理性，本文通过将融合拼接注意力机制的Seq2Seq-CA与MPC结合，提出了一种新的船舶轨迹预测方法. 通过融合拼接注意力增强了模型的长期记忆能力，同时通过MPC对模型输出的预测轨迹概率分布进行纠正，进一步提高了预测轨迹的准确性以及合理性. 在训练和测试的过程中，采用随机化序列起始位置的方法，并利用滑窗法进行读取序列. 在100个随机取样的AIS数据集上，对轨迹预测的方法进行测试，通过平均损失值以及标准差，评估预测方法的准确性与鲁棒性. 定量分析结果表明，融合拼接注意力的Seq2Seq-CA的性能优于其他模型，在原Seq2Seq的基础上预测准确性提升17.2%. 引入MPC轨迹纠正模块后，Seq2Seq-CA的预测精度进一步提升39.9%. 同时根据标准差的指标，Seq2Seq-CA 的鲁棒性提升了 9.2%. 定性分析结果表明Seq2Seq-CA在处理船舶直线航行和转弯时能够合理地反映船舶的运动趋势，输出船舶未来轨迹的概率分布. 但在船舶紧急转向的运动模式下，Seq2Seq-CA预测结果与真实轨迹存在较大的偏差. 引入MPC后，Seq2Seq-CA在不同船舶运动模式下都能得出更精确与合理的未来轨迹. 通过这些改进，本文为船舶轨迹预测方法的研究提供了更加全面和可靠的结果，为在实际应用场景中提高轨迹预测的准确性和可靠性提供有力的支持.

图1数据样本结构图

Fig.1Data sample structure diagram

下载: 全尺寸图片

图2船舶轨迹预测流程图

Fig.2Ship trajectory prediction process diagram

下载: 全尺寸图片

图3Seq2Seq-CA结构图

Fig.3Seq2Seq-CA structure diagram

下载: 全尺寸图片

图4CA注意力结构图

Fig.4CA attention structure diagram

下载: 全尺寸图片

图5船舶运动模型图

Fig.5Ship motion model diagram

下载: 全尺寸图片

图6代价函数原理图

Fig.6Principle of cost function diagram

下载: 全尺寸图片

图7不同模型的性能对比图

Fig.7Comparison chart of performance of different models

下载: 全尺寸图片

图8轨迹纠正性能提升对比图

Fig.8Comparison chart of trajectory correction performance improvement

下载: 全尺寸图片

图9不同船舶运动模式示意图

Fig.9Schematic diagram of different ship movement modes

下载: 全尺寸图片

图10不同运动模式下的预测轨迹概率分布图

Fig.10Predicted trajectory probability distribution diagrams under different motion modes

下载: 全尺寸图片

图11不同运动状态下纠正后的轨迹图

Fig.11Corrected trajectory diagrams under different motion modes

下载: 全尺寸图片

表1AIS数据

Table1AIS data

下载: 全尺寸图片

表2归一化后AIS数据

Table2Normalized AIS data

下载: 全尺寸图片

表3归一化参数

Table3Normalization Parameters

下载: 全尺寸图片

表4不同读取方式的性能

Table4Performance for different reading methods

下载: 全尺寸图片

表5不同模型的计算性能

Table5Computational performance of different models

下载: 全尺寸图片

图1数据样本结构图

Fig.1Data sample structure diagram

图2船舶轨迹预测流程图

Fig.2Ship trajectory prediction process diagram

图3Seq2Seq-CA结构图

Fig.3Seq2Seq-CA structure diagram

图4CA注意力结构图

Fig.4CA attention structure diagram

图5船舶运动模型图

Fig.5Ship motion model diagram

图6代价函数原理图

Fig.6Principle of cost function diagram

图7不同模型的性能对比图

Fig.7Comparison chart of performance of different models

图8轨迹纠正性能提升对比图

Fig.8Comparison chart of trajectory correction performance improvement

图9不同船舶运动模式示意图

Fig.9Schematic diagram of different ship movement modes

图10不同运动模式下的预测轨迹概率分布图

Fig.10Predicted trajectory probability distribution diagrams under different motion modes

图11不同运动状态下纠正后的轨迹图

Fig.11Corrected trajectory diagrams under different motion modes

表1AIS数据

Table1AIS data

表2归一化后AIS数据

Table2Normalized AIS data

表3归一化参数

Table3Normalization Parameters

表4不同读取方式的性能

Table4Performance for different reading methods

表5不同模型的计算性能

Table5Computational performance of different models

图1数据样本结构图

Fig.1Data sample structure diagram

图2船舶轨迹预测流程图

Fig.2Ship trajectory prediction process diagram

图3Seq2Seq-CA结构图

Fig.3Seq2Seq-CA structure diagram

图4CA注意力结构图

Fig.4CA attention structure diagram

图5船舶运动模型图

Fig.5Ship motion model diagram

图6代价函数原理图

Fig.6Principle of cost function diagram

图7不同模型的性能对比图

Fig.7Comparison chart of performance of different models

图8轨迹纠正性能提升对比图

Fig.8Comparison chart of trajectory correction performance improvement

图9不同船舶运动模式示意图

Fig.9Schematic diagram of different ship movement modes

图10不同运动模式下的预测轨迹概率分布图

Fig.10Predicted trajectory probability distribution diagrams under different motion modes

图11不同运动状态下纠正后的轨迹图

Fig.11Corrected trajectory diagrams under different motion modes

表1AIS数据

Table1AIS data

表2归一化后AIS数据

Table2Normalized AIS data

表3归一化参数

Table3Normalization Parameters

表4不同读取方式的性能

Table4Performance for different reading methods

表5不同模型的计算性能

Table5Computational performance of different models

YANG D, WU L, WANG S,et al. How big data enriches maritime research-a critical review of Automatic Identification System(AIS)data applications. Transport Reviews,2019,39(6):755-773.

WOLSING K, ROEPERT L, BAUER J,et al. Anomaly detection in maritime AIS tracks: A review of recent approaches. Journal of Marine Science and Engineering,2022, DOI:10.3390/jmse10010112.

YUAN X, ZHANG D, ZHANG J,et al. A novel real-time collision risk awareness method based on velocity obstacle considering uncertainties in ship dynamics. Ocean Engineering,2021, DOI:10.1016/j.oceaneng.2020.108436.

ZHANG J, HE A, FAN C,et al. Quantitative analysis on risk influencing factors in the Jiangsu segment of the Yangtze River. Risk Analysis,2021,41(9):1560-1578

XIA Z X, LAI W C, TSAO L W,et al. A human-like traffic scene understanding system: A survey. IEEE Industrial Electronics Magazine,2020,15(1):6-15.

HUANG Y, DU J, YANG Z,et al. A survey on trajectory-prediction methods for autonomous driving. IEEE Transactions on Intelligent Vehicles,2022,7(3):652-674.

ZHANG X, FU X, XIAO Z,et al. Vessel trajectory prediction in maritime transportation: Current approaches and beyond. IEEE Transactions on Intelligent Transportation Systems,2022,23(11):19980-19998.

MALVIYA V, KALA R. Trajectory prediction and tracking using a multi-behaviour social particle filter. Applied Intelligence,2022,52(7):7158-7200.

QIN W, TANG J, LU C,et al. Trajectory prediction based on long short-term memory network and kalman filter using hurricanes as an example. Computational Geosciences,2021,25:1005-1023.

ZHANG X, LIU G, HU C,et al. Wavelet analysis based hidden markov model for large ship trajectory prediction. Chinese Control Conference(CCC), Guangzhou: IEEE,2019:2913-2918.

LI J, YANG F, TOMIZUKA M,et al. Evolvegraph: Multi-agent trajectory prediction with dynamic relational reasoning. Advances in Neural Information Processing Systems,2020,33:19783-19794.

LI Wangao, ZHAO Xuemei, SUN Dechang. Prediction of trajectory based on modified bayesian inference. Journal of Computer Applications,2013,33(7):1960-1963.(李万高, 赵雪梅, 孙德厂. 基于改进贝叶斯方法的轨迹预测算法研究. 计算机应用,2013,33(7):1960-1963.)

ZHANG X, MAHADEVAN S. Bayesian neural networks for flight trajectory prediction and safety assessment. Decision Support Systems,2020, DOI:10.1016/j.dss.2020.113246.

PAPADIMITRAKIS M, STOGIANNOS M, SARIMVEIS H,et al. Multi-ship control and collision avoidance using MPC and RBF-based trajectory predictions. Sensors,2021, DOI:10.3390/s21216959.

ZHOU H, CHEN Y, ZHANG S. Ship trajectory prediction based on BP neural network. Journal of Artificial Intelligence,2019,(1):29-36.

LIU X, HE W, XIE J,et al. Predicting the trajectories of vessels using machine learning. The 5th International Conference on Control, Robotics and Cybernetics(CRC). Wuhan, China: IEEE,2020:66-70.

LIU J, SHI G, ZHU K. Vessel trajectory prediction model based on AIS sensor data and adaptive chaos differential evolution support vector regression(ACDE-SVR). Applied Sciences,2019, DOI:10.3390/app9152983.

GAO D, ZHU Y, ZHANG J,et al. A novel MP-LSTM method for ship trajectory prediction based on AIS data. Ocean Engineering,2021, DOI:10.1016/j.oceaneng.2021.108956.

YANG S, CHEN S, LIU C,et al. A ship trajectory prediction model based on ECA-BiGRU. IEEE 8th International Conference on Big Data An-alytics(ICBDA). Harbin, China: IEEE,2023:94-99.

BAO K, BI J, GAO M,et al. An improved ship trajectory prediction based on AIS data using MHA-BiGRU. Journal of Marine Science and Engineering,2022, DOI:10.3390/jmse10060804.

CHEN Zhonglin, YANG Cuili, QIAO Junfei. The prediction of incomplete time series via TG-LSTM neural network. Control Theory & Applications,2022,39(5):867-878.(陈中林, 杨翠丽, 乔俊飞. 基于TG-LSTM神经网络的非完整时间序列预测. 控制理论与应用,2022,39(5):867-878.)

ZHOU Jianmin, GAO Sen, LI Jiahui,et al. Bearing life prediction method based on convolutional attention long-short term memory network. Control Theory & Applications,2023,40(6):1140-1148.(周建民, 高森, 李家辉, 等. 基于卷积注意力长短时记忆网络的轴承寿命预测方法. 控制理论与应用,2023,40(6):1140-1148.)

SUTSKEVER I, VINYALS O, LE Q V. Sequence to sequence learning with neural networks. Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal Canada: MIT Press 2014,2:3104-3112.

CASTRO R, SOUTO Y M, OGASAWARA E,et al. Stconvs2s: Spatiotemporal convolutional sequence to sequence network for weather forecasting. Neurocomputing,2021,426:285-298.

ZHANG Yang, PENG Pengfei, LU Rui. Research on variable-step prediction method of vessel trajectory based on Seq2Seq. Electronics Optics & Control,2023,30(4):74-77.(张扬, 彭鹏菲, 卢锐. 基于Seq2Seq的船舶轨迹变步长预测方法研究. 电光与控制,2023,30(4):74-77.)

PRABHAKAR P, RAHIMI AFZAL Z. Abstraction based output range analysis for neural networks. Advances in Neural Information Processing Systems,2019, DOI:10.48550/arXiv.2007.09527.

XU X, LIU W, YU L. Trajectory prediction for heterogeneous trafficagents using knowledge correction data-driven model. Information Sciences,2022,608:375-391.

HUI F, WEI C, SHANGGUAN W,et al. Deep encoder-decoder-NN: A deep learning-based auton-omous vehicle trajectory prediction and correction model. Physica A: Statistical Mechanics and its Applications,2022, DOI:10.1016/j.physa.2022.126869.

XU Hang, ZHANG Yilian, ZHU Jin,et al. Interval trajectory tracking of automatic guided vehicles via model predictive control method. Control Theory & Applications,2020,37(1):23-30.(徐航, 张依恋, 朱瑾, 等. 基于模型预测的自动导引车区间轨迹跟踪控制. 控制理论与应用,2020,37(1):23-30.)

KABZAN J, HEWING L, LINIGER A,et al. Learning-based model predictive control for autonomous racing. IEEE Robotics and Automation Letters,2019,4(4):3363-3370.

TSOLAKIS A, BENDERS D, DE GROOT O,et al. COLREGsaware trajectory optimization for autonomous surface vessels. IFACPapersOnLine,2022,55(31):269-274.

CHENG C, SHA Q, HE B,et al. Path planning and obstacle avoidance for AUV: A review. Ocean Engineering,2021, DOI:10.1016/j.oceaneng.2021.109355.

NOAA Office for Coastal Management. Access AIS.(2023-12-25).https://marinecadastre.gov/accessais/.

NIU Z, ZHONG G, YU H. A review on the attention mechanism of deep learning. Neurocomputing,2021,452:48-62.

FENG H, CAO G, XU H,et al. IS-STGCNN: An Improved Social spatial-temporal graph convolutional neural network for ship trajectory prediction. Ocean Engineering,2022, DOI:10.1016/j.oceaneng.2022.112960.

ZHOU X, WU Y, HUANG J. MPC-based path tracking control method for USV. Chinese Automation Congress(CAC). Shanghai, China: IEEE,2020:1669-1673.

VASWANI A, SHAZEER N, PARMAR N,et al. Attention is all you need. Advances in Neural Information Processing Systems,2017, DOI:10.48550/arXiv.1706.03762.

KIM J H, JUN J, ZHANG B T. Bilinear attention networks. ArXiv Preprints,2018, DOI:10.48550/arXiv.1805.07932.

LEVY N, KATZ G. RoMA: A method for neural network robustness measurement and assessment. International Conference on Neural Information Processing, Singapore: Springer Nature Singapore,2022:92-105.