通常的边缘化是将联合概率分布分解为边缘概率分布和条件概率分布的过程，这样可以将Sliding Window中较旧的状态边缘化出Sliding Window，同时保留其信息。并且保证了对应H海塞矩阵的稀疏，从而实现计算资源和计算精度的平衡。VINS中也可以将最旧的状态边缘化，但是在一些退化的运动下（例如悬停或者匀速运动），会造成当前运动状态的scale不可观，因此需要有选择地边缘化当前Sliding Window中的状态。具体来说，至少两个轴的加速度分量不为0时，尺度才是可观的。VINS中实现的是保留视差较大的状态及其观测，而优先边缘化视差较小的状态。
如下图所示，
（a）代表当前状态$X_{5}$与$X_{4}$之间的视差较小，因此优先边缘化掉$X_{5}$；这也说明VINS中没有通过视觉来选择关键帧（通常纯视觉SLAM都会通过特征点匹配比例或者时间上的判断来插入关键帧），这是为了防止在视觉模块没有插入关键帧的情况下（例如悬停），IMU一直在积分，造成预积分误差很大。同时注意不仅与$X_{5}$相关的视觉观测会被边缘化到prior中，$f_{2}$也被边缘化掉，同时由于假设第一次观测是没有误差的，因此$X_{4}$和$f_{2}$之间的观测也从Sliding Window中去掉了。
（b）代表快速运动，加速度充分积分，因此选择边缘化最旧的状态（以及相应的观测）。
增量方程求解中的prior将会更新为：
该Two-Way Marginalization过程目的是解决运动较小情况下，近临的状态一直被边缘化掉，保证只维护较久的，视差比较大的，可以恢复出scale信息的状态。具体的算法流程在另外一篇Initialization- free monocular visual-inertial state estimation with application to autonomous MAVs文章中。