本章节所有内容均基于互联网公开资料制作
前言一：动机
这是产学研系列的第一篇博文。目的是整理、分享业界使用的技术。
之所以是‘慢递’，是因为笔者目前只是学生（业界？真不熟.jpg），一来缺乏经验，二来只能通过技术宣讲会、署名论文等来源获取、整理信息；所以不会很快。
光学AR或视频AR ？
根据实现原理的不同，可以区分为视频式AR（经算法处理的真实环境画面）和光学式AR（显示在显示器上）。
这里只简要讨论显示方式的区别，具体实现、以及后续的环境感知、校正过程不会在本文讨论。
光学式AR
我们通常提到的“AR眼镜”就属于这一类。将虚拟对象通过光学显示器呈现在真实世界中。
光学方法分辨率更高、延迟更低；但受限于设备视角，视野狭窄，且对环境定位技术要求更高。
注1：北京理工大学 光电工程实验室 正在研究低成本AR眼镜。
注2：但他们（来自山东大学可视化暑期学校2021的汇报环节）似乎是通过单片眼镜来控制成本。
视频式AR
举例而言，手机购物软件上的“AR试衣间”、“AR试妆间”就是视频式。
将现实场景通过相机录入，并与虚拟对象整合，再统一呈现。
相对而言，视频式需要处理并叠加画面，且需要计算摄像头与人眼位置的差以校正画面位置（注3），延迟较大。
但成本更低，可用设备类型也更加广泛。
注3：Shixing Zhou, Application and Evaluation of Multidimensional Visualization Method Based on Hololens, 2019
注4：浙江大学增强可视化团队在AR领域采取了视频式技术路线，以进行体育数据可视分析。据信已应用在足球运动员的训练中。
接下来将讨论的京东AR技术是视频式。
注5：笔者的研究方向是光学式AR（图形），对以图像算法为主的视频式AR不甚了解，如有纰漏还请指正，谢谢！
AR技术在京东：试鞋间/试妆间
参考资料：
[1] Shan An et al, ARShoe: Real-Time Augmented Reality Shoe Try-on System on Smartphones, 2021
需求与技术挑战
如果新技术能被应用在线上购物，从用户角度而言必然满足两个主要需求：
- 帮助消费决策；
- 改善现有体验。
使用AR技术能够更好地观察服饰类商品的效果，从而提供更好的体验。
但如上一章节所说，在移动端实现视频式AR，首要的挑战就是实时性问题。这意味着：1.需要尽快地显示出商品图像； 2.根据现实物体位置，及时调整虚拟物体位置。
此外，服饰类商品受到光影效果影响较大，如何保持图像真实感也是主要挑战之一；
同时，抖动问题也不能忽略。应该尽可能平滑实时对齐图像过程，否则将会损害用户体验。
AR Shoes
为此，开发人员设计了基于计算机视觉技术的处理流程。
使用FCNN处理脚部图像，获取：1.heatmap; 2.fapmap; 3.segmap等特征。
其中heatmap与fapmap将被用于脚部的6自由度姿态估计；姿态计算结果与预先建立的3D鞋模型叠加计算，构成脚部的增强图像；
脚部增强图像再与segmap叠加，以校正并对齐脚部与腿部的位置，从而获得当前画面的增强画面。
这之后还需要进行实时的姿态调整(stablization过程)以减少画面抖动。
AR Makeup
相对脚部动作，面部动作（或者说姿态）具有更多的细节，对识别精度要求更高。
If you like this blog or find it useful for you, you are welcome to comment on it. You are also welcome to share this blog, so that more people can participate in it. If the images used in the blog infringe your copyright, please contact the author to delete them. Thank you !