数据感知（采集）新技术：压缩感知精粹
声明：大多数内容参考自“科学松鼠会”，大家可参考原文：http://songshuhui.net/archives/11006
引子：
如果你的相机记录了大量的数据，却在压缩时丢弃了其中的90%，那么为什么不在一开始就只记录10%的数据从而节省电池电量和内存？
一、动机
压缩感知从字面上看起来，好像是数据压缩的意思，而实则出于完全不同的考虑。经典的数据压缩技术，无论是音频压缩（例如 mp3），图像压缩（例如 jpeg），视频压缩（mpeg），还是一般的编码压缩（zip），都是从数据本身的特性出发，寻找并剔除数据中隐含的冗余度，从而达到压缩的目的。这样的压缩有两个特点：第一、它是发生在数据已经被完整采集到之后；第二、它本身需要复杂的算法来完成。相较而言，解码过程反而一般来说在计算上比较简单，以音频压缩为例，压制一个 mp3 文件的计算量远大于播放（即解压缩）一个 mp3 文件的计算量。
稍加思量就会发现，这种压缩和解压缩的不对称性正好同人们的需求是相反的。在大多数情况下，采集并处理数据的设备，往往是廉价、省电、计算能力较低的便携设备，例如傻瓜相机、或者录音笔、或者遥控监视器等等。而负责处理（即解压缩）信息的过程却反而往往在大型计算机上进行，它有更高的计算能力，也常常没有便携和省电的要求。也就是说，我们是在用廉价节能的设备来处理复杂的计算任务，而用大型高效的设备处理相对简单的计算任务。这一矛盾在某些情况下甚至会更为尖锐，例如在野外作业或者军事作业的场合，采集数据的设备往往曝露在自然环境之中，随时可能失去能源供给或者甚至部分丧失性能，在这种情况下，传统的数据采集-压缩-传输-解压缩的模式就基本上失效了。
压缩感知的概念就是为了解决这样的矛盾而产生的。既然采集数据之后反正要压缩掉其中的冗余度，而这个压缩过程又相对来说比较困难，那么我们为什么不直接「采集」压缩后的数据？这样采集的任务要轻得多，而且还省去了压缩的麻烦。这就是所谓的「压缩感知」，也就是说，直接感知压缩了的信息。
二、难点
可是这看起来是不可能的事情。因为压缩后的数据并不是压缩前的数据的一个子集，并不是说，本来有照相机的感光器上有一千万个像素，扔掉其中八百万个，剩下的两百万个采集到的就是压缩后的图像，──这样只能采集到不完整的一小块图像，有些信息被永远的丢失了而且不可能被恢复。如果要想采集很少一部分数据并且指望从这些少量数据中「解压缩」出大量信息，就需要保证：第一：这些少量的采集到的数据包含了原信号的全局信息，第二：存在一种算法能够从这些少量的数据中还原出原先的信息来。
三、机遇——解决方案
有趣的是，在某些特定的场合，上述第一件事情是自动得到满足的。最典型的例子就是医学图像成像，例如断层扫描（CT）技术和核磁共振（MRI）技术。对这两种技术稍有了解的人都知道，这两种成像技术中，仪器所采集到的都不是直接的图像像素，而是图像经历过全局傅立叶变换后的数据。也就是说，每一个单独的数据都在某种程度上包含了全图像的信息。在这种情况下，去掉一部分采集到的数据并不会导致一部分图像信息永久的丢失（它们仍旧被包含在其它数据里）。这正是我们想要的情况。
上述第二件事就要归功于陶哲轩和坎戴的工作了。他们的工作指出，如果假定信号（无论是图像还是声音还是其他别的种类的信号）满足某种特定的「稀疏性」，那么从这些少量的测量数据中，确实有可能还原出原始的较大的信号来，其中所需要的计算部分是一个复杂的迭代优化过程，即所谓的「L1-最小化」算法。
把上述两件事情放在一起，我们就能看到这种模式的优点所在。它意味着：我们可以在采集数据的时候只简单采集一部分数据（「压缩感知」），然后把复杂的部分交给数据还原的这一端来做，正好匹配了我们期望的格局。在医学图像领域里，这个方案特别有好处，因为采集数据的过程往往是对病人带来很大麻烦甚至身体伤害的过程。以 X 光断层扫描为例，众所周知 X 光辐射会对病人造成身体损害，而「压缩感知」就意味着我们可以用比经典方法少得多的辐射剂量来进行数据采集，这在医学上的意义是不言而喻的。
这一思路可以扩展到很多领域。在大量的实际问题中，我们倾向于尽量少地采集数据，或者由于客观条件所限不得不采集不完整的数据。如果这些数据和我们所希望重建的信息之间有某种全局性的变换关系，并且我们预先知道那些信息满足某种稀疏性条件，就总可以试着用类似的方式从比较少的数据中还原出比较多的信号来。到今天为止，这样的研究已经拓展地非常广泛了。
但是同样需要说明的是，这样的做法在不同的应用领域里并不总能满足上面所描述的两个条件。有的时候，第一个条件（也就是说测量到的数据包含信号的全局信息）无法得到满足，例如最传统的摄影问题，每个感光元件所感知到的都只是一小块图像而不是什么全局信息，这是由照相机的物理性质决定的。为了解决这个问题，美国 Rice 大学的一部分科学家正在试图开发一种新的摄影装置（被称为「单像素照相机」），争取用尽量少的感光元件实现尽量高分辨率的摄影。有的时候，第二个条件（也就是说有数学方法保证能够从不完整的数据中还原出信号）无法得到满足。这种时候，实践就走在了理论前面。人们已经可以在算法上事先很多数据重建的过程，但是相应的理论分析却成为了留在数学家面前的课题。
但是无论如何，压缩感知所代表的基本思路：从尽量少的数据中提取尽量多的信息，毫无疑问是一种有着极大理论和应用前景的想法。它是传统信息论的一个延伸，但是又超越了传统的压缩理论，成为了一门崭新的子分支。它从诞生之日起到现在不过五年时间，其影响却已经席卷了大半个应用科学。
四、方法原理压缩感知的原理是这样的：你有一张图片，假设是总统的肾脏图片，这不是关键。图片由一百万个像素构成。对传统成像来说，你不得不进行一百万次量度。而采用压缩感知技术，你只需要量度一小部分，好比说从图像的不同部分随机抽取十万个像素。从这里开始，有大量的实际上是无穷多的方式填充那剩余的九十万个像素点。
寻找那个唯一正确的表示方式的关键在于一种叫稀疏度的概念。所谓稀疏度，是描述图像的复杂性或者其中所缺的一种数学方法。一幅由少数几个简单、可理解的元素（例如色块或者波浪线构成的图片）是稀疏的；满屏随机、散乱的点阵则不是稀疏的。原来在无限多的可能性中，最简单、最稀疏的那幅图像往往就是正解，至少很接近正解。
但是，怎样进行数字运算，才能快速获得最稀疏的图像呢？分析所有可能的情况太费时间。然而，坎迪斯和陶哲轩知道最稀疏的图像是用最少的成分构成的，并且，他们可以用L1范数极小化技术迅速找到它。
五、数学求解原理
如果一个线性方程组未知数的数目超过方程的数目，这个方程组被称为欠定，并且一般而言有无数个解。 但是，如果这个欠定系统只有唯一一个稀疏解，那么我们可以利用压缩感知理论和方法来寻找这个解。值得注意的是，不是所有欠定线性方程组都有稀疏解。
压缩感知利用了很多信号中所存在的冗余（换言之，这些信号并非完全是噪声）。具体而言，很多信号都是稀疏的；在适当的表示域中，它们的很多系数都是等于或约等于零。
在信号获取阶段，压缩感知在信号并不稀疏的域对信号进行线性测量。
为了从线性测量中重构出原来的信号，压缩感知求解一个称为L1-范数正则化的最小二乘问题。从理论上可以证明，在某些条件下，这个正则化最小二乘问题的解正是原欠定线性系统的稀疏解
六、应用前景
从信息的小样本中收集有用数据的能力也引起了军方的重视：比如，敌方通信可能从一个频率跳到另一个频率。但是，还没有一种硬件设备能以足够快的速度扫描整个频域。但是无论在什么情况下，对手的信号都是稀疏的，是由频段内极少数的某种简单信号构成的，出现在一些相对较小却未知的频段。这意味着压缩感知可以用来从“噼啵”声中区分来自任意波段的敌人的交谈。所以不出意外的，美国国防部先进计划研究署正在支持压缩感知技术的研究。
