什么是大数据问题

在我们看来，计算机科学经常谈的是对资源的管理。最典型的资源就是时间、空间、能量。数据在以前并没有被认为是一种资源，而是被认为是一种使用资源的物品。但是，我们看到现在的数据已经被认为是一种资源，这是我们可以利用并从中获得价值和知识的一种资源。我们将数据资源同我们所用的时间、空间资源结合在一起形成一个系统，从而使我们做出适时的、节约成本、高质量的决定和结论，因此我们必须以不同方式进行权衡。但是数据资源和时间、空间资源有很大的不同。如果我给你更多的时间和空间你会更开心，但是数据却不是这样，并不是给你越多的数据你就会越开心。就像是你走进一个公司，问他们你们最大的问题是什么，他们通常会说最大的问题就是数据太多了。目前来看，越来越多的数据会给我们带来越来越大的麻烦。因此我们必须找到一个解决这个问题的办法，一种是统计学的方式，另外一种是计算的方式。统计学方式可能更微妙，所以我们等一下花更多时间在上面。
    1. 对复杂性的疑问比数据增长的速度更快；
    一些数据科学家他们经常谈，在一个数据库的表格中行代表人，而列是对人的特征记录，基本的数据库可能会有几千个行--意味着有几千个人的信息在一个数据库里，然后你再收集每个人的基本信息，并不需要太多，比如个人的年龄、地址、高度、收入，这些数据足以让你了解在这个数据库中的每一个人。
    现在我们来考虑数百万的“行”,因为我们确实对每个人的个性和细节十分感兴趣。比如说你是在天津居住，你喜欢迈克尔·杰克逊，你喜欢骑自行车，那么你患某种疾病的概率是多少等等，我们在数据库中都有关于你的信息。所以我们看到有关人数的行数在不断的增加，同时描述也更多，那么列数也在增加。有些我们还可以添加一些列，比如说这个人昨天吃了什么，他的音乐、读书的偏好，还有他基因的特点等。但问题是我们不光对个人的列感兴趣，我们对列的集合更感兴趣。如果你生活在天津，你喜欢骑自行车，你最喜欢吃的水果是苹果，这些都是具体的这些列的信息集合。
    现在问题就是我们需要指数级的列和行增长的组合方式，随着行数和列数的线性增长，我们考虑的数据就会呈指数倍的增加。我们来举一个医学方面的案例，把列设想成肝病的信息--1是有肝病，0是没有肝病；但是有一些列所描述的情况能够很好地预测肝病的发生。假设如果你喜欢在天津，喜欢骑自行车，喜欢吃香蕉，这样的人就会得肝病。如果你这个时候去看医生，医生问你住在哪里，你说天津；医生问你周末做什么，你说骑自行车；问你最喜欢吃的水果是什么，你说是香蕉，那么医生就会告知你需要检查一下肝脏。这当然是个假设。任何指令集里面都需要看这些数据，进行论证，找到有意义的模式。但当数据变得越来越大，找到有意义的模式和信息变得越来越难。所以，大数据并不是非常好的事情，并不是有更多的数据就会获得更多的知识。大数据其实才是最大的麻烦。现在来看数据越来越难转变成知识，如果我们想要获得真正有意义的东西，我们需要采取一些行动。我们统计学家非常担心：我们应当如何消除噪音，真正得到里面所含的知识。统计学上的程序和算法，必须运行在计算机上，.大的数据会花更多的时间运行，使我们不能快速的做决策了。真正有大问题的时候，我们不知道如何解决和运行统计的程序，做出快速的决策，因此我们发现了第二个解决方案。第一个是统计学上，第二个是计算方面。
    2.大数据会导致在可接受的时间范围内复杂算法不能够运用
    第二个就是计算方面，算法需要时间运行，还要登录、输出等，需要几秒钟的决策，比如在线的拍卖需要几秒钟做决策，我们还需要给予一些数据，比如说输出的算法。当数据变多，这种方法可能会完成不了，或者是需要很多的运行时间，这是时我们要怎么做？要把这些数据舍弃掉吗？舍弃的结果是什么？可能使我的数据库空间增加，如果我不断地删除我的数据。我应当让数据运行慢一些，但是这样就会使处理的时间过长。我们面临很大的问题，我们将时间、空间与数据、不断增长的数据规模结合在一起，如果没有很好的处理这些大数据的扩展算法。这确实是一个存在的问题，我认为这个问题是根本且基础的。