智慧型计算在大数据分析之应用_数据分析师培训

在数据爆炸量、多样化以及数据更新快速的时代下，大数据分析之应用日益受到重视，在商业智慧领域也无法避免;过去所处理的数据大都是属于结构性，亦为传统数据库用于协助解决商业行为的数据结构;近年来，由于数据产生的多元性，数据的产生有「4V」特性，即数据量大(Volume)、数据多样性(Variety)、高误差性(Veracity)、输入和处理速度快(Velocity)，尤其非结构数据(如Text, image, video等)的大量形成，强烈冲击传统数据库的技术与应用;同时，因为大数据数据类别多、形成速度快，因此云端技术的支援与数据传输速度的充足与否，便是其能否顺利运作的重要关键，如订票系统、观看影片等，当数据都上传至云端时，除了有大量的数据存取空间外，频宽也必需充足，才能让使用者可及时下载所需数据。

但就因为数据产生越来越多、瞬间产生越来越快、样式越来越大，而且有不正确性、杂讯等干扰因素存在，因此软、硬体设备都需要升级，才能因应庞大且迅速产生的数据量。幸而Hadoop分散式并行处理系统的开发，让数据在够快的网路速度下可进行多个CPU的平行运算;此外，固态硬碟亦为大量数据储存的重要硬体设备;换句话说，CPU的平行运算、固态硬碟、及网路速度，在大数据的数据处理上，叁者缺一不可。本校张百栈教授所带领的商业智慧团队，其核心技术就在于处理大数据下之非结构性数据，利用智慧运算(Computational Intelligence, CI)技术，对非结构性数据进行数据探勘(Data Mining)，而主要应用的领域在于股价讯号判定以及心跳数据判定，尤其是在股价讯号判定部分，该团队可进一步利用机器学习(Machine Learning)的方式进行股价预测。

智慧型计算技术应用在病例数据之判读

张百栈教授所带领的团队一直以来致于推广智慧型计算，并结合各域知(Domain Knowledge)解决同类型之问题，包括工厂排程问题、股市预测与医疗资讯叁大域。过去多年之研究在于结合四项智慧型计算技术：即探勘策、(类)经计算、演化式计算与自然计算，提出创新的Hybrid Model in Computational Intelligence (CI)，用SOM (Self-Organizing Maps) 或K-means 先将资做分群，再将分群后的资找出其模煳资规则，进新的预测，所得到的正确比没有分群高出许多。这是因为分群后的资同质性高，从而求得之模煳资规则也具有代表性。此一模型也被国际上许多学者接受与引用。

该团队亦将此一模式进行改良，并应用于医疗领域中生理讯号处理与病例辨等问题。首先，将资以案例式推理方法分群，之后以模煳决策树与基因演算法，分别建立子群体之模煳规则，藉此判断是否为肝脏疾病与乳腺癌的病例，此项研究成果已发表在着名的Applied Soft Computing期刊上。近年发展出多导程心电图之心脏疾病辨，主要着重在心电讯号的处理：先将解码后的心电讯号除去杂讯，并进行波型取样，再以隐藏式马可夫模型训练方式，找出患病与健康病例之机模型，最后结合高斯混合模型的训练，进病例判读。目前台湾已有知名医院将患者的心电图资讯上传至云端，让医师可以从智慧型装置直接做判读，但由于心电图的判读颇费心力，部份医院会将这部分的工作外包，由具专业知识的全球人才进行心电图的分析，然后再以机器学习演算法(Machine Learning )的方式进行病历数据判读与建立数据库，这也就是大数据的应用。

分群技术与 TSK 模煳技术之股价指预测

此一团队亦运用各种软性计算技术，建立股价指预测之模型。其预测步骤是先将资分群，而后运用TSK 模煳技术找出影响股价指数的重要因素，再以机器学习演算法或类神经网络分析，进台湾加权指预测，并从中判定低点、高点的讯号，预测准确达到9成以上。目前此一预测模式仅纳入两个影响因子，分别为基本面和技术面;但如政治、经济、心理等「大环境」因素是最难控制的，因此未来可将出现在各线上新闻网站或社群媒体等之政经新闻中的文字，经处理、过滤后转换成影响股价波动的情感讯号，准确率将可望再提高，有助于降低投资风险，并提高投资报酬。

个股股价转折点及润赚取预测

图一、方法流程图

此一团队另一项股市预测技术，在于个别股价投资时点之研究。先将所欲投资的个股，其近半年至一年来的股价波动讯号，从非线性转成线性后，在高、低点时之相关技术面指标如KD、RSI、成交量等作为输入变数(input)，并将股价转化为交易讯号(Trading signal)以作为输出变数(output)，进而从中找出具代表性的变数;之后再将筛选出的因子，输入类神经网路中训练，也就是Machine Learning，进而预测股价之高、低点转折处。此部份可是股价指数预测部份之延伸，由于已可成功预测股价指，因此进一步探讨如何在股票市场中赚取润便相当重要，预测出个股价格转折点(Turning Point)，便可让投资者能逢低买进、逢高卖出，提升投资报酬率;此部份之技术基础在于结合线段割(Piecewise Linear Representation, PLR)系统与类经网预测(Back-propagation Neural Network, BPN)等技术，而以 PLR 作为判断塬始资转折点之预测工具。研究程主要分为叁个步骤：首先，为增加投资报酬，我们将提出选股塬则，并以这些塬则选出具有投资效的个股;第二步骤，用预测模型及事先交易决策分析个股买卖点，输入变为技术指标值，输出变为买卖时点;第叁步骤，预测每日交易讯号，以获得最佳买卖时机点，即股价转折点(如图一)。

综上所述，张百栈教授所率领的商业智慧运算团队，除了基础分析技术超卓外，所应用分析的领域涵盖面极广并切合实际应用，尤其是对于生理资讯的判定方面，对于人类社会将会有长足的贡献，研究成果相当值得期待。