以数据清洗为例,聊聊人工智能的配套服务产业

时间:2017-11-25 15:37

以数据清洗为例,聊聊人工智能的配套服务产业

从商业模式来说,人工智能的相关企业有三种:第一种是提供人工智能技术的公司,比如机器视觉、NLP等等;第二种是将人工智能与具体行业应用结合的公司,比如fintech、人工智能医疗、无人驾驶等等。而还有一种最容易被遗忘:为人工智能行业服务的公司。

飞速发展的人工智能产业,很容易让人看到技术售卖和行业迭代中的商业潜力。无论是巨头还是新晋独角兽,显然都在尽力提速,生怕掉队。但如此高的产业发展速度,事实上也催生了大量新的需求。这就像汽车的发展虽然盘活了交通运输,同时也催生了修车业的海量工作机会。

对于人工智能来说,这一类的机会有很多,比如说:数据清洗。

熟悉大数据的朋友应该对数据清理不会陌生,而在以机器学习为主要手段的AI爆发中,数据清洗也有了更重要的价值和愈发丰富的刚性需求。

很多AI创业者,可能忽略了这一环节带来的成本负荷和产能影响。

什么是数据清洗

按照惯例,咱们还是先来简单介绍一下什么是数据清洗。

数据清洗(Data cleaning)是大数据生产过程中的必须环节。我们知道,大数据发生效用来自于数据仓库对大数据的吞吐。但假如输入了错误或者无效的数据,那么输出时就会影响效果、产生误差,甚至造成bug。这些无效和错误的数据,被称为“脏数据”。而数据清洗顾名思义,就是要用各种手段把脏数据标记并清理出来。

以数据清洗为例,聊聊人工智能的配套服务产业

数据清洗包涵多种目标和手段,比如检查数据一致性、处理无效值、识别数据冲突等等。并且整个过程包括多重审查、校验与标注。

我们采访过的很多大数据机构和云服务公司负责人都证实了这样的说法:数据清洗是成本消耗最严重的工作之一。

这项原本就非常吃重的工作,在人工智能潮中地位也跟着水涨船高了

举个栗子:AI中的数据清洗为何重要

在今天的主流AI工程化进程里,机器学习是最广泛使用的技术。而目前机器学习的主要实现手段是监督学习。

所谓监督学习,是由研发者使用已知数据集,让智能体基于标记的输入和输出数据进行推理,从而学习到达成目标的路径,让自己不断“聪明起来”。

理论上来说,智能体学习的数据越多就会越聪明,从而再生产出优质数据进行再学习,这样就可以不断完成自我进化。但这种最优状况,是建立在机器学习的数据都没错的情况下,假如其中混杂了错误数据,那么学习得出的结果显然也是错的。

更重要的是,机器学习想要达成,必须建立在数据的一致性和体系化基础上,假如错误数据造成了整个数据链的割裂,那么机器学习过程也将终止,就无从谈什么人工智能了。

举一个我们熟悉的例子:我们最常用的手机电商中,其实安插了大量机器学习算法来进行个性推荐。因为手机的屏幕显示量很小,假如推送的电商信息大多不符合用户期待,用户需要一直向下寻找,那么体验会很差,也影响电商体系的效率。这里就需要机器学习来建立用户个性化推荐模型,提供多种行为下的商品排序特征。

这个场景中的机器学习,必须建立在优质大数据的基础上,既要学习目标用户的数据样本,也要综合群体性数据和标签化数据,进行综合任务学习。而电商平台获取的数据,包括用户群的点击、搜索、购物车添加和收藏,以及最终的购买频次等等。但这些数据中可能掺杂大量的“脏数据”。

以数据清洗为例,聊聊人工智能的配套服务产业

比如说用户点击后马上退出来,可能说明是错误点击行为;比如说用户搜索的关键词中含有错别字或者不可知内容;比如说用户购买后却普遍差评的商品,这些数据被机器学习后成为逻辑依据,转而推荐给用户,显然是不合适的。

这里就需要把电商数据系统中的缺漏数据、重复数据、错误数据剔除出去,保证机器学习内容的标准化和特征一致化。这之后剩下的优质数据才能提供给模型进行训练。

由此可见,数据清洗在人工智能的落地实现中是非常重要的一环。训练用的数据越多、训练模型越复杂,对数据清洗的工作需求量就越大。

假如人工智能飞速发展,数据清洗作为配图服务工种却没有跟上发展速度,那后果是很可怕的——想想《机器人总动员》里的小机器人,独自在垃圾星球中孤独而无尽的清理着。可以说是很可怜了……

数据清洗中也是亟待AI拯救的行业