咱们继续会听到，大数据是建立得手的机器学习神气的枢纽。

一个主要的问题是：好多组织莫得你需要的数据。

在莫得最基本的、必要的、未经处理数据的情况下，咱们应该何如为机器学习的见解建立原型并加以考据呢?在资源匮乏的情况下，咱们应何如有用地获得并用数据创造价值?

在我使命的所在，咱们会为客户建立好多函数原型。为此，一丝据对我大有匡助。在这篇著述中我会共享7个小技能，能匡助你在用一丝据集建立原型时改善效果。

1：意志到你的模子并不竣工

这是第一要务，你正在建立一个模子，这个模子的领略只基于一个大蚁合中的一小部分，是以模子也只消在这一处或这一情况下才气够如预期一般运行精好意思。

淌若你正在字据一些选中的室内像片建立一个规画机视觉模子，不要期待它也能很好地处理室外像片。淌若你思要建立一个基于聊天室簸弄的讲话模子，不要期待它可以写一部精彩的演义。

确保你的司理或客户也能这么判辨。这么，悉数东说念主对你的模子能传达的法例会实现一个归并且实验的期待。同期，也有助于提议新的KPI推测打算，以便在原型范围表里对模子性能进行量化。

2：建立精好意思的数据基础门径

在许厚情况下，客户并莫得你所需要的数据，公开数据也不及以成为一个代替选项。淌若你的部分原型需要鸠合和璀璨新数据，要确保你的基础门径在处理的同期产生的阻力越小越好。

你需要确保数据璀璨饱和简便甚至非技巧东说念主员也能轻便判辨。咱们会用到Prodigy，我觉得这是一种易得且可扩张的好器用。字据神气的范围，你可能还思诱骗一个自动的数据摄取器用，它可以经受新数据并自动将新数据传输给璀璨系统。

你的系统获得新数据越快捷简便，你就能得到越多量据。

3：加多数据

你可以通过加多已有的数据来拓展你的数据库。比如可以对数据进行隐微养息，但又不会显赫影响模子输出法例。比如说一张猫的图片旋转了40度，仍然是猫的图片。

在大部分案例中，加多技能可以使你创造更多的“半惟一无二”数据点来测验你的模子。你可在入手时向数据中加入少量的高斯噪声。

关于规画机视觉，有好多方便的措施来加多你的图像，我曾有精好意思的Albumentations 数据库使用体验，它可以在进行好多有用的图像滚动的同期，不使璀璨受损。

运行，水平翻转，米兰app官网版垂直翻转，养息比例和旋转角度

另一种被大部分东说念主觉得有用的加多技能是搀和。这种技能即字面道理上的将两张输入的图片放在一齐让它们搀和，何况组合它们的标签。

运行图片，搀和，噪式搀和，垂直流畅

在加多其他类型的输入数据继续，需要讨论神态的转机是否会篡改璀璨。

4：生成合成数据

淌若你困于加多确凿数据的决策选拔，你可以入手讨论创造一些伪造的数据，生成合成数据是支吾极点案例的好措施，而你确凿凿数据库无法支吾。

举个例子，好多机器东说念主技巧的强化学习系统(比如OpenAI的Dactyl)在设立确凿的机器东说念主之前，会在模拟3D环境中进行测验。关于图像识别系统，你可以雷同地建立一个3d现象，它可以提供你上千种新数据点。

15个模拟的Dactyl测验实例

还有好多措施可用于创造合成数据，澳洲幸运8app下载在Kanda，咱们开发了一种基于转盘的惩办决策用于创造方向检测用的数据。淌若你有很大的数据需求，你可以讨论使用Generative Adverserial Networks 来创造合成数据。由于GANs是难以测验是广为东说念主知的，是以先要阐发这决策是值得尝试的。

NVIDIAs GauGAN 实操

偶而你可以结合多种措施：苹果公司有一种特殊奢睿的措施，使用GAN来处理3D建模的脸部图像使得其看起来更具像片所呈现确凿凿感。淌若你偶而间的话，这是一种可以的拓展数据库的措施。

5：严慎处理数据庆幸永别

测验机器学习模子时，数据集平庸会字据一定的比率立地地分红测验数据集和测试数据集。平庸这莫得什么，但是在处理一丝据集时，因为测验数据样本的低容量会产生一个高水平的杂音风险。

在这种情况下，你可能不测得到了一个数据庆幸永别。某种特定数据集永别后，你的模子会平日运行，同期可以很好地归纳测试数据集。关联词在实验中，这只是是因为测试数据集(正值地)莫得包含精深的样本。

在这个场景中，k折交叉考据法是一个更好的选拔。基蓝本说，你可以将数据集分红K组，为每一组测验新模子，可选拔其中的一组用于测试，而将剩下的几组全部用于测验。这可以保证你所看到的测试效果并不是简便地因庆幸(或横祸)永别而产生的。

6：使用迁徙学习

淌若你处理某种圭臬数据神态，比如文本、图像、视频或声息，你可以愚弄其他东说念主依然这些领域所取得的迁徙学习效果来协助以上使命以普及效能，就像是站在巨东说念主的肩膀上。

当你进行迁徙学习时，可以愚弄其他东说念主依然建好的模子。(平庸，其他东说念主指谷歌，脸书简略要点大学)何况需要微调模子使其相宜你的迥殊需要。迁徙学习有用是因为大多量任务所处理的讲话、图像或声息享有好多共通的特征。以规画机视觉为例，迁徙学习可以侦测特定种类的步地，热枕或方法。

最近，我正为一位客户建立方向检测原型，这瞄准确性有较高条件。通过对MobileNet Single Shot Detector的微合资应用，使命效能依然很猛经由的普及了，该迁徙学习模子是通过谷歌的数据集测验得到的(含有900万张已璀璨的图片)。在一天的测验后，我能提供一个卓绝正经的方向检测模子，在一个接纳1500张已璀璨图片的测试中，深远0.85的mAP。

7：尝试弱学习者的组合

偶而，你只需要面临一个实验，你等于莫得饱和的数据来搞胡里花哨的东西。庆幸的是，你可以转而求援好多传统机器学习AI，它们对你的数据集范围并不解锐(不会因数据的低容量产生较大的测试偏差)。

{jz:field.toptypename/}

当数据集小，数据点维度高的时候的时候，像Support Vector Machine 这么的AI是一个好的选拔。

缺憾的是，这些AI并不老是像先进应用措施相通准确。这等于为什么他们会称之为弱学习者了，至少与高参数化神经鸠合比较。

改善这一情况的措施是，结合几个弱学习者的效果。(这可以是Support Vector Machines和Decision Trees的数组，他们可以在一齐使命，建立展望)。这等于联接学习所指的本色了。