第一章 小 数据 时代 的 到来
一 、 小 数据 之 蜕变
（ 一 ） 小 数据 的 成长 之 路
在 过去 的 几个 世纪 里 ， 以 抽样 数据 为 特征 的 小 数据 研究 使 自然科学 、 社会科学 和 人文科学 的 发展 取得 了 跨越式 的 进展 。 小 数据 的 成长 过程 可以 分为 两大 阶段 ： 数据 的 产生 与 科学 数据 的 形成 。 在 此基础 上 ， 大 数据 悄然 诞生 。
数据 起源于 古人 对 事物 的 “ 多 ” 或 “ 少 ” 的 认识 。 从 中国 古代 的 结绳记事 、 苏美尔 人 的 串珠 计数 ， 到 古埃及 的 十进制 象形文 数字 、 古巴比伦 的 六 十进制 数字 ， 再 到 中国 商朝 的 甲骨文 数字 、 唐代 的 汉字 数字 ， 最终 到 后来 的 罗马数字 、 阿拉伯数字 ， 逐步 实现 了 数 的 抽象性 和 可计算性 。 而量 赋予 了 事物 的 测度 和 比较 标准 的 语言 ， 它 是 能 体现 事物 内在 本质特征 以及 事物 之间 差异 程度 的 一种 载体 ， 包括 量 的 规模 、 关系 、 变化 、 界限 与 规律 。 从数 到 数据 的 发展 过程 ， 客观 反映 了 人类 认识 事物 本质属性 的 必然 过程 。 如果说 抽象 的 数 的 分析 产生 了 数学 ， 那么 有 计量单位 的 数据分析 则 产生 了 统计学 。 相应 地 ， 统计学 中 所 使用 的 就是 传统意义 上 的 小 数据 。
随着 对 数据 需求 的 增加 ， 以及 收集 与 运用 数据 经验 的 不断 积累 ， 人们 在 科学研究 的 过程 中 逐渐 形成 了 能够 科学 使用 的 小 数据 — — 科学 数据 。 科学 数据 是 人们 用以 探求 现象 变化规律 或 验证 已有 理论 假设 的 数据 ， 数据 收集 的 方式 主要 是 观察 、 测量 和 实验 。 科学 数据 的 特点 是 科学 设计 、 可 重复 获得 、 相对 精确 和 具有 共享性 ， 它 不仅 提高 了 人类 认识 事物 的 精确性 ， 而且 逐步形成 的 数学 化 思维 与 方程 表达式 使 人类 解决 了 不同 物理量 之间 的 数值 关系 表达 问题 ， 从而 为 人类 开展 相关 事物 之间 的 定量 研究 提供 了 途径 。 自然 哲学家 开普勒 通过 对 第谷 天文 观察 数据 的 使用 ， 推导 出 了 行星 运动 三大 定律 ； 伽利略 通过 对 地球表面 物体 运动 数据 的 测量 ， 发现 了 自由落体 运动 规律 ； 牛顿 利用 大量 的 天文 观察 数据 和 实验 测量 数据 ， 创立 了 牛顿 力学 体系 。
当然 ， 在 自然科学 对 数据 进行 科学研究 的 同时 ， 社会科学 也 同样 对 数据 进行 了 科学 范式 的 研究 ， 并 发现 了 如 平均 人 、 恩格尔系数 、 基尼系数 、 经济周期 等 定律 。
（ 二 ） 小 数据 ２．０ 的 诞生
传统意义 上 的 小 数据 因 其 数据 体量 的 窄小 、 抽样 采集 方式 的 传统 而 得名 ， 其实质 是 通过 目前 主流 统计 工具 在 合理 时间 内 采集 、 存储 、 处理 的 数据 集 。 经典 的 数理统计 和 数据挖掘 知识 ， 可以 较 好地解决 这 类 问题 。 而 大 数据 时代 下 的 小 数据 ， 是 一类 新兴 的 数据 ， 它 是 指 需要 新 的 应用 方式 才能 体现 出 具有 高 价值 的 、 个体 的 、 高效率 的 、 个性化 的 信息 资产 。
小 数据 ２．０ 下 的 定义 并 不是 指 数据量 小 ， 而是 围绕 个体 的 全方位 数据 及其 配套 的 收集 、 处理 、 分析 和 对外 交互 的 综合 系统 。 个体 产生 的 数据 ， 包括 生活习惯 、 社交 行为 、 财务状况 等 ， 全部 被 各种 智能 设备 或传感器 收集 和 利用 并 进行 分析 ， 并 对外 形成 一个 富有 个人 色彩 的 数据系统 。 小 数据 范畴 下 的 个体 ， 不仅仅 包括 自然人 个体 ， 还 包括 一切 具有 完整 内部 环境 的 个体 ， 如 家庭 、 企业 、 学校 、 医院 、 生态环境 等 。 通俗 来讲 ， 以 我们 每个 人为 例 ， 小 数据 能够 观察 个体 行为 如 发送 电子邮件 、 短信 或 推特 ， 购物 或 锻炼 ， 步行 上班 还是 乘车 上班 ， 在家 看 电视剧 还是 看 电影 ， 或者 在 跟 Ａｍａｚｏｎ Ｅｃｈｏ （ 亚马逊 公司 研制 的 一款 智能 音箱 ） 对话 等 。 这些 痕迹 反映 了 我们 是 谁 、 在 哪 、 和 谁 、 做 什么 。 通过 数据 整合 ， 以 可视化 的 方式 让 你 能够 更 了解 你 自己 。
因此 ， 小 数据 又 被 称为 “ 量化 的 自我 ” ， 目的 与 大 数据 相同 ， 提供 个体 决策 的 依据 。 虽然 小 数据 迄今为止 的 应用 还 十分 简单 ， 但 小 数据 若 与 智能 时代 的 各项 新 技术相结合 ， 它 能 提供 的 信息 将 远不止 于 此 。
（ 三 ） 小 数据 的 时代 表征
（ １ ） 具有 鲜明 的 个体 独特性
小 数据 是 围绕 个体 用户 所 感知 的 数据 集合 ， 体现 了 较 高 的 数据 价值 密度 ， 具有 鲜明 的 个体 独特性 。 不同 层次 的 个体 用户 如 企业 层次 和 个人 层次 ， 其 数据 广度 和 深度 大相径庭 ； 同一 层次 的 个体 用户 ， 其 行为 特征 同样 具有 一定 的 特异性 ， 这 导致 涉及 的 小 数据 集 也 各不相同 。 即使 对于 同一个 事件 ， 不同 的 个体 用户 由于 所 处 环境 、 学习 背景 、 认知 能力 、 思维 方式 不同 ， 其 产生 的 行为 方式 也 是 不同 的 。 这 也 决定 了 小 数据 的 个体 独特性 。 而 这 一 特征 恰好 为 获取 用户 的 个性化 需求 创造 了 条件 。
（ ２ ） 具有 复杂 多样 的 数据 特性
随着 高性能 传感器 、 可 穿戴 设备 等 智能 产品 和 嵌入 程序 的 广泛 普及 和 运用 ， 这些 设备 所 产生 的 数据类型 体现 出 广泛 的 半 结构化 和 非 结构化 特征 ， 并且 随着 时间 的 推移 以及 个体 用户 活动 范围 的 扩大 ， 其 产出 的 数据量 也 在 逐渐 增多 ， 从而 进一步 加剧 了 数据 的 复杂性 。 另外 ， 在 ２．０ 时代 ， 小 数据 已经 不 拘泥于 传统观念 中 为了 解决 特定 的 问题 才 去 收集 、 分析 、 处理 指定 的 相关 数据 的 内涵 ， 而是 来到 了 针对 特定 个体 进行 数据 生产 的 阶段 。 从 这个 角度 来讲 ， 小 数据 与 大 数据 兼具 预测 功能 ， 只不过 预测 的 视野 和 方式 有所区别 ， 这种 “ 预测 ” 也 体现 了 小 数据 复杂 多样 的 数据 特性 。 此外 ， 个体 在 日常 的 生活 、 学习 和 工作 中 ， 其 自身 产生 的 数据 内容 也 具有 多样性 ， 如 视频 数据 、 图片 数据 、 文本 数据 等 ， 同时 这些 数据 集 具有 一定 的 主观性 、 离散性 和 随机性 。
（ ３ ） 具有 高度 的 实时 动态性
具有 高度 的 实时 动态性 是 由于 对 个体 的 感知 和 监控 是 全天候 、 全方位 的 ， 因此 小 数据 的 获取 和 收集 也 是 实时 更新 、 动态 存储 的 。 对于 同一个 体 用户 而言 ， 在 不同 的 时间 ， 其所处 的 情景 状态 是 不 一样 的 ， 从而 使 小 数据 集合 具有 动态性 和 不确定性 。 另外 ， 个体 用户 所 承担 的 任务 和 遇到 的 问题 也 是 不断 变化 的 ， 用户 的 需求 行为 随之 变化 ， 这 也 将 促使 小 数据 集合 的 实时 变动 。
（ ４ ） 具有 明显 的 人机交互 性
１．０ 时代 ， 小 数据 无需 强调 个人 的 表达 需求 ， 而 更 关注 样本 对 总体 的 代表性 以及 对 所 研究 的 科学 问题 的 解释 程度 。 ２．０ 时代 ， 小 数据 可以 以 两种 方式 走进 我们 的 生活 ： 第一种 是 人为 采集 小 数据 ， 这个 层面 上 的 小 数据 是 消费者 与 采集者 分享 的 有关 其 独特 偏好 的 微 数据 ， 比方说 他们 订阅 哪些 报纸 、 青睐 哪家 餐厅 以及 他们 在 旅行 时 喜欢 去 哪些地方 ， 通过 人工 对 数据 进行 理解 和 加工 ； 第二种 则 是 通过 各类 智能 设备 和 传感 设备 采集 个体 的 所有 数据 ， 这个 层面 上 的 小 数据 带有 很 明显 的 人机交互 性 ， 需要 机器 系统 以 适当 的 方式 回应 不同 风格 的 用户 。
二 、 小 数据 之 崛起
图像 、 语音 、 文本 、 情绪 成为 近两年 最 热门 的 概念 ， 所谓 需求 驱动 市场 ， 市场 驱动 技术 发展 。 在 现在 的 人工智能 时代 ， “ 快速 ” “ 准确 ” “ 语义 ” 才能 火 ， 而 图像 、 语音 、 文本 、 情绪 也 从 过去 的 大 数据 概念 往 更 高深 的 小 数据 技术 领域 前进 ， 智能 的 语音 识别 、 图像识别 、 文本 识别 、 语音 情绪 识别 将 走进 普通人 的 生活 中 ， 它们 将会 有 哪些 值得 我们 期待 的 动作 ， 让 我们 所见 所 听 的 世界 变得 生动 起来 呢 ？
（ 一 ） 图像识别
图像识别 技术 是 当前 人工智能 的 一个 重要 领域 ， 它 取决于 三个 要素 ： 算法 、 大 数据 和 应用 场景 。
目前 来看 ， 图像识别 从 以图 搜图 到 明星 、 物体 识别 ， 再 到 场景 识别 ， 甚至 现在 延伸 到 了 视频 领域 ， 给 行业 带来 了 太 多 惊喜 。 现在 图片 内容 的 价值 已经 超越 图片 本身 ， 并且 建立 了 从 图片 到 电商 的 商业模式 。 图像识别 一般 针对 画面 中 的 一个 对象 做 识别 ， 比如 ， 大众 熟知 的 人脸 、 明星脸 等 识别 技术 已经 很 成熟 了 ， 基本 识别率 可以 达到 ９０ ％ 以上 。 近年来 ， 服饰品牌 的 同款 识别 和 风景 识别 也 很 流行 ， 为 旅游 行业 和 服饰 行业 创造 了 商机 。 图像识别 在 视频 领域 也 体现 出 强大 的 应用 前景 ， 新 兴起 的 互动 视频 技术 Ｖｉｄｅｏ ＋＋ 已经 能 实现 视频 中 的 人脸 和 服饰 同款 的 识别 ， 可以 基于 图像识别 技术 发展 视频 中 的 商业 场景 。 另外 瞳孔 识别 的 研究 已经 提 上 日程 ， 相信 在 不久 的 将来 ， 科幻片 中 所见即 所得 的 情景 不再 是 幻想 。
但是 ， 图像识别 技术 在 真实 应用 场景 中 并 没有 你 想象 中 的 那么 好 ， 识别 错误率 依然 很 高 。 这 是因为 现有 的 图像识别 技术 主要 基于 统计学 原理 ， 依靠 分析 视觉 数据 的 特性 ， 借助 统计学 建模 等 数学分析 方式 提取 出来 ， 最后 应用 到 图像 中 。 这种 图像识别 技术 ， 一方面 实现 的 门槛 比较 高 ， 对 图像 类型 、 质量 等 都 有 一定 要求 ， 我们 提供 的 图片 光线 、 像素 、 角度 等 问题 都 会 造成 识别 不 准确 ； 另一方面 ， 小 数据 特征 在 统计 模型 中 往往 是 被 忽略 掉 的 ， 而 这些 小 数据 特征 有时 又 是 整个 图像 中 最 关键 的 特征 。 所以 目前 图像识别 技术 还仅 作为 我们 的 辅助工具 存在 ， 为 我们 自身 的 人类 视觉 提供 强有力 的 辅助 和 增强 ， 带给 我们 一种 全新 的 与 外部 世界 进行 交互 的 方式 ， 应用 也 基本 局限 在 个别 刚需 的 垂直 专业 领域 ， 比如 ， 医疗 成像 分析 的 疾病 预测 、 安防 监控 领域 的 嫌疑人 指认 等 。 而 在 其他 领域 ， 如 车险 理赔 领域 ， 仍 被 当作 一个 另类 来 看待 。
２０１７ 年 ６ 月 ， 蚂蚁 金服 在 北京 发布 了 继 “ 车险 分 ” 之后 的 另 一款 车险 产品 — — “ 定 损宝 ” 。 有 媒体 解读 说 ， “ 定 损宝 ” 的 到来 ， 会 让 查勘 员 彻底 失业 。
蚂蚁 金服 给出 的 定义 是 — — “ 定 损宝 ” 应用 了 深度 学习 图像识别 检测 技术 ， 用 ＡＩ （ 人工智能 ） 充当 眼睛 和 大脑 ， 代替 定 损员 的 技能 与 工作 ， 通过 部署 在 云端 的 算法 识别 事故 照片 ， 与 保险公司 连接 后 ， 在 几秒钟 之内 就 能 给出 准确 的 定损 结果 ， 包括 受损 部件 、 维修 方案 及 维修 价格 。
当 我们 用 Ａｐｐ （ 应用程序 ） 拍摄 事故 车 照片 时 ， Ａｐｐ 可以 实现 对 图像 的 自动识别 ， 判断 你 拍 的 是 什么 配件 。 由于 采用 了 人工智能 技术 ， 它 可以 分析 这个 配件 是否 损坏 ， 并且 根据 数据库 中 的 价格 ， 自动 给出 这个 配件 喷漆 和 钣 金 的 价格 。
但是 ， 这 款 号称 基于 汽车 外观 配件 的 大 数据 图像识别 产品 ， 实际上 只能 解决 车辆 外观 剐 蹭 的 事故 定损 ， 而 涉及 车 内 配件 的 损失 、 人伤 事故 、 虚假 赔案 等 事故 场景 ， 其实 都 解决不了 。 而 在 车险 理赔 中 ， 事故 原因 、 车 内 受损 程度 、 人员 伤残 等级 等 小 数据 因素 ， 往往 才 是 案件 最 关键 的 部分 。 所以 当 “ 定
损宝 ” 这 款 产品 发布 后 ， 立即 就 被 许多 保险 业界 理赔 人士 “ 吐槽 ” ， 要 想 通过 图像识别 技术 改变 保险 理赔 ， 还 为时过早 。
实际上 ， 虽然 图像识别 技术 距 我们 实际 应用 要求 还有 很长 一段路 要 走 ， 但 如果 图像识别 技术 能够 将 大 数据 因素 与 小 数据 因素 结合 考虑 ， 利用 小 数据 找到 图像 中 的 关键 信息 ， 让 机器 真正 具有 了 视觉 ， 它们 完全 有 可能 代替 我们 去 完成 这些 工作 。 未来 的 图像识别 技术 ， 也 一定 能够 在 更 多 应用领域 中 取得 实质性 的 突破 。 可 如果 图像识别 技术 无法 解决 小 数据 的 问题 ， 一切 所谓 的 图像 精准 识别 仍 将 是 空谈 。