搜索

[25841] 2016-12-14_用数据科学搭建一个实时推荐引擎

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-19
2016-12-14_用数据科学搭建一个实时推荐引擎 - -   N i c o l e   W h i t e 0 8 % 1 6 % 2 6 % 6 2 % 用 数 据 科 学 搭 建 一 个 实 时 推 荐 引 擎 原 创   译 者 ： u c a s F L   L i n u x 中 国   2 0 1 6 - 1 2 - 1 4 收 录 于 话 题   # 数 据 科 学 专 辑   , 2 0 个 实 时 推 荐 引 擎 是   N e o 4 j   中 最 广 泛 的 用 途 之 一 ， 也 是 使 它 如 此 强 大 并 且 容 易 使 用 的 原 因 之 一 。 为 了 探 索 这 个 东 西 ， 我 将 通 过 使 用 示 例 数 据 集 来 阐 述 如 何 将 统 计 学 方 法 并 入 这 些 引 擎 中 。 本 文 导 航 - 图 数 据 库 推 荐 基 础 - 社 交 推 荐 （ S o c i a l   R e c o m m e n d a t i o n s ） - 相 似 性 推 荐 （ S i m i l a r i t y   R e c o m m e n d a t i o n s ） - 集 群 推 荐 （ C l u s t e r   R e c o m m e n d a t i o n s ） 编 译 自 ：   h t t p s : / / n e o 4 j . c o m / b l o g / r e a l - t i m e - r e c o m m e n d a t i o n - e n g i n e - d a t a - s c i e n c e /   作 者 ：   N i c o l e   W h i t e 译 者 ：   u c a s F L 编 者 注 ： 本 文 是   2 0 1 6   年   4   月   N i c o l e   W h i l t e   在 欧 洲   G r a p h C o n n e c t [ 1 ]   时 所 作 。 这 儿 我 们 快 速 回 顾 一 下 她 所 涉 及 的 内 容 ： 图 数 据 库 推 荐 基 础 社 会 化 推 荐 相 似 性 推 荐 集 群 推 荐 今 天 我 们 将 要 讨 论 的 内 容 是 数 据 科 学 和 g r a p h   r e c o m m e n d a t i o n s 图 推 荐 ：
我 在   N e o 4 j [ 2 ]   任 职 已 经 两 年 了 ， 但 实 际 上 我 已 经 使 用   N e o 4 j   和   C y p h e r [ 3 ]   工 作 三 年 了 。 当 我 首 次 发 现 这 个 特 别 的 g r a p h   d a t a b a s e 图 数 据 库 的 时 候 ， 我 还 是 一 个 研 究 生 ， 那 时 候 我 在 奥 斯 丁 的 德 克 萨 斯 大 学 攻 读 关 于 社 交 网 络 的 统 计 学 硕 士 学 位 。 实 时 推 荐 引 擎 [ 4 ] 是   N e o 4 j   中 最 广 泛 的 用 途 之 一 ， 也 是 使 它 如 此 强 大 并 且 容 易 使 用 的 原 因 之 一 。 为 了 探 索 这 个 东 西 ， 我 将 通 过 使 用 示 例 数 据 集 来 阐 述 如 何 将 统 计 学 方 法 并 入 这 些 引 擎 中 。 第 一 个 很 简 单   -   将   C y p h e r   用 于 社 交 推 荐 。 接 下 来 ， 我 们 将 看 一 看 相 似 性 推 荐 ， 这 涉 及 到 可 被 计 算 的 相 似 性 度 量 ， 最 后 探 索 的 是 集 群 推 荐 。 图 数 据 库 推 荐 基 础 图 数 据 库 推 荐 基 础 下 面 的 数 据 集 包 含 所 有 达 拉 斯   F o r t   W o r t h   国 际 机 场 的 餐 饮 场 所 ， 达 拉 斯   F o r t   W o r t h   国 际 机 场 是 美 国 主 要 的 机 场 枢 纽 之 一 ： 我 们 把 节 点 标 记 成 黄 色 并 按 照 出 入 口 和 航 站 楼 给 它 们 的 位 置 建 模 。 同 时 我 们 也 按 照 食 物 和 饮 料 的 主 类 别 将 地 点 分 类 ， 其 中 一 些 包 括 墨 西 哥 食 物 、 三 明 治 、 酒 吧 和 烤 肉 。 让 我 们 做 一 个 简 单 的 推 荐 。 我 们 想 要 在 机 场 的 某 一 确 定 地 点 找 到 一 种 特 定 食 物 ， 大 括 号 中 的 内 容 表 示 是 的 用 户 输 入 ， 它 将 进 入 我 们 的 假 想 应 用 程 序 中 。 这 个 英 文 句 子 表 示 成   C y p h e r   查 询 ：
这 将 提 取 出 该 类 别 中 用 户 所 请 求 的 所 有 地 点 、 航 站 楼 和 出 入 口 。 然 后 我 们 可 以 计 算 出 用 户 所 在 位 置 到 出 入 口 的 准 确 距 离 ， 并 以 升 序 返 回 结 果 。 再 次 说 明 ， 这 个 非 常 简 单 的   C y p h e r   推 荐 仅 仅 依 据 的 是 用 户 在 机 场 中 的 位 置 。 S o c i a l R e c o m m e n d a t i o n s 社 交 推 荐 社 交 推 荐 让 我 们 来 看 一 下 社 交 推 荐 。 在 我 们 的 假 想 应 用 程 序 中 ， 用 户 可 以 登 录 并 且 可 以 用 和   F a c e b o o k   类 似 的 方 式 标 记 自 己 “ 喜 好 ” 的 地 点 ， 也 可 以 在 某 地 签 到 。 考 虑 位 于 我 们 所 研 究 的 第 一 个 模 型 之 上 的 数 据 模 型 ， 现 在 让 我 们 在 下 面 的 分 类 中 找 到 用 户 的 朋 友 喜 好 的 航 站 楼 里 面 离 出 入 口 最 近 的 餐 饮 场 所 ：
  子 句 和 我 们 第 一 次   C y p h e r   查 询 的     子 句 相 似 ， 只 是 现 在 我 们 依 据 喜 好 和 朋 友 来 匹 配 ： 前 三 行 是 完 全 一 样 的 ， 但 是 现 在 要 考 虑 的 是 那 些 登 录 的 用 户 ， 我 们 想 要 通 过     这 一 关 系 来 找 到 他 们 的 朋 友 。 仅 需 通 过 在   C y p h e r   中 增 加 一 些 行 内 容 ， 我 们 现 在 已 经 把 社 交 层 面 考 虑 到 了 我 们 的 推 荐 引 擎 中 。 再 次 说 明 ， 我 们 仅 仅 显 示 了 用 户 明 确 请 求 的 类 别 ， 并 且 这 些 类 别 中 的 地 点 与 用 户 进 入 的 地 方 是 相 同 的 航 站 楼 。 当 然 ， 我 们 希 望 按 照 登 录 并 做 出 请 求 的 用 户 来 滤 过 这 些 目 录 ， 然 后 返 回 地 点 的 名 字 、 位 置 以 及 所 在 目 录 。 我 们 也 要 显 示 出 有 多 少 朋 友 已 经 “ 喜 好 ” 那 个 地 点 以 及 那 个 地 点 到 出 入 口 的 确 切 距 离 ， 然 后 在     子 句 中 同 时 返 回 所 有 这 些 内 容 。 S i m i l a r i t y R e c o m m e n d a t i o n s 相 似 性 推 荐 相 似 性 推 荐 现 在 ， 让 我 们 看 一 看 相 似 性 推 荐 引 擎 ： M A T C H M A T C H : F R I E N D S _ W I T H R E T U R N
和 前 面 的 数 据 模 型 相 似 ， 用 户 可 以 标 记 “ 喜 好 ” 的 地 点 ， 但 是 这 一 次 他 们 可 以 用   1   到   1 0   的 整 数 给 地 点 评 分 。 这 是 通 过 前 期 在 N e o 4 j   中 增 加 一 些 属 性 到 关 系 中 建 模 实 现 的 。 这 将 允 许 我 们 找 到 其 他 相 似 的 用 户 ， 比 如 以 上 面 的   G r e t a   和   A l i c e   为 例 ， 我 们 已 经 查 询 了 他 们 共 同 喜 好 的 地 点 ， 并 且 对 于 每 一 个 地 点 ， 我 们 可 以 看 到 他 们 所 设 定 的 权 重 。 大 概 地 ， 我 们 可 以 通 过 他 们 的 评 分 来 确 定 他 们 之 间 的 相 似 性 大 小 。 现 在 我 们 有 两 个 向 量 ：
现 在 让 我 们 按 照 E u c l i d e a n   d i s t a n c e 欧 几 里 得 距 离 的 定 义 来 计 算 这 两 个 向 量 之 间 的 距 离 ： 我 们 把 所 有 的 数 字 带 入 公 式 中 计 算 ， 然 后 得 到 下 面 的 相 似 度 ， 这 就 是 两 个 用 户 之 间 的 “ 距 离 ” ： 你 可 以 很 容 易 地 在   C y p h e r   中 计 算 两 个 特 定 用 户 的 “ 距 离 ” ， 特 别 是 如 果 他 们 仅 仅 同 时 “ 喜 好 ” 一 个 很 小 的 地 点 子 集 。 再 次 说 明 ， 这 儿 我 们 依 据 两 个 用 户   A l i c e   和   G r e t a   来 进 行 匹 配 ， 并 尝 试 去 找 到 他 们 同 时 “ 喜 好 ” 的 地 点 ： 他 们 都 有 对 最 后 找 到 的 地 点 的   : L I K E S
  关 系 ， 然 后 我 们 可 以 在   C y p h e r   中 很 容 易 的 计 算 出 他 们 之 间 的 欧 几 里 得 距 离 ， 计 算 方 法 为 他 们 对 各 个 地 点 评 分 差 的 平 方 求 和 再 开 平 方 根 。 在 两 个 特 定 用 户 的 例 子 中 上 面 这 个 方 法 或 许 能 够 工 作 。 但 是 ， 在 实 时 情 况 下 ， 当 你 想 要 通 过 和 实 时 数 据 库 中 的 其 他 用 户 比 较 ， 从 而 由 一 架 飞 机 上 的 一 个 用 户 推 断 相 似 用 户 时 ， 这 个 方 法 就 不 一 定 能 够 工 作 。 不 用 说 ， 至 少 它 不 能 够 很 好 的 工 作 。 为 了 找 到 解 决 这 个 问 题 的 好 方 法 ， 我 们 可 以 预 先 计 算 好 距 离 并 存 入 实 际 关 系 中 ： 当 遇 到 一 个 很 大 的 数 据 集 时 ， 我 们 需 要 成 批 处 理 这 件 事 ， 在 这 个 很 小 的 示 例 数 据 集 中 ， 我 们 可 以 按 照 所 有 用 户 的 C a r t e s i a n   p r o d u c t 迪 卡 尔 乘 积 和 他 们 共 同 “ 喜 好 ” 的 地 点 来 进 行 匹 配 。 当 我 们 使 用   作 为   C y p h e r   询 问 的 一 部 分 时 ， 它 只 是 来 确 定 我 们 在 左 边 和 右 边 没 有 找 到 相 同 的 对 的 一 个 技 巧 。 通 过 用 户 之 间 的 欧 几 里 得 距 离 ， 我 们 创 建 了 他 们 之 间 的 一 种 关 系 ， 叫 做   ， 并 且 设 置 了 一 个 叫 做     的 欧 几 里 得 属 性 。 理 论 上 ， 我 们 可 以 也 通 过 用 户 间 的 一 些 关 系 来 存 储 其 他 相 似 度 从 而 获 取 不 同 的 相 似 度 ， 因 为 在 确 定 的 环 境 下 某 些 相 似 度 可 能 比 其 他 相 似 度 更 有 用 。 在   N e o 4 j   中 ， 的 确 是 对 关 系 属 性 建 模 的 能 力 使 得 完 成 像 这 样 的 事 情 无 比 简 单 。 然 而 ， 实 际 上 ， 你 不 会 希 望 存 储 每 一 个 可 能 存 在 的 单 一 关 系 ， 因 为 你 仅 仅 希 望 返 回 离 他 们 “ 最 近 ” 的 一 些 人 。 因 此 你 可 以 根 据 一 些 临 界 值 来 存 入 前 几 个 ， 从 而 你 不 需 要 构 建 完 整 的 连 通 图 。 这 允 许 你 完 成 一 些 像 下 面 这 样 的 实 时 的 数 据 库 查 询 ， 因 为 我 们 已 经 预 先 计 算 好 了 “ 距 离 ” 并 存 储 在 了 关 系 中 ， 在   C y p h e r   中 ， 我 们 能 够 很 快 的 攫 取 出 数 据 。 : L I K E S W H E R E   i d ( u 1 )   <   i d ( u 2 ) : D I S T A N C E e u c l i d e a n
在 这 个 查 询 中 ， 我 们 依 据 地 点 和 类 别 来 进 行 匹 配 ： 再 次 说 明 ， 前 三 行 是 相 同 的 ， 除 了 登 录 用 户 以 外 ， 我 们 找 出 了 和 他 们 有     关 系 的 用 户 。 这 是 我 们 前 面 查 看 的 关 系 产 生 的 作 用   -   实 际 上 ， 你 只 需 要 存 储 处 于 前 几 位 的 相 似 用 户     关 系 ， 因 此 你 不 需 要 在     子 句 中 攫 取 大 量 用 户 。 相 反 ， 我 们 只 攫 取 和 那 些 用 户 “ 喜 好 ” 的 地 方 有     关 系 的 用 户 。 这 允 许 我 们 用 少 许 几 行 内 容 表 达 较 为 复 杂 的 模 型 。 我 们 也 可 以 攫 取     关 系 并 把 它 放 入 到 变 量 中 ， 因 为 后 面 我 们 将 使 用 这 些 权 重 来 评 分 。 在 这 儿 重 要 的 是 ， 我 们 可 以 依 据 “ 距 离 ” 大 小 将 用 户 按 照 升 序 进 行 排 序 ， 因 为 这 是 一 个 距 离 测 度 。 同 时 ， 我 们 想 要 找 到 用 户 间 的 最 小 距 离 因 为 距 离 越 小 表 明 他 们 的 相 似 度 最 大 。 通 过 其 他 按 照 欧 几 里 得 距 离 大 小 排 序 好 的 用 户 ， 我 们 得 到 用 户 评 分 最 高 的 三 个 地 点 并 按 照 用 户 的 平 均 评 分 高 低 来 推 荐 这 些 地 点 。 换 句 话 说 ， 我 们 先 找 出 一 个 活 跃 用 户 ， 然 后 依 据 其 他 用 户 “ 喜 好 ” 的 地 点 找 出 和 他 最 相 似 的 其 他 用 户 ， 接 下 来 按 照 这 些 相 似 用 户 的 平 均 评 分 把 那 些 地 点 排 序 在 结 果 的 集 合 中 。 本 质 上 ， 我 们 通 过 把 所 有 评 分 相 加 然 后 除 以 收 集 的 用 户 数 目 来 计 算 出 平 均 分 ， 然 后 按 照 平 均 评 分 的 升 序 进 行 排 序 。 其 次 ， 我 们 按 照 出 入 口 距 离 排 序 。 假 想 地 ， 我 猜 测 应 该 会 有 交 接 点 ， 因 此 你 可 以 按 照 出 入 口 距 离 排 序 然 后 再 返 回 名 字 、 类 别 、 出 入 口 和 航 站 楼 。 C l u s t e r R e c o m m e n d a t i o n s 集 群 推 荐 集 群 推 荐 我 们 最 后 要 讲 的 一 个 例 子 是 集 群 推 荐 ， 在   C y p h e r   中 ， 这 可 以 被 想 像 成 一 个 作 为 临 时 解 决 方 案 的 离 线 计 算 工 作 流 。 这 可 能 完 全 基 于 在 欧 洲   G r a p h C o n n e c t   上 宣 布 的 新 方 法 [ 5 ] ， 但 是 有 时 你 必 须 进 行 一 些   C y p h e r   2 . 3   版 本 所 没 有 的 算 法 逼 近 。 : D I S T A N C E : D I S T A N C E M A T C H : D I S T A N C E : L I K E S
在 这 儿 你 可 以 使 用 一 些 统 计 软 件 ， 把 数 据 从   N e o 4 j   取 出 然 后 放 入 像   A p a c h e   S p a r k 、 R   或 者   P y t h o n   这 样 的 软 件 中 。 下 面 是 一 段 把 数 据 从   N e o 4 j   中 取 出 的   R   代 码 ， 运 行 该 程 序 ， 如 果 正 确 ， 写 下 程 序 返 回 结 果 的 给   N e o 4 j ， 可 以 是 一 个 属 性 、 节 点 、 关 系 或 者 一 个 新 的 标 签 。 通 过 持 续 把 程 序 运 行 结 果 放 入 到 图 表 中 ， 你 可 以 在 一 个 和 我 们 刚 刚 看 到 的 查 询 相 似 的 实 时 查 询 中 使 用 它 ： 下 面 是 用   R   来 完 成 这 件 事 的 一 些 示 例 代 码 ， 但 是 你 可 以 使 用 任 何 你 最 喜 欢 的 软 件 来 做 这 件 事 ， 比 如   P y t h o n   或   S p a r k 。 你 需 要 做 的 只 是 登 录 并 连 接 到 图 表 。 在 下 面 的 例 子 中 ， 我 基 于 用 户 的 相 似 性 把 他 们 聚 合 起 来 。 每 个 用 户 作 为 一 个 观 察 点 ， 然 后 得 到 他 们 对 每 一 个 目 录 评 分 的 平 均 值 。 假 定 用 户 对 酒 吧 类 评 分 的 方 式 和 一 般 的 评 分 方 式 相 似 。 然 后 我 攫 取 出 喜 欢 相 同 类 别 中 的 地 点 的 用 户 名 、 类 别 名 、 “ 喜 好 ” 关 系 的 平 均 权 重 ， 比 如 平 均 权 重 这 些 信 息 ， 从 而 我 可 以 得 到 下 面 这 样 一 个 表 格 ：
因 为 我 们 把 每 一 个 用 户 都 作 为 一 个 观 察 点 ， 所 以 我 们 必 须 巧 妙 的 处 理 每 一 个 类 别 中 的 数 据 ， 这 些 数 据 的 每 一 个 特 性 都 是 用 户 对 该 类 中 餐 厅 评 分 的 平 均 权 重 。 接 下 来 ， 我 们 将 使 用 这 些 数 据 来 确 定 用 户 的 相 似 性 ， 然 后 我 将 使 用 c l u s t e r i n g 聚 类 算 法 来 确 定 在 不 同 集 群 中 的 用 户 。 在   R   中 这 很 直 接 ： 在 这 个 示 例 中 我 们 使 用 k - m e a n s K - 均 值 聚 类 算 法 ， 这 将 使 你 很 容 易 攫 取 集 群 分 配 。 总 之 ， 我 通 过 运 行 聚 类 算 法 然 后 分 别 得 到 每 一 个 用 户 的 集 群 分 配 。 B o b   和   D a v i d   在 一 个 相 同 的 集 群 中   -   他 们 在 集 群 二 中   -   现 在 我 可 以 实 时 查 看 哪 些 用 户 被 放 在 了 相 同 的 集 群 中 。 接 下 来 我 把 集 群 分 配 写 入   C S V   文 件 中 ， 然 后 存 入 图 数 据 库 ： 我 们 只 有 用 户 和 集 群 分 配 ， 因 此   C S V   文 件 只 有 两 列 。     是   C y p h e r   中 的 内 建 语 法 ， 它 允 许 你 从 一 些 其 他 文 件 路 径 或 者   U R L   调 用   C S V   ， 并 给 它 一 个 别 名 。 接 下 来 ， 我 们 将 匹 配 图 数 据 库 中 存 在 的 用 户 ， 从   C S V   文 件 中 攫 取 用 户 列 然 后 合 并 到 集 群 中 。 我 们 在 图 表 中 创 建 了 一 个 新 的 标 签 节 点 ： ，   这 是 由   K - 平 均 聚 类 算 法 给 出 的 。 接 下 来 我 们 创 建 用 户 和 集 群 间 的 关 系 ， 通 过 创 建 这 个 关 系 ， 当 我 们 想 要 找 到 在 相 同 集 群 中 的 实 际 推 荐 用 户 时 ， 就 会 很 容 易 进 行 查 询 。 我 们 现 在 有 了 一 个 新 的 集 群 标 签 ， 在 相 同 集 群 中 的 用 户 和 那 个 集 群 存 在 关 系 。 新 的 数 据 模 型 看 起 来 像 下 面 这 样 ， 它 比 我 们 L O A D   C S V C l u s t e r   I D
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理