搜索

[24852] 2016-04-07_在ApacheHive中轻松生存的12个技巧

文档创建者：s7ckTeam
浏览次数：23
最后更新：2025-01-18
2016-04-07_在ApacheHive中轻松生存的12个技巧 在   A p a c h e   H i v e   中 轻 松 生 存 的 1 2 个 技 巧 原 创   译 者 ： w x y   L i n u x 中 国   2 0 1 6 - 0 4 - 0 7 L e a r n   t o   l i v e   w i t h   A p a c h e   H i v e   i n   1 2   e a s y   s t e p s H i v e   可 以 让 你 在   H a d o o p   上 使 用   S Q L ， 但 是 在 分 布 式 系 统 上 优 化   S Q L   则 有 所 不 同 。 这 里 是 让 你 可 以 轻 松 驾 驭   H i v e   的 1 2 个 技 巧 。 H i v e [ 1 ]   并 不 是 关 系 型 数 据 库 （ R D B M S ） ， 但 是 它 大 多 数 时 候 都 表 现 得 像 是 一 个 关 系 型 数 据 库 一 样 ， 它 有 表 、 可 以 运 行   S Q L 、 也 支 持   J D B C 和   O D B C 。 这 种 表 现 既 有 好 的 一 面 ， 也 有 不 好 的 一 面 ： H i v e   并 不 像 关 系 型 数 据 库 那 样 执 行   S Q L   查 询 。 我 在   H i v e   上 花 费 了 大 量 时 间 ， 光 是 我 自 己 在 工 作 中 就 为 了 优 化 它 花 费 了 超 过 8 0 个 小 时 。 不 说 你 也 知 道 ， 我 就 像 呆 在 蜂 巢 （ H i v e ） 旁 边 一 样 脑 袋 嗡 嗡 作 响 。 所 以 ， 为 了 让 你 免 受 这 种 痛 苦 ， 我 决 定 将 它 们 写 出 来 ， 以 便 让 你 在 你 的 下 一 个   H i v e   项 目 中 逃 离 这 种 折 磨 。 1 、 不 要 使 用 、 不 要 使 用   M a p R e d u c e 不 管 你 是 不 是 觉 得   T e z 、 S p a r k   或   I m p a l a   能 行 ， 但 是 不 要 指 望   M a p R e d u c e 。 它 本 身 就 很 慢 ， 比   H i v e   还 慢 。 如 果 你 用 的 是   H o r t o n w o r k   的 版 本 ， 你 可 以 在 脚 本 前 面 写 上       ； 用   C l o u d e r a   的 话 ， 使 用   I m p a l a 。 如 果   I m p a l a   不 适 用 的 话 ， 我 希 望 到 时 候 [ 2 ] 可 以 使 用       。 2 、 不 要 在 、 不 要 在   S Q L   中 做 字 符 串 匹 配 中 做 字 符 串 匹 配 绝 不 要 ， 特 别 是 在   H i v e   中 ！ 如 果 你 坚 持 要 在   W H E R E   语 句 中 使 用   L I K E   匹 配 ， 就 会 产 生 一 个 跨 产 品 的 警 告 。 本 来 你 的 查 询 可 能 只 用 几 秒 钟 ， 但 是 使 用 字 符 串 匹 配 的 话 就 会 变 成 几 分 钟 。 最 好 的 办 法 是 使 用 那 些 可 以 在   H a d o o p   中 进 行 搜 索 的 工 具 ， 可 以 试 试   E l a s t i c s e a r c h   的   H i v e   集 成 版 本 [ 3 ]   或   L u c i d w o r k   的   S o l r [ 4 ] ， 以 及   C l o u d e r a   S e a r c h [ 5 ] 。 关 系 型 数 据 库 这 方 面 表 现 并 不 好 ， 但 是   H i v e   则 更 糟 糕 。 s e t   h i v e . e x e c u t i o n . e n g i n e = t e z h i v e . e x e c u t i o n . e n g i n e = s p a r k
3 、 不 要 用 表 连 接 子 查 询 、 不 要 用 表 连 接 子 查 询 你 最 好 创 建 一 个 临 时 表 ， 然 后 对 这 个 临 时 表 进 行 连 接 ， 而 不 是 让   H i v e   自 己 智 能 处 理 子 查 询 。 即 不 要 这 样 做 ： 而 是 应 该 这 样 ： 一 般 来 说 ， 这 会 比   H i v e   自 己 处 理 子 查 询 要 快 许 多 。 4 、 使 用 、 使 用     P a r q u e t   或 或   O R C ， 但 是 不 要 转 换 使 用 ， 但 是 不 要 转 换 使 用 也 就 是 说 ， 使 用   P a r q u e t   或   O R C   而 不 要 用   T E X T F I L E 。 然 而 ， 如 果 你 要 把 文 本 数 据 中 导 入 到 更 具 结 构 性 的 数 据 中 ， 应 该 做 一 些 转 换 再 导 入 到 目 标 表 中 。 你 不 应 该 用     将 文 本 文 件 加 载 到   O R C   中 ， 而 是 应 该 将 其 加 载 到 一 个 文 本 中 。 如 果 你 要 创 建 另 外 一 个 表 ， 并 最 终 大 多 数 分 析 都 是 对 它 进 行 的 ， 那 么 你 就 该 对 该 表 进 行   O R C   化 ， 因 为 转 换 到   O R C   或   P a r q u e t   要 花 费 很 多 时 间 ， 并 不 值 得 将 其 放 到 你 的   E T L   处 理 中 。 如 果 你 有 一 个 简 单 的 普 通 文 本 要 导 入 ， 也 没 做 过 任 何 优 化 ， 你 应 该 将 其 加 载 到 一 个 临 时 表 并 通 过     放 到   O R C   或   P a r q u e t   中 。 不 过 ， 这 有 点 慢 。 5 、 开 关 矢 量 化 试 试 、 开 关 矢 量 化 试 试 在 你 的 脚 本 前 面 加 上     和   ， 然 后 试 着 打 开 或 关 闭 它 们 看 看 。 因 为 最 近 版 本 的   H i v e   的 矢 量 化 有 点 问 题 。 1 .   s e l e c t   a . *   f r o m   s o m e t h i n g   a   i n n e r   j o i n   2 .       ( s e l e c t   . . .   f r o m   s o m e t h i n g e l s e   u n i o n   b   s e l e c t   . . .   f r o m   a n o t h e r t h i n g   c )   d   3 .       o n   a . k e y 1   =   d . k e y 1   a n d   a . k e y 2   =   b . k e y 2   w h e r e   a . c o n d i t i o n = 1 1 .   c r e a t e   v a r _ t e m p   a s   s e l e c t   . . .   f r o m   s o m e t h i n g e l s e   b   2 .       u n i o n   s e l e c t   . . .   f r o m   a n o t h e r t h i n g   c   3 .   a n d   t h e n   4 .   s e l e c t   a . *   f r o m   s o m e t h i n g   a   i n n e r   j o i n   f r o m   v a r _ t e m p   b   5 .       w h e r e   a . k e y 1 = b . k e y 1   a n d   a . k e y 2 = b . k e y 2   w h e r e   a . c o n d i t i o n = 1 L O A D   D A T A s e l e c t   c r e a t e s e t   h i v e . v e c t o r i z e d . e x e c u t i o n . e n a b l e d   =   t r u e s e t   h i v e . v e c t o r i z e d . e x e c u t i o n . r e d u c e . e n a b l e d   =   t r u e
6 、 不 要 在 表 连 接 中 使 用 、 不 要 在 表 连 接 中 使 用   s t r u c t s 我 必 须 承 认 我 大 脑 里 面 的   S Q L   格 式 还 是   S Q L - 9 2   时 代 的 ， 所 以 我 无 论 如 何 都 不 会 想 到 去 用     s t r u c t s [ 6 ] 。 但 是 如 果 你 做 一 些 超 级 复 杂 的 操 作 ， 比 如 在 联 合 主 键 上 使 用     语 句 ， 那 么   s t r u c t s   就 很 方 便 。 不 幸 的 是 ， H i v e   对 它 们 很 不 适 应 ， 特 别 是 在     语 句 上 。 当 然 ， 大 多 数 情 况 下 ， 在 较 小 的 数 据 集 和   y i e l d s   下 是 没 错 误 的 。 在   T e z   里 面 ， 你 会 得 到 一 个 有 趣 的 矢 量 错 误 。 这 个 限 制 并 未 见 于 我 所 知 的 任 何 文 档 ， 也 许 这 是 一 个 探 索 你 的 执 行 引 擎 内 部 的 好 办 法 。 7 、 检 查 你 的 容 器 大 小 、 检 查 你 的 容 器 大 小 你 也 许 需 要 为   I m p a l a [ 7 ]   或   T e z [ 8 ]   增 加 你 的 容 器 大 小 。 如 果 有 你 的 节 点 大 小 比 较 大 ， “ 推 荐 的 ” 容 器 大 小 可 能 就 不 适 用 于 你 的 系 统 。 你 也 许 需 要 确 保 你 的   Y A R N   队 列 和 常 规 的   Y A R N   内 存 大 小 合 适 。 你 也 许 应 该 注 意 默 认 的 队 列 并 不 适 合 [ 9 ] 所 有 的 常 规 使 用 。 8 、 启 用 统 计 、 启 用 统 计 H i v e   在 表 连 接 时 会 做 一 些 蠢 事 [ 1 0 ] ， 除 非 启 用 了 统 计 [ 1 1 ] 。 你 也 可 以 在   I m p a l a   中 使 用 查 询 提 示 [ 1 2 ] 。 9 、 考 虑 、 考 虑   M a p J o i n   优 化 优 化 [ 1 3 ] 如 果 你 分 析 你 的 查 询 ， 你 可 能 发 现 最 新 的   H i v e   已 经 可 以 足 够 智 能 地 进 行 自 动 优 化 了 。 但 是 你 也 许 需 要 再 调 整 一 下 。 1 0 、 如 果 可 以 ， 、 如 果 可 以 ， 将 大 表 放 到 最 后 将 大 表 放 到 最 后 [ 1 4 ] 如 标 题 。 1 1 、 分 区 总 会 帮 到 你 ， 不 管 多 少 、 分 区 总 会 帮 到 你 ， 不 管 多 少 如 果 你 有 一 个 出 现 在 许 多 地 方 的 东 西 ， 比 如 语 句 中 的 日 期 （ 但 不 是 日 期 范 围 ） 或 重 复 的 地 点 ， 你 也 许 应 该 做 分 区 。 分 区 的 基 本 意 思 是 “ 拆 分 到 它 自 己 的 目 录 里 面 ” ， 而 不 是 到 一 个 大 的 文 件 中 去 查 找 。 当 你 在 你 的   j o i n / w h e r e   语 句 中 仅 检 索   这 样 一 个 小 数 据 集 时 ， H i v e   就 可 以 在 一 个 文 件 中 查 找 。 此 外 ， 和 列 值 不 同 ， 你 可 以 在 你 的       语 句 中 加 上 分 区 。 另 外 ， 要 记 住 ， H D F S   并 不 喜 欢 小 文 件 [ 1 5 ] 。 1 2 、 使 用 哈 希 进 行 列 比 较 、 使 用 哈 希 进 行 列 比 较 如 果 你 要 在 每 个 查 询 中 比 较 同 样 的 1 0 个 字 段 ， 可 以 考 虑 使 用     来 比 较 它 们 的 校 验 值 。 在 一 个 输 出 表 中 展 示 它 们 也 许 很 有 用 。 注 意 ， 在   H i v e   0 . 1 2   中 ， 哈 希 功 能 比 较 差 ， 0 . 1 3 中 的 哈 希 更 好 一 些 。 以 上 就 是 我 的 1 2 点 经 验 ， 我 希 望 这 些 能 够 帮 到 你 ， 让 你 从   H i v e   的 嗡 嗡 声 中 逃 离 出 来 。   [ 1 ] :   h t t p : / / w w w . i n f o w o r l d . c o m / a r t i c l e / 2 6 0 8 2 7 1 / h a d o o p / h a d o o p - r e v i e w - a p a c h e - h i v e - b r i n g s - r e a l - t i m e - q u e r i e s - t o - h a d o o p . h t m l O N O N l o c a t i o n = ’ N C ’ L O A D   D A T A h a s h ( )
[ 2 ] :   h t t p : / / w w w . c l o u d e r a . c o m / d o c u m e n t a t i o n / e n t e r p r i s e / l a t e s t / t o p i c s / a d m i n _ h o s _ c o n f i g . h t m l [ 3 ] :   h t t p s : / / w w w . e l a s t i c . c o / g u i d e / e n / e l a s t i c s e a r c h / h a d o o p / c u r r e n t / h i v e . h t m l [ 4 ] :   h t t p s : / / g i t h u b . c o m / l u c i d w o r k s / h i v e - s o l r / b l o b / m a s t e r / R E A D M E . a d o c [ 5 ] :   h t t p s : / / c l o u d e r a . c o m / p r o d u c t s / a p a c h e - h a d o o p / a p a c h e - s o l r . h t m l [ 6 ] :   h t t p s : / / c w i k i . a p a c h e . o r g / c o n f l u e n c e / d i s p l a y / H i v e / L a n g u a g e M a n u a l + T y p e s [ 7 ] :   h t t p : / / w w w . c l o u d e r a . c o m / d o c u m e n t a t i o n / e n t e r p r i s e / 5 - 3 - x / t o p i c s / c d h _ i g _ y a r n _ t u n i n g . h t m l [ 8 ] :   h t t p s : / / d o c s . h o r t o n w o r k s . c o m / H D P D o c u m e n t s / H D P 2 / H D P - 2 . 3 . 2 / b k _ p e r f o r m a n c e _ t u n i n g / c o n t e n t / h i v e _ p e r f _ b e s t _ p r a c t _ c o n f i g _ t e z . h t m l [ 9 ] :   h t t p s : / / c o m m u n i t y . c l o u d e r a . c o m / t 5 / B a t c h - S Q L - A p a c h e - H i v e / H o w - c a n - I - s u b m i t - H i v e - q u e r i e s - v i a - B e e l i n e - t o - s p e c i f i c - r e s o u r c e / t d - p / 1 9 3 2 4 [ 1 0 ] :   h t t p s : / / d o c s . h o r t o n w o r k s . c o m / H D P D o c u m e n t s / H D P 2 / H D P - 2 . 3 . 2 / b k _ p e r f o r m a n c e _ t u n i n g / c o n t e n t / h i v e _ p e r f _ b e s t _ p r a c t _ u s e _ c o l _ s t a t s _ c o s t _ b a s e _ o p t . h t m l [ 1 1 ] :   h t t p : / / w w w . c l o u d e r a . c o m / d o c u m e n t a t i o n / e n t e r p r i s e / 5 - 3 - x / t o p i c s / i m p a l a _ p e r f _ j o i n s . h t m l ? s c r o l l = p e r f _ j o i n s [ 1 2 ] :   h t t p : / / w w w . c l o u d e r a . c o m / d o c u m e n t a t i o n / e n t e r p r i s e / 5 - 3 - x / t o p i c s / i m p a l a _ h i n t s . h t m l ? s c r o l l = h i n t s [ 1 3 ] :   h t t p s : / / c w i k i . a p a c h e . o r g / c o n f l u e n c e / d i s p l a y / H i v e / L a n g u a g e M a n u a l + J o i n O p t i m i z a t i o n [ 1 4 ] :   h t t p s : / / c w i k i . a p a c h e . o r g / c o n f l u e n c e / d i s p l a y / H i v e / L a n g u a g e M a n u a l + J o i n s [ 1 5 ] :   h t t p : / / b l o g . c l o u d e r a . c o m / b l o g / 2 0 0 9 / 0 2 / t h e - s m a l l - f i l e s - p r o b l e m / 推 荐 文 章 推 荐 文 章 I D 点 击 标 题 或 输 入 文 章   I D   直 达 该 文 章 4 0 5 画 图 解 释   S Q L   j o i n   语 句 6 4 4 开 源 正 在 蚕 食 数 据 库 市 场 9 2 1 我 该 如 何 向 非 技 术 人 解 释 S Q L 注 入 ？ 3 4 8 5 在   U b u n t u   上 安 装 世 界 上 最 先 进 的 开 源 数 据 库   P o s t g r e S Q L   9 . 4   和   p h p P g A d m i n 3 5 9 5 每 一 个 程 序 员 都 是 自 学 成 才 将 文 章 分 享 给 朋 友 是 对 我 们 最 好 的 赞 赏 ！
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理