搜索

[7431] 2018-05-13_Kafka+Zookeeper+Storm的docker化

文档创建者：s7ckTeam
浏览次数：37
最后更新：2025-01-17
2018-05-13_Kafka+Zookeeper+Storm的docker化 K a f k a + Z o o k e e p e r + S t o r m 的 d o c k e r 化 c c . z h a n g   F 1 1 T e a m   2 0 1 8 - 0 5 - 1 3 p l e a s e   r e a d   i n   m a r k d o w n   f o r m a t ; #   K a f k a + Z o o k e e p e r + S t o r m 的 d o c k e r 化 >   因 为 项 目 需 要 ， 需 要 把 k a f k a 、 z o o k e e p e r 、 s t o r m 等 服 务 组 件 d o c k e r 化 ， 在 借 鉴 相 关 的 开 源 d o c k e r f i l e 文 件 后 ， 终 于 完 成 ， 以 此 记 录 。 1 .   首 先 是 建 立 基 础 的 L i n u x 镜 像 ， 针 对 本 项 目 做 了 定 制 。 ` ` ` F R O M   c e n t o s M A I N T A I N E R   c c . z h a n g 1 0 2 4 @ g m a i l . c o m C O P Y   j q   / u s r / b i n / R U N   y u m     u p d a t e   - y   & &   y u m   i n s t a l l   w g e t   - y   & &   y u m   i n s t a l l   o p e n s s h   - y   & &   y u m   i n s t a l l   o p e n s s h - s e r v e r   - y   & &   y u m   i n s t a l l   v i m   - y   & &   y u m   i n s t a l l   z i p   u n z i p   - y   & &   y u m   i n s t a l l   o p e n s s h - c l i e n t s   - y   & &   y u m   g r o u p i n s t a l l   " D e v e l o p m e n t   T o o l s "   - y   & &   y u m   i n s t a l l   p y t h o n - s e t u p t o o l s   - y   & &   e a s y _ i n s t a l l   s u p e r v i s o r   & &   e c h o   ' r o o t : r o o t '   |   c h p a s s w d   & &   w g e t   h t t p s : / / z c c 2 0 1 8 . o s s - c n - b e i j i n g . a   . . .   7 1 - l i n u x - x 6 4 . t a r . g z   & & t a r   - z x v f   j d k - 8 u 1 7 1 - l i n u x - x 6 4 . t a r . g z   - C   / o p t /   & & J A V A _ H O M E = / o p t / j d k 1 . 8 . 0 _ 1 7 1   & &   C L A S S P A T H = $ C L A S S P A T H : $ J A V A _ H O M E / l i b : $ J A V A _ H O M E / j r e / l i b   & &   P A T H = $ J A V A _ H O M E / b i n : $ J A V A _ H O M E / j r e / b i n : $ P A T H : H O M E / b i n   & &   e c h o   " e x p o r t   J A V A _ H O M E = $ J A V A _ H O M E " > > / e t c / p r o f i l e   & &   e c h o   " e x p o r t   C L A S S P A T H = $ C L A S S P A T H " > > / e t c / p r o f i l e   & &   e c h o   " e x p o r t   P A T H = $ P A T H " > > / e t c / p r o f i l e   & &   s s h - k e y g e n   - A   & &   c h m o d   + x   / u s r / b i n / j q   & &   m k d i r   / v a r / r u n / s s h d     & &   m k d i r   / v a r / l o g / s u p e r v i s o r   - p   & &   s e d   - i   ' s / P e r m i t R o o t L o g i n   w i t h o u t - p a s s w o r d / P e r m i t R o o t L o g i n   y e s / '   / e t c / s s h / s s h d _ c o n f i g E N V   J A V A _ H O M E   / o p t / j d k 1 . 8 . 0 _ 1 7 1 E N V   P A T H   $ P A T H : $ J A V A _ H O M E / b i n A D D   s u p e r v i s o r d . c o n f   / e t c / s u p e r v i s o r / s u p e r v i s o r d . c o n f E X P O S E   2 2 ` ` ` ·   其 中 j q 需 要 从 网 上 下 载 放 在 同 一 目 录 下 。 2 .   进 行 k a f k a 的 环 境 安 装 [ 参 考 g i t h u b 项 目 - > h t t p s : / / g i t h u b . c o m / w u r s t m e i s t e r / k a f k a - d o c k e r ] ` ` ` F R O M   c e n t o s A R G   k a f k a _ v e r s i o n = 1 . 0 . 0 A R G   s c a l a _ v e r s i o n = 2 . 1 2 A R G   g l i b c _ v e r s i o n = 2 . 2 7 - r 0 E N V   K A F K A _ V E R S I O N = $ k a f k a _ v e r s i o n           S C A L A _ V E R S I O N = $ s c a l a _ v e r s i o n           K A F K A _ H O M E = / o p t / k a f k a           G L I B C _ V E R S I O N = $ g l i b c _ v e r s i o n E N V   P A T H = $ { P A T H } : $ { K A F K A _ H O M E } / b i n C O P Y   d o w n l o a d - k a f k a . s h   s t a r t - k a f k a . s h   b r o k e r - l i s t . s h   c r e a t e - t o p i c s . s h   / t m p / R U N     c h m o d   a + x   / t m p / * . s h  
& &   m v   / t m p / s t a r t - k a f k a . s h   / t m p / b r o k e r - l i s t . s h   / t m p / c r e a t e - t o p i c s . s h   / u s r / b i n   & &   s y n c   & &   / t m p / d o w n l o a d - k a f k a . s h   & &   t a r   x f z   / t m p / k a f k a _ $ { S C A L A _ V E R S I O N } - $ { K A F K A _ V E R S I O N } . t g z   - C   / o p t   & &   r m   / t m p / k a f k a _ $ { S C A L A _ V E R S I O N } - $ { K A F K A _ V E R S I O N } . t g z   & &   l n   - s   / o p t / k a f k a _ $ { S C A L A _ V E R S I O N } - $ { K A F K A _ V E R S I O N }   / o p t / k a f k a   & &   r m   / t m p / *   - r f V O L U M E   [ " / k a f k a " ] C M D   [ " s t a r t - k a f k a . s h " ] ` ` ` -   相 关 脚 本 请 去 g i t h u b 下 载 【 本 d o c k e r f i l e 也 是 参 考 该 开 源 项 目 - > h t t p s : / / g i t h u b . c o m / w u r s t m e i s t e r / k a f k a - d o c k e r 】 3 .   z o o k e e p e r - > [ 参 考 项 目 - > h t t p s : / / g i t h u b . c o m / w u r s t m e i s t e r / z o o k e e p e r - d o c k e r ] ` ` ` F R O M   c e n t o s E N V   Z O O K E E P E R _ V E R S I O N   3 . 4 . 1 2 R U N   w g e t   - q   h t t p : / / m i r r o r s . t u n a . t s i n g h u a . e d u . c n / a p a c h e / z o o k e e p e r / z o o k e e p e r - $ { Z O O K E E P E R _ V E R S I O N } / z o o k e e p e r - $ { Z O O K E E P E R _ V E R S I O N } . t a r . g z   & &   w g e t   - q   h t t p s : / / w w w . a p a c h e . o r g / d i s t / z o o k e e p e r / K E Y S   & &   w g e t   - q   h t t p s : / / w w w . a p a c h e . o r g / d i s t / z o o k e e p e r / z o o k e e p e r - $ { Z O O K E E P E R _ V E R S I O N } / z o o k e e p e r - $ { Z O O K E E P E R _ V E R S I O N } . t a r . g z . a s c   & &   w g e t   - q   h t t p s : / / w w w . a p a c h e . o r g / d i s t / z o o k e e p e r / z o o k e e p e r - $ { Z O O K E E P E R _ V E R S I O N } / z o o k e e p e r - $ { Z O O K E E P E R _ V E R S I O N } . t a r . g z . m d 5 R U N   m d 5 s u m   - c   z o o k e e p e r - $ { Z O O K E E P E R _ V E R S I O N } . t a r . g z . m d 5   & &   g p g   - - i m p o r t   K E Y S   & &   g p g   - - v e r i f y   z o o k e e p e r - $ { Z O O K E E P E R _ V E R S I O N } . t a r . g z . a s c R U N   t a r   - x z f   z o o k e e p e r - $ { Z O O K E E P E R _ V E R S I O N } . t a r . g z   - C   / o p t R U N   c p   / o p t / z o o k e e p e r - $ { Z O O K E E P E R _ V E R S I O N } / c o n f / z o o _ s a m p l e . c f g   / o p t / z o o k e e p e r - $ { Z O O K E E P E R _ V E R S I O N } / c o n f / z o o . c f g E N V   J A V A _ H O M E   $ J A V A _ H O M E E N V   Z K _ H O M E   / o p t / z o o k e e p e r - $ { Z O O K E E P E R _ V E R S I O N } R U N   s e d     - i   " s | / t m p / z o o k e e p e r | $ Z K _ H O M E / d a t a | g "   $ Z K _ H O M E / c o n f / z o o . c f g ;   m k d i r   $ Z K _ H O M E / d a t a E X P O S E   2 1 8 1   2 8 8 8   3 8 8 8 W O R K D I R   / o p t / z o o k e e p e r - $ { Z O O K E E P E R _ V E R S I O N } V O L U M E   [ " / o p t / z o o k e e p e r - $ { Z O O K E E P E R _ V E R S I O N } / c o n f " ,   " / o p t / z o o k e e p e r - $ { Z O O K E E P E R _ V E R S I O N } / d a t a " ] C M D   / u s r / s b i n / s s h d   & &   s e d   - i   - r   ' s | # ( l o g 4 j . a p p e n d e r . R O L L I N G F I L E . M a x B a c k u p I n d e x . * ) | 1 | g '   $ Z K _ H O M E / c o n f / l o g 4 j . p r o p e r t i e s   & &   s e d   - i   - r   ' s | # a u t o p u r g e | a u t o p u r g e | g '   $ Z K _ H O M E / c o n f / z o o . c f g   & &   / o p t / z o o k e e p e r - $ { Z O O K E E P E R _ V E R S I O N } / b i n / z k S e r v e r . s h   s t a r t - f o r e g r o u n d   ` ` ` 4 .   s t o r m   - > [ 参 考 项 目 - >   h t t p s : / / g i t h u b . c o m / w u r s t m e i s t e r / s t o r m - d o c k e r ] ` ` ` F R O M   c e n t o s R U N   w g e t   - q   - O   -   h t t p s : / / z c c 2 0 1 8 . o s s - c n - b e i j i n g . a   . . .   - s t o r m - 1 . 2 . 1 . t a r . g z   |   t a r   - x z f   -   - C   / o p t E N V   S T O R M _ H O M E   / o p t / a p a c h e - s t o r m - 1 . 2 . 1 R U N   g r o u p a d d   s t o r m ;   u s e r a d d   - - g i d   s t o r m   - - h o m e - d i r   / h o m e / s t o r m   - - c r e a t e - h o m e   - - s h e l l   / b i n / b a s h   s t o r m ;   c h o w n   - R   s t o r m : s t o r m   $ S T O R M _ H O M E ; m k d i r   / v a r / l o g / s t o r m   ;   c h o w n   - R   s t o r m : s t o r m   / v a r / l o g / s t o r m R U N   l n   - s   $ S T O R M _ H O M E / b i n / s t o r m   / u s r / b i n / s t o r m A D D   s t o r m . y a m l   $ S T O R M _ H O M E / c o n f / s t o r m . y a m l A D D   c l u s t e r . x m l   $ S T O R M _ H O M E / l o g b a c k / c l u s t e r . x m l A D D   c o n f i g - s u p e r v i s o r d . s h   / u s r / b i n / c o n f i g - s u p e r v i s o r d . s h A D D   s t a r t - s u p e r v i s o r . s h   / u s r / b i n / s t a r t - s u p e r v i s o r . s h   R U N   c h m o d   a + x   / u s r / b i n / c o n f i g - s u p e r v i s o r d . s h   & &   c h m o d   a + x   / u s r / b i n / s t a r t - s u p e r v i s o r . s h   R U N   m k d i r   / e t c / s u p e r v i s o r / c o n f . d /   - p ` ` ` 5 .   D o c k e r - c o m p o s e . y m l 【 仅 供 参 考 】 ` ` ` v e r s i o n :   ' 3 ' s e r v i c e s :
        # z o o k e e p e r         z o o k e e p e r :                 i m a g e :   z o o k e e p e r                 p o r t s :                     -   " 2 1 8 1 : 2 1 8 1 "                     -   " 1 0 1 2 2 : 2 2 "                 n e t w o r k s :                 -   a n a l y s e r _ c l u s t e r                 # k a f k a         k a f k a :                   i m a g e :   k a f k a                 p o r t s :                         -   " 9 0 9 2 : 9 0 9 2 "                 e n v i r o n m e n t :                         K A F K A _ A D V E R T I S E D _ H O S T _ N A M E :   " k a f k a "                         K A F K A _ A D V E R T I S E D _ P O R T :   " 9 0 9 2 "                         K A F K A _ Z O O K E E P E R _ C O N N E C T :   " z k : 2 1 8 1 "                 v o l u m e s :                         -   / v a r / r u n / d o c k e r . s o c k : / v a r / r u n / d o c k e r . s o c k                 l i n k s :                     -   z o o k e e p e r : z k                 d e p e n d s _ o n :                         -   z o o k e e p e r                 n e t w o r k s :                 -   a n a l y s e r _ c l u s t e r         # s t o r m   - > n i m b u s         n i m b u s :                 i m a g e :   s t o r m _ n i m b u s                 p o r t s :                         -   " 1 3 7 7 3 : 3 7 7 3 "                         -   " 1 3 7 7 2 : 3 7 7 2 "                         -   " 1 6 6 2 7 : 6 6 2 7 "                         -   " 1 0 3 2 2 : 2 2 "                 l i n k s :                           -   z o o k e e p e r : z k                 d e p e n d s _ o n :                         -   z o o k e e p e r                 n e t w o r k s :                 -   a n a l y s e r _ c l u s t e r         # s t o r m   - > s u p e r v i s o r         s u p e r v i s o r :                 i m a g e :   s t o r m _ s u p e r v i s o r                 p o r t s :                         -   " 8 0 0 0 : 8 0 0 0 "                         -   " 1 0 4 2 2 : 2 2 "                 l i n k s :                         -   n i m b u s : n i m b u s                         -   z o o k e e p e r : z k                 d e p e n d s _ o n :                         -   z o o k e e p e r                 n e t w o r k s :                 -   a n a l y s e r _ c l u s t e r         # s t o r m   - >   u i         u i :                 i m a g e :   s t o r m _ u i                 p o r t s :                         -   " 1 8 0 8 0 : 8 0 8 0 "                         -   " 1 0 5 2 2 : 2 2 "                 l i n k s :                     -   n i m b u s : n i m b u s                     -   z o o k e e p e r : z k                   d e p e n d s _ o n :
                    -   z o o k e e p e r                 n e t w o r k s :                 -   a n a l y s e r _ c l u s t e r n e t w o r k s :     a n a l y s e r _ c l u s t e r : ` ` ` >   主 要 是 针 对 开 源 项 目 做 了 针 对 自 己 项 目 需 求 的 定 制 ， 以 及 将 一 些 软 件 源 替 换 为 国 内 源 。 还 有 针 对 d o c k e r 过 程 中 一 些 无 法 运 行 的 地 方 进 行 了 修 改 ， 其 实 本 项 目 还 有 e l k 集 群 ， r e d i s ， m y s q l 等 与 上 述 k a f k a 、 s t o r m 的 链 接 ， 但 是 因 为 时 间 有 限 、 所 以 没 有 发 出 来 ， 等 后 续 有 时 间 再 补 上 吧 。 >   阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理