[28165] 2020-02-15_Python冠状病毒数据(一)爬虫篇

文档创建者:s7ckTeam
浏览次数:0
最后更新:2025-01-19
2020-02-15_Python冠状病毒数据(一)爬虫篇 P y t h o n   F a n t a s y !   O t s   2 0 2 0 - 0 2 - 1 5 1 6 5 1 0 0 1 3 沿 8 8 9   1 .   M y s q l 2 .   3 .   使 i t c h a t 4 .   D j a n g o 5 .   使 T a b l e a u 6 .   8 0 %  
i m p o r t   r e i m p o r t   t i m e i m p o r t   j s o n i m p o r t   d a t e t i m e i m p o r t   r e q u e s t s i m p o r t   p y m y s q l i m p o r t   p a n d a s   a s   p d c l a s s   V i r u s S u p e r v i s e ( o b j e c t ) :         d e f   _ _ i n i t _ _ ( s e l f ) :                 s e l f . u r l   =   ' h t t p s : / / 3 g . d x y . c n / n e w h 5 / v i e w / p n e u m o n i a ? s c e n e = 2 & c l i c k t i m e = 1 5 7 9 5 8 2 2 3 8 & e n t e r i d = 1 5 7 9 5 8 2 2 3 8 & f r o m = t i m e l i n e & i s a p p i n s t a l l e d = 0 '                 s e l f . a l l _ d a t a   =   l i s t ( )                 s e l f . h o s t _ i p   =   " 1 2 7 . 0 . 0 . 1 "     #   m y s q l                 s e l f . h o s t _ u s e r   =   " r o o t "                 s e l f . p a s s w o r d   =   1 2 3 4 5 6     #   m y s q l         d e f   r e q u e s t _ p a g e ( s e l f ) :                 " " "                                 " " "                 r e s   =   r e q u e s t s . g e t ( s e l f . u r l )                 r e s . e n c o d i n g   =   ' u t f   -   8 '                 p a t 0   =   r e . c o m p i l e ( ' w i n d o w . g e t A r e a S t a t   =   ( [ s S ] * ? ) < / s c r i p t > ' )                 d a t a _ l i s t   =   p a t 0 . f i n d a l l ( r e s . t e x t )                 d a t a   =   d a t a _ l i s t [ 0 ] . r e p l a c e ( ' } c a t c h ( e ) { } ' ,   ' ' )                 d a t a   =   e v a l ( d a t a )                 r e t u r n   d a t a         d e f   d e e p _ s p i d e r ( s e l f ,   d a t a ,   p r o v i n c e _ n a m e ) :                 " " "                                 : p a r a m   d a t a :                 : p a r a m   p r o v i n c e _ n a m e :                 : r e t u r n :                 " " "                 f o r   t e m p _ d a t a   i n   d a t a :                         s e l f . a l l _ d a t a . a p p e n d ( [ t e m p _ d a t a [ " c i t y N a m e " ] ,   t e m p _ d a t a [ " c o n f i r m e d C o u n t " ] ,   t e m p _ d a t a [ " c u r e d C o u n t " ] ,                                                                     t e m p _ d a t a [ " d e a d C o u n t " ] ,   p r o v i n c e _ n a m e ,   d a t e t i m e . d a t e . t o d a y ( ) ,                                                                     d a t e t i m e . d a t e t i m e . n o w ( ) . s t r f t i m e ( ' % H : % M : % S ' ) ] )         d e f   f i l t r a t i o n _ d a t a ( s e l f ) :                 " " "                                 " " "                 t e m p _ d a t a   =   s e l f . r e q u e s t _ p a g e ( )                 p r o v i n c e _ s h o r t _ n a m e s ,   c o n f i r m e d _ c o u n t s ,   c u r e d _ c o u n t s ,   d e a d _ c o u n t s   =   l i s t ( ) ,   l i s t ( ) ,   l i s t ( ) ,   l i s t ( )                 f o r   i   i n   t e m p _ d a t a :                         p r o v i n c e _ s h o r t _ n a m e s . a p p e n d ( i [ ' p r o v i n c e S h o r t N a m e ' ] )     #                           c o n f i r m e d _ c o u n t s . a p p e n d ( i [ ' c o n f i r m e d C o u n t ' ] )     #                           c u r e d _ c o u n t s . a p p e n d ( i [ ' c u r e d C o u n t ' ] )     #                           d e a d _ c o u n t s . a p p e n d ( i [ ' d e a d C o u n t ' ] )     #                           s e l f . d e e p _ s p i d e r ( i [ ' c i t i e s ' ] ,   i [ " p r o v i n c e S h o r t N a m e " ] )     #                   d a t a _ a l l   =   p d . D a t a F r a m e ( s e l f . a l l _ d a t a ,   c o l u m n s = [ " " ,   " " ,   " " ,   " " ,   " " ,   " " ,   " " ] )                 #   p r i n t ( d a t a _ a l l [ d a t a _ a l l [ " " ]   = =   " 西 " ] )                 d f   =   p d . D a t a F r a m e ( )                 d f [ ' ' ]   =   p r o v i n c e _ s h o r t _ n a m e s                 d f [ ' ' ]   =   c o n f i r m e d _ c o u n t s                 d f [ ' ' ]   =   c u r e d _ c o u n t s                 d f [ ' ' ]   =   d e a d _ c o u n t s                 p r i n t ( d f )                 #   d a t a _ a l l . t o _ c s v ( " _ 1 . c s v " ,   e n c o d i n g = " u t f _ 8 _ s i g " )                 r e t u r n   d a t a _ a l l         d e f   i n s e r t _ w i s _ s q l ( s e l f ) :                 d a t a   =   s e l f . f i l t r a t i o n _ d a t a ( )                 c o o n   =   p y m y s q l . c o n n e c t ( h o s t = s e l f . h o s t _ i p ,   u s e r = s e l f . h o s t _ u s e r ,   p a s s w o r d = s e l f . p a s s w o r d ,   d a t a b a s e = " e p i d e m i c _ d a t a " ,                                                                         c h a r s e t = " u t f 8 " )                 n u m b e r   =   i n t ( p d . r e a d _ s q l ( " s e l e c t   c y c l e   f r o m   a l l _ d a t a   o r d e r   b y   i d   D E S C   l i m i t   1 " ,   c o o n ) [ " c y c l e " ] . t o _ l i s t ( ) [ 0 ] )   +   1                 p r i n t ( " :   " ,   n u m b e r )                 c u r s o r   =   c o o n . c u r s o r ( )     #                   s q l   =   " i n s e r t   i n t o   a l l _ d a t a ( c i t y N a m e ,   c o n f i r m e d C o u n t ,   c u r e d C o u n t ,   d e a d C o u n t ,   p r o v i n c e _ n a m e ,   "                               " d a t e _ i n f o ,   d e t a i l _ t i m e ,   c y c l e )   v a l u e s ( % s ,   % s ,   % s ,   % s ,   % s ,   % s ,   % s ,   % s ) "                 p r i n t ( " . . . " )                 f o r   c i t y N a m e ,   c o n f i r m e d C o u n t ,   c u r e d C o u n t ,   d e a d C o u n t ,   p r o v i n c e _ n a m e ,   d a t e _ i n f o ,   d e t a i l _ t i m e   i n   z i p ( d a t a [ " " ] ,                                                 d a t a [ " " ] ,   d a t a [ " " ] ,   d a t a [ " " ] ,   d a t a [ " " ] ,   d a t a [ " " ] ,   d a t a [ " " ] ) :                         c u r s o r . e x e c u t e ( s q l ,   ( c i t y N a m e ,   c o n f i r m e d C o u n t ,   c u r e d C o u n t ,   d e a d C o u n t ,   p r o v i n c e _ n a m e ,   d a t e _ i n f o ,   d e t a i l _ t i m e ,   n u m b e r ) )                         c o o n . c o m m i t ( )                 p r i n t ( " . . . " )                 c u r s o r . c l o s e ( )                 c o o n . c l o s e ( ) i f   _ _ n a m e _ _   = =   ' _ _ m a i n _ _ ' :         s u p   =   V i r u s S u p e r v i s e ( )         s u p . i n s e r t _ w i s _ s q l ( m y s q l   s u p . f i l t r a t i o n _ d a t a ( )   使 p a n d a s t o _ c s v  

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则