搜索

[14561] 2019-09-08_TWINT：一款Twitter信息爬取工具

文档创建者：s7ckTeam
浏览次数：126
最后更新：2025-01-18
2019-09-08_TWINT：一款Twitter信息爬取工具 T W I N T ： 一 款 T w i t t e r 信 息 爬 取 工 具 周 大 涛   F r e e B u f   2 0 1 9 - 0 9 - 0 8 T w i n t 是 一 个 用 是 一 个 用 P y t h o n 写 的 写 的 T w i t t e r 抓 取 工 具 ， 允 许 从 抓 取 工 具 ， 允 许 从 T w i t t e r 配 置 文 件 中 抓 取 推 文 ， 不 使 用 配 置 文 件 中 抓 取 推 文 ， 不 使 用 T w i t t e r 的 的 A P I 。 。 T w i n t 利 用 利 用 T w i t t e r 的 搜 索 语 法 让 您 从 特 定 用 户 那 里 搜 索 推 文 ， 特 定 主 题 ， 主 题 标 签 和 相 关 的 推 文 ， 或 者 从 推 文 中 的 搜 索 语 法 让 您 从 特 定 用 户 那 里 搜 索 推 文 ， 特 定 主 题 ， 主 题 标 签 和 相 关 的 推 文 ， 或 者 从 推 文 中 挑 选 敏 感 信 息 ， 如 电 子 邮 件 和 电 话 号 码 。 挑 选 敏 感 信 息 ， 如 电 子 邮 件 和 电 话 号 码 。 T w i n t 还 对 T w i t t e r 进 行 了 特 殊 查 询 ， 允 许 您 搜 索 T w i t t e r 用 户 的 关 注 者 ， 用 户 喜 欢 的 推 文 ， 以 及 他 们 在 A P I ， S e l e n i u m 或 模 拟 浏 览 器 的 情 况 下 关 注 的 用 户 。 好 处 好 处 使 用 T w i n t 和 T w i t t e r   A P I 的 一 些 好 处 ： 1 . 可 以 获 取 几 乎 所 有 的 所 有 的 推 文 （ T w i t t e r   A P I 限 制 只 能 持 续 3 2 0 0 个 推 文 ） ; 2 . 快 速 初 始 设 置 ; 3 . 可 以 匿 名 使 用 ， 无 需 T w i t t e r 注 册 ; 4 . 没 有 速 率 限 制 没 有 速 率 限 制 。 T w i t t e r 的 限 制 的 限 制 T w i t t e r 会 限 制 用 户 可 以 浏 览 的 时 间 线 。 这 意 味 着 通 过 . P r o f i l e 或 者 . F a v o r i t e s 你 只 可 以 看 到 ~ 3 2 0 0 条 推 文 。
要 求 要 求 1 . P y t h o n   3 . 6 ; 2 . a i o h t t p ; 3 . a i o d n s ; 4 . b e a u t i f u l s o u p 4 ; 5 . c c h a r d e t ; 6 . e l a s t i c s e a r c h ; 7 . p y s o c k s ; 8 . p a n d a s   （ >   =   0 . 2 3 . 0 ） ; 9 . a i o h t t p _ s o c k s ; 1 0 . s c h e d u l e ; 1 1 . g e o p y ; 1 2 . f a k e - u s e r a g e n t 。 安 装 安 装 G i t 的 方 法 ： 的 方 法 ： P I P ： ： 要 么 P i p e n v ： ： 一 些 简 单 的 例 子 可 以 帮 助 您 掌 握 基 础 知 识 ： 1 . t w i n t   - u   u s e r n a m e -   从 用 户 的 时 间 线 中 删 除 所 有 推 文 。 2 . t w i n t   - u   u s e r n a m e   - s   p i n e a p p l e -   从 包 含 p i n e a p p l e 的 用 户 时 间 线 中 删 除 所 有 推 文 。 3 . t w i n t   - s   p i n e a p p l e -   从 每 个 人 的 推 文 收 集 每 个 包 含 p i n e a p p l e 的 推 文 。 4 . t w i n t   - u   u s e r n a m e   — y e a r   2 0 1 4 -   收 集 2 0 1 4 年 之 前 发 送 之 前 发 送 推 文 的 推 文 。 g i t   c l o n e   h t t p s : / / g i t h u b . c o m / t w i n t p r o j e c t / t w i n t . g i t p i p 3   i n s t a l l   - r   r e q u i r e m e n t s . t x t p i p 3   i n s t a l l   t w i n t p i p 3   i n s t a l l   - - u s e r   - - u p g r a d e   - e   g i t   +   h t t p s / / g i t h u b . c o m / t w i n t p r o j e c t / t w i n t . g i t @ o r i g i n / m a s t e r # e g g = t w i n t p i p e n v   i n s t a l l   - e   g i t   +   h t t p s ： / / g i t h u b . c o m / t w i n t p r o j e c t / t w i n t . g i t # e g g = t w i n t C L I 基 本 示 例 和 组 合 基 本 示 例 和 组 合
5 . t w i n t   - u   u s e r n a m e   — s i n c e   2 0 1 5 - 1 2 - 2 0   -   收 集 自 2 0 1 5 - 1 2 - 2 0 以 来 推 文 的 推 文 。 6 . t w i n t   - u   u s e r n a m e   - o   f i l e . t x t   -   抓 取 推 文 并 保 存 到 f i l e . t x t 。 7 . t w i n t   - u   u s e r n a m e   - o   f i l e . c s v   — c s v   -   抓 取 推 文 并 保 存 为 c s v 文 件 。 8 . t w i n t   - u   u s e r n a m e   — e m a i l   — p h o n e   -   显 示 可 能 包 含 电 话 号 码 或 电 子 邮 件 地 址 的 推 文 。 9 . t w i n t   - s   “ D o n a l d   T r u m p ”   — v e r i f i e d   -   由 经 过 验 证 的 用 户 显 示 有 关 唐 纳 德 特 朗 普 的 推 文 。 1 0 . t w i n t   - g = ” 4 8 . 8 8 0 0 4 8 , 2 . 3 8 5 9 3 9 , 1 k m ”   - o   f i l e . c s v   — c s v   -   在 巴 黎 一 个 地 方 绕 半 径 1 公 里 的 推 文 将 它 们 导 出 到 c s v 文 件 中 。 1 1 . t w i n t   - u   u s e r n a m e   - e s   l o c a l h o s t : 9 2 0 0   -   输 出 推 文 到 E l a s t i c s e a r c h 数 据 库 中 1 2 . t w i n t   - u   u s e r n a m e   - o   f i l e . j s o n   — j s o n   -   抓 取 推 文 并 保 存 为 j s o n 文 件 。 1 3 . t w i n t   - u   u s e r n a m e   — d a t a b a s e   t w e e t s . d b   -   将 推 文 保 存 到 S Q L i t e 数 据 库 。 1 4 . t w i n t   - u   u s e r n a m e   — f o l l o w e r s   -   T w i t t e r 用 户 的 粉 丝 。 1 5 . t w i n t   - u   u s e r n a m e   — f o l l o w i n g   -   T w i t t e r 用 户 关 注 的 人 。 1 6 . t w i n t   - u   u s e r n a m e   — f a v o r i t e s   -   收 集 用 户 最 喜 欢 的 所 有 推 文 （ 收 集 ~ 3 2 0 0 推 文 ） 。 1 7 . t w i n t   - u   u s e r n a m e   — f o l l o w i n g   — u s e r - f u l l   -   收 集 一 个 人 关 注 的 完 整 用 户 信 息 1 8 . t w i n t   - u   u s e r n a m e   — p r o f i l e - f u l l   -   使 用 缓 慢 但 有 效 的 方 法 从 用 户 的 个 人 资 料 中 收 集 推 文 （ 收 集 ~ 3 2 0 0 推 文 ， 包 括 转 推 ） 。 1 9 . t w i n t   - u   u s e r n a m e   — r e t w e e t s   -   使 用 快 速 方 法 从 用 户 的 个 人 资 料 中 收 集 最 近 的 9 0 0 个 推 文 （ 包 括 转 推 ） 。 2 0 . t w i n t   - u   u s e r n a m e   — r e s u m e   r e s u m e _ f i l e . t x t   -   从 上 次 保 存 的 s c r o l l - i d 开 始 恢 复 搜 索 。 有 关 命 令 和 选 项 的 更 多 详 细 信 息 位 于 W i k i 中 模 块 示 例 模 块 示 例 T w i n t 可 以 用 作 模 块 并 支 持 自 定 义 格 式 。 输 出 i m p o r t   t w i n t #   C o n f i g u r e c   =   t w i n t . C o n f i g ( ) c . U s e r n a m e   =   " n o n e p r i v a c y " c . S e a r c h   =   " # o s i n t " c . F o r m a t   =   " T w e e t   i d :   { i d }   |   T w e e t :   { t w e e t } " #   R u n t w i n t . r u n . S e a r c h ( c ) 9 5 5 5 1 1 2 0 8 5 9 7 1 8 4 5 1 2   2 0 1 8 - 0 1 - 2 2   1 8 : 4 3 : 1 9   G M T   < n o w >   p i n e a p p l e s   a r e   t h e   b e s t   f r u i t i m p o r t   t w i n t c   =   t w i n t . C o n f i g ( ) c . U s e r n a m e   =   " n o n e p r i v a c y " c . C u s t o m [ " t w e e t " ]   =   [ " i d " ] c . C u s t o m [ " u s e r " ]   =   [ " b i o " ] c . L i m i t   =   1 0
存 储 选 项 存 储 选 项 1 . 写 入 文 件 ; 2 . C S V ; 3 . J S O N ; 4 . S Q L i t e ; 5 . E l a s t i c s e a r c h 。 E l a s t i c s e a r c h 设 置 设 置 有 关 使 用 T w i n t 设 置 E l a s t i c s e a r c h 的 详 细 信 息 位 于 W i k i 中 。 图 形 可 视 化 图 形 可 视 化 图 表 详 细 信 息 也 位 于 w i k i 中 。 我 们 正 在 开 发 T w i n t 桌 面 应 用 程 序 。 c . L i m i t   =   1 0 c . S t o r e _ c s v   =   T r u e c . O u t p u t   =   " n o n e " t w i n t . r u n . S e a r c h ( c )
常 问 问 题 常 问 问 题 我 尝 试 从 用 户 那 里 抓 取 推 文 ， 我 知 道 它 们 存 在 ， 但 我 没 有 得 到 它 们 。 T w i t t e r 可 以 禁 止 影 子 账 户 ， 这 意 味 着 他 们 的 推 文 不 会 通 过 搜 索 获 得 。 要 解 决 此 问 题 ， — p r o f i l e - f u l l 请 通 过 C L I 使 用 T w i n t ， 如 果 使 用 T w i n t 作 为 模 块 ， 则 添 加 c o n f i g . P r o f i l e _ f u l l   =   T r u e 。 请 注 意 ， 此 过 程 将 非 常 缓 慢 。 更 多 例 子 更 多 例 子 仅 获 取 关 注 者 用 户 名 / 以 下 用 户 名 获 取 关 注 者 / 关 注 用 户 的 用 户 信 息 用 户 列 表 用 户 列 表 仅 获 取 用 户 的 用 户 信 息 从 用 户 列 表 中 获 取 用 户 的 用 户 信 息 参 考 来 源 ： 参 考 来 源 ： G i t H u b ， ， F B 小 编 周 大 涛 编 译 ， 转 载 请 注 明 来 自 小 编 周 大 涛 编 译 ， 转 载 请 注 明 来 自 F r e e B u f . C O M 精 彩 推 荐 精 彩 推 荐 t w i n t   - u   u s e r n a m e   - - f o l l o w e r s t w i n t   - u   u s e r n a m e   - - f o l l o w i n g t w i n t   - u   u s e r n a m e   - - f o l l o w e r s   - - u s e r - f u l l t w i n t   - u   u s e r n a m e   - - f o l l o w i n g   - - u s e r - f u l l t w i n t   - u   u s e r n a m e   - - u s e r - f u l l t w i n t   - - u s e r l i s t   i n p u t l i s t   - - u s e r - f u l l

阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理