搜索

[16283] 2021-01-05_OnionSearch：一款针对洋葱域名的URL搜索脚本

文档创建者：s7ckTeam
浏览次数：31
最后更新：2025-01-18
2021-01-05_OnionSearch：一款针对洋葱域名的URL搜索脚本 O n i o n S e a r c h ： 一 款 针 对 洋 葱 域 名 的 U R L 搜 索 脚 本 A l p h a _ h 4 c k   F r e e B u f   2 0 2 1 - 0 1 - 0 5 O n i o n S e a r c h O n i o n S e a r c h 是 一 款 针 对 洋 葱 域 名 的 U R L 搜 索 脚 本 ， 该 工 具 基 于 P y t h o n   3 开 发 ， 可 以 帮 助 广 大 研 究 人 员 在 不 同 的 . o n i o n 搜 索 引 擎 中 完 成 U R L 地 址 爬 取 。 工 具 要 求 工 具 要 求 P y t h o n   3 当 前 支 持 的 搜 索 引 擎 当 前 支 持 的 搜 索 引 擎 a h m i a d a r k s e a r c h i o o n i o n l a n d n o t e v i l d a r k s e a r c h e n g i n e r p h o b o s o n i o n s e a r c h s e r v e r t o r g l e o n i o n s e a r c h e n g i n e t o r d e x t o r 6 6 t o r m a x h a y s t a c k m u l t i v a c e v o s e a r c h d e e p l i n k 工 具 安 装 工 具 安 装 P y P I 安 装 ： 安 装 ： G i t H u b 安 装 ： 安 装 ： 工 具 使 用 工 具 使 用 p i p 3   i n s t a l l   o n i o n s e a r c h g i t   c l o n e   h t t p s : / / g i t h u b . c o m / m e g a d o s e / O n i o n S e a r c h . g i t c d   O n i o n S e a r c h / p y t h o n 3   s e t u p . p y   i n s t a l l u s a g e :   o n i o n s e a r c h   [ - h ]   [ - - p r o x y   P R O X Y ]   [ - - o u t p u t   O U T P U T ]                                     [ - - c o n t i n u o u s _ w r i t e   C O N T I N U O U S _ W R I T E ]   [ - - l i m i t   L I M I T ]                                     [ - - e n g i n e s   [ E N G I N E S   [ E N G I N E S   . . . ] ] ]                                     [ - - e x c l u d e   [ E X C L U D E   [ E X C L U D E   . . . ] ] ]                                     [ - - f i e l d s   [ F I E L D S   [ F I E L D S   . . . ] ] ]                                     [ - - f i e l d _ d e l i m i t e r   F I E L D _ D E L I M I T E R ]   [ - - m p _ u n i t s   M P _ U N I T S ]                                     s e a r c h p o s i t i o n a l   a r g u m e n t s :
多 处 理 行 为 多 处 理 行 为 默 认 配 置 下 ， 该 脚 本 将 会 使 用 “ m p _ u n i t s   =   c p u _ c o u n t ( )   -   1 ” 参 数 来 运 行 。 这 也 就 意 味 着 ， 如 果 我 们 的 设 备 C P U 有 四 个 核 ， 它 将 会 同 时 运 行 三 个 爬 虫 。 我 们 可 以 随 意 设 置 “ m p _ u n i t s ” 参 数 的 值 ， 但 建 议 使 用 默 认 值 。 工 具 使 用 样 例 工 具 使 用 样 例 向 所 有 的 搜 索 引 擎 请 求 查 询 “ c o m p u t e r ” ： 向 所 有 的 搜 索 引 擎 请 求 查 询 “ c o m p u t e r ” ， 但 排 除 “ A h m i a ” 和 “ C a n d l e ” ： 向 所 有 的 搜 索 引 擎 请 求 查 询 “ c o m p u t e r ” ， 需 同 时 包 含 “ T o r 6 6 ” 、 “ D e e p L i n k ” 和 “ P h o b o s ” ， 跟 上 述 查 询 内 容 相 同 ， 但 仅 限 每 个 搜 索 引 擎 查 询 三 个 页 面 ： 输 出 结 果 输 出 结 果 默 认 输 出 默 认 输 出 默 认 配 置 下 ， 搜 索 结 果 将 以 C S V 格 式 存 储 ， 其 中 包 含 下 列 数 据 ： 自 定 义 输 出 列 自 定 义 输 出 列 我 们 还 可 以 使 用 “ — f i e l d s ” 和 “ — f i e l d _ d e l i m i t e r ” 参 数 来 指 定 输 出 文 件 中 的 数 据 项 ： “ — f i e l d s ” 可 以 帮 助 我 们 添 加 、 移 除 和 重 新 排 序 输 出 项 ： 或 者 ： 工 具 使 用 演 示 工 具 使 用 演 示 p o s i t i o n a l   a r g u m e n t s :     s e a r c h                                 T h e   s e a r c h   s t r i n g   o r   p h r a s e o p t i o n a l   a r g u m e n t s :     - h ,   - - h e l p                         s h o w   t h i s   h e l p   m e s s a g e   a n d   e x i t     - - p r o x y   P R O X Y                   S e t   T o r   p r o x y   ( d e f a u l t :   1 2 7 . 0 . 0 . 1 : 9 0 5 0 )     - - o u t p u t   O U T P U T               O u t p u t   F i l e   ( d e f a u l t :   o u t p u t _ $ S E A R C H _ $ D A T E . t x t ) ,   w h e r e   $ S E A R C H   i s   r e p l a c e d   b y   t h e   f i r s t   c h a r s   o f   t h e   s e a r c h   s t r i n g   a n d   $ D A T E   i s   r e p l a c e d   b y   t h e   d a t e t i m e     - - c o n t i n u o u s _ w r i t e   C O N T I N U O U S _ W R I T E                                                 W r i t e   p r o g r e s s i v e l y   t o   o u t p u t   f i l e   ( d e f a u l t :   F a l s e )     - - l i m i t   L I M I T                   S e t   a   m a x   n u m b e r   o f   p a g e s   p e r   e n g i n e   t o   l o a d     - - e n g i n e s   [ E N G I N E S   [ E N G I N E S   . . . ] ]                                                 E n g i n e s   t o   r e q u e s t   ( d e f a u l t :   f u l l   l i s t )     - - e x c l u d e   [ E X C L U D E   [ E X C L U D E   . . . ] ]                                                 E n g i n e s   t o   e x c l u d e   ( d e f a u l t :   n o n e )     - - f i e l d s   [ F I E L D S   [ F I E L D S   . . . ] ]                                                 F i e l d s   t o   o u t p u t   t o   c s v   f i l e   ( d e f a u l t :   e n g i n e   n a m e   l i n k ) ,   a v a i l a b l e   f i e l d s   a r e   s h o w n   b e l o w     - - f i e l d _ d e l i m i t e r   F I E L D _ D E L I M I T E R                                                 D e l i m i t e r   f o r   t h e   C S V   f i e l d s     - - m p _ u n i t s   M P _ U N I T S       N u m b e r   o f   p r o c e s s i n g   u n i t s   ( d e f a u l t :   c o r e   n u m b e r   m i n u s   1 ) [ . . . ] o n i o n s e a r c h   " c o m p u t e r " o n i o n s e a r c h   " c o m p u t e r "   - - e x c l u d e   a h m i a   c a n d l e o n i o n s e a r c h   " c o m p u t e r "   - - e n g i n e s   t o r 6 6   d e e p l i n k   p h o b o s o n i o n s e a r c h   " c o m p u t e r "   - - e n g i n e s   t o r 6 6   d e e p l i n k   p h o b o s   - - l i m i t   3 " e n g i n e " , " n a m e   o f   t h e   l i n k " , " u r l " " e n g i n e " , " n a m e   o f   t h e   l i n k " , " u r l " , " d o m a i n " " e n g i n e " , " d o m a i n "
许 可 证 协 议 许 可 证 协 议 本 项 目 的 开 发 与 发 布 遵 循 G N U   G e n e r a l   P u b l i c   L i c e n s e   v 3 . 0 开 源 许 可 证 协 议 。 项 目 地 址 项 目 地 址 O n i o n S e a r c h ： h t t p s : / / g i t h u b . c o m / m e g a d o s e / O n i o n S e a r c h 精 彩 推 荐 精 彩 推 荐
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理