搜索

[25654] 2016-10-28_构建你的数据科学作品集：机器学习项目（下）

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-19
2016-10-28_构建你的数据科学作品集：机器学习项目（下） 0 3 % 0 8 % 1 6 % 1 8 % 2 4 % 2 7 % 3 4 % 3 6 % 5 2 % 6 2 % 6 4 % 7 1 % 7 4 % 7 8 % 8 3 % 8 6 % 8 8 % 9 2 % 9 3 % 构 建 你 的 数 据 科 学 作 品 集 ： 机 器 学 习 项 目 （ 下 ） 原 创   译 者 ： k / z / v / c / i   L i n u x 中 国   2 0 1 6 - 1 0 - 2 8 收 录 于 话 题   # 数 据 科 学 专 辑   , 2 0 个 本 文 导 航 - 一 个 端 到 端 的 项 目 - 找 到 好 的 数 据 集 - 选 择 一 个 角 度 - 理 解 数 据 - 构 造 项 目 - 创 建 初 始 文 件 - 获 取 数 据 - 读 入 数 据 - 计 算 来 自 执 行 数 据 的 值 - 获 取 值 - 转 换 数 据 - 聚 合 到 一 起 - 找 到 误 差 标 准 - 设 置 机 器 学 习 分 类 器 - 做 出 预 测 - 预 测 误 差 - 聚 合 到 一 起 - 撰 写   R E A D M E - 下 一 步 这 是 这 个 系 列 [ 1 ] 发 布 的 第 三 篇 关 于 如 何 构 建 数 据 D a t a   S c i e n c e   P o r t f o l i o 科 学 作 品 集 的 文 章 。 如 果 你 喜 欢 这 个 系 列 并 且 想 继 续 关 注 ， 你 可 以 在 订 阅 页 面 的 底 部 找 到 链 接 [ 2 ] 。 （ 接 上 篇 ） 计 算 来 自 执 行 数 据 的 值 计 算 来 自 执 行 数 据 的 值 接 下 来 我 们 会 计 算 来 自     中 的 值 。 我 们 要 做 的 就 是 推 测 这 些 资 产 是 否 被 取 消 赎 回 权 。 如 果 能 够 计 算 出 来 ， 我 们 只 要 看 一 下 关 联 到 贷 款 的 执 行 数 据 的 参 数   就 可 以 了 。 如 果 这 个 参 数 的 值 是   ， 那 么 这 些 资 产 肯 定 没 有 收 回 。 为 了 避 免 我 们 的 样 例 中 只 有 少 量 的 执 行 数 据 ， 我 们 会 为 每 个 贷 款 计 算 出 执 行 数 据 文 件 中 的 行 数 。 这 样 我 们 就 能 够 从 我 们 的 训 练 数 据 中 筛 选 出 贷 款 数 据 ， 排 除 了 一 些 执 行 数 据 。 下 面 是 我 认 为 贷 款 数 据 和 执 行 数 据 的 关 系 ： 在 上 面 的 表 格 中 ， 贷 款 数 据 中 的 每 一 行 数 据 都 关 联 到 执 行 数 据 中 的 多 行 数 据 。 在 执 行 数 据 中 ， 在 取 消 赎 回 权 的 时 候     就 会 出 现 在 该 季 度 ， 而 之 前 它 是 空 的 。 一 些 贷 款 还 没 有 被 取 消 赎 回 权 ， 所 以 与 执 行 数 据 中 的 贷 款 数 据 有 关 的 行 在     列 都 是 空 格 。 我 们 需 要 计 算     的 值 ， 它 的 值 是 布 尔 类 型 ， 可 以 表 示 一 个 特 殊 的 贷 款 数 据     是 否 被 取 消 赎 回 权 过 ， 还 有 一 个 参 数     ， 它 记 录 了 执 行 数 据 中 每 个 贷 款     出 现 的 行 数 。 　 计 算 这 些 行 数 有 多 种 不 同 的 方 法 ： p r o c e s s e d / P e r f o r m a n c e . t x t f o r e c l o s u r e _ d a t e N o n e f o r e c l o s u r e _ d a t e f o r e c l o s u r e _ d a t e f o r e c l o s u r e _ s t a t u s i d p e r f o r m a n c e _ c o u n t i d
我 们 能 够 读 取 所 有 的 执 行 数 据 ， 然 后 我 们 用   P a n d a s   的   g r o u p b y [ 3 4 ]   方 法 在   D a t a F r a m e   中 计 算 出 与 每 个 贷 款     有 关 的 行 的 行 数 ， 然 后 就 可 以 查 看 贷 款     的     值 是 否 为     。 这 种 方 法 的 优 点 是 从 语 法 上 来 说 容 易 执 行 。 它 的 缺 点 需 要 读 取 所 有 的   1 2 9 2 3 6 0 9 4   行 数 据 ， 这 样 就 会 占 用 大 量 内 存 ， 并 且 运 行 起 来 极 慢 。 我 们 可 以 读 取 所 有 的 执 行 数 据 ， 然 后 在 贷 款   D a t a F r a m e   上 使 用   a p p l y [ 3 5 ]   去 计 算 每 个 贷 款   　 出 现 的 次 数 。 这 种 方 法 的 优 点 是 容 易 理 解 。 缺 点 是 需 要 读 取 所 有 的   1 2 9 2 3 6 0 9 4   行 数 据 。 这 样 会 占 用 大 量 内 存 ， 并 且 运 行 起 来 极 慢 。 我 们 可 以 在 迭 代 访 问 执 行 数 据 中 的 每 一 行 数 据 ， 而 且 会 建 立 一 个 单 独 的 计 数 字 典 。 这 种 方 法 的 优 点 是 数 据 不 需 要 被 加 载 到 内 存 中 ， 所 以 运 行 起 来 会 很 快 且 不 需 要 占 用 内 存 。 缺 点 是 这 样 的 话 理 解 和 执 行 上 可 能 有 点 耗 费 时 间 ， 我 们 需 要 对 每 一 行 数 据 进 行 语 法 分 析 。 加 载 所 有 的 数 据 会 非 常 耗 费 内 存 ， 所 以 我 们 采 用 第 三 种 方 法 。 我 们 要 做 的 就 是 迭 代 执 行 数 据 中 的 每 一 行 数 据 ， 然 后 为 每 一 个 贷 款     在 字 典 中 保 留 一 个 计 数 。 在 这 个 字 典 中 ， 我 们 会 计 算 出 贷 款     在 执 行 数 据 中 出 现 的 次 数 ， 而 且 看 看     是 否 是     。 我 们 可 以 查 看     和     的 值   。 我 们 会 新 建 一 个     文 件 ， 文 件 中 的 代 码 可 以 计 算 这 些 值 。 我 们 会 使 用 下 面 的 代 码 ： 导 入 需 要 的 库 定 义 一 个 函 数     。 如 果 不 存 在 ， 把 它 加 进 去 。 打 开     文 件 。 这 不 是 在 内 存 中 读 取 文 件 而 是 打 开 了 一 个 文 件 标 识 符 ， 这 个 标 识 符 可 以 用 来 以 行 为 单 位 读 取 文 件 。 　 迭 代 文 件 的 每 一 行 数 据 。 使 用 分 隔 符 分 开 每 行 的 不 同 数 据 。 检 查     是 否 在 计 数 字 典 中 。   的     参 数 自 增   1   次 ， 因 为 我 们 这 次 迭 代 也 包 含 其 中 。 如 果     不 是   f o r e c l o s u r e _ s t a t u s `   设 置 合 适 的 值 。 4 .   i d i d f o r e c l o s u r e _ d a t e N o n e i d i d i d f o r e c l o s u r e _ d a t e N o n e f o r e c l o s u r e _ s t a t u s p e r f o r m a n c e _ c o u n t a n n o t a t e . p y c o u n t _ p e r f o r m a n c e _ r o w s p r o c e s s e d / P e r f o r m a n c e . t x t | l o a n _ i d l o a n _ i d p e r f o r m a n c e _ c o u n t d a t e N o n e   ， 我 们 就 会 知 道 贷 款 被 取 消 赎 回 权 了 ， 然 后 为 1 .   i m p o r t   o s 2 .   i m p o r t   s e t t i n g s 3 .   i m p o r t   p a n d a s   a s   p d
获 取 值 获 取 值 只 要 我 们 创 建 了 计 数 字 典 ， 我 们 就 可 以 使 用 一 个 函 数 通 过 一 个     和 一 个     从 字 典 中 提 取 到 需 要 的 参 数 的 值 ： 上 面 的 函 数 会 从     字 典 中 返 回 合 适 的 值 ， 我 们 也 能 够 为 贷 款 数 据 中 的 每 一 行 赋 一 个     值 和 一 个     值 。 如 果 键 不 存 在 ， 字 典 的   g e t [ 3 6 ]   方 法 会 返 回 一 个 默 认 值 ， 所 以 在 字 典 中 不 存 在 键 的 时 候 我 们 就 可 以 得 到 一 个 可 知 的 默 认 值 。 转 换 数 据 转 换 数 据 我 们 已 经 在   5 .   d e f   c o u n t _ p e r f o r m a n c e _ r o w s ( ) : 6 .           c o u n t s   =   { } 7 .           w i t h   o p e n ( o s . p a t h . j o i n ( s e t t i n g s . P R O C E S S E D _ D I R ,   " P e r f o r m a n c e . t x t " ) ,   ' r ' )   a s   f : 8 .                   f o r   i ,   l i n e   i n   e n u m e r a t e ( f ) : 9 .                           i f   i   = =   0 : 1 0 .                                   #   S k i p   h e a d e r   r o w 1 1 .                                   c o n t i n u e 1 2 .                           l o a n _ i d ,   d a t e   =   l i n e . s p l i t ( " | " ) 1 3 .                           l o a n _ i d   =   i n t ( l o a n _ i d ) 1 4 .                           i f   l o a n _ i d   n o t   i n   c o u n t s : 1 5 .                                   c o u n t s [ l o a n _ i d ]   =   { 1 6 .                                           " f o r e c l o s u r e _ s t a t u s " :   F a l s e , 1 7 .                                           " p e r f o r m a n c e _ c o u n t " :   0 1 8 .                                   } 1 9 .                           c o u n t s [ l o a n _ i d ] [ " p e r f o r m a n c e _ c o u n t " ]   + =   1 2 0 .                           i f   l e n ( d a t e . s t r i p ( ) )   >   0 : 2 1 .                                   c o u n t s [ l o a n _ i d ] [ " f o r e c l o s u r e _ s t a t u s " ]   =   T r u e 2 2 .           r e t u r n   c o u n t s l o a n _ i d k e y 1 .   d e f   g e t _ p e r f o r m a n c e _ s u m m a r y _ v a l u e ( l o a n _ i d ,   k e y ,   c o u n t s ) : 2 .           v a l u e   =   c o u n t s . g e t ( l o a n _ i d ,   { 3 .                   " f o r e c l o s u r e _ s t a t u s " :   F a l s e , 4 .                   " p e r f o r m a n c e _ c o u n t " :   0 5 .           } ) 6 .           r e t u r n   v a l u e [ k e y ] c o u n t s f o r e c l o s u r e _ s t a t u s p e r f o r m a n c e _ c o u n t a n n o t a t e . p y
  中 添 加 了 一 些 功 能 ， 现 在 我 们 来 看 一 看 数 据 文 件 。 我 们 需 要 将 贷 款 到 的 数 据 转 换 到 训 练 数 据 集 来 进 行 机 器 学 习 算 法 的 训 练 。 这 涉 及 到 以 下 几 件 事 情 : 转 换 所 有 列 为 数 字 。 填 充 缺 失 值 。 为 每 一 行 分 配     和   。 移 除 出 现 执 行 数 据 很 少 的 行 （   计 数 低 ） 。 我 们 有 几 个 列 是 文 本 类 型 的 ， 看 起 来 对 于 机 器 学 习 算 法 来 说 并 不 是 很 有 用 。 然 而 ， 它 们 实 际 上 是 分 类 变 量 ， 其 中 有 很 多 不 同 的 类 别 代 码 ， 例 如   ，   等 等 .   我 们 可 以 把 这 些 类 别 标 签 转 换 为 数 值 ： 通 过 这 种 方 法 转 换 的 列 我 们 可 以 应 用 到 机 器 学 习 算 法 中 。 还 有 一 些 包 含 日 期 的 列   (   和   ） 。 我 们 可 以 将 这 些 日 期 放 到 两 个 列 中 ： 在 下 面 的 代 码 中 ， 我 们 将 转 换 贷 款 数 据 。 我 们 将 定 义 一 个 函 数 如 下 ： 在     中 创 建     列 ， 并 从     字 典 中 得 到 值 。 在   a n n o t a t e . p y p e r f o r m a n c e _ c o u n t f o r e c l o s u r e _ s t a t u s p e r f o r m a n c e _ c o u n t R S f i r s t _ p a y m e n t _ d a t e o r i g i n a t i o n _ d a t e a c q u i s i t i o n f o r e c l o s u r e _ s t a t u s c o u n t s a c q u i s i t i o n
  中 创 建     列 ， 并 从     字 典 中 得 到 值 。 将 下 面 的 列 从 字 符 串 转 换 为 整 数 ： 将     和     分 别 转 换 为 两 列 ： 通 过 斜 杠 分 离 列 。 将 第 一 部 分 分 离 成     列 。 将 第 二 部 分 分 离 成     列 。 删 除 该 列 。 最 后 ， 我 们 得 到   、 、   和   。 所 有 缺 失 值 填 充 为   。 1 5 .   p e r f o r m a n c e _ c o u n t c o u n t s c h a n n e l s e l l e r f i r s t _ t i m e _ h o m e b u y e r l o a n _ p u r p o s e p r o p e r t y _ t y p e o c c u p a n c y _ s t a t u s p r o p e r t y _ s t a t e p r o d u c t _ t y p e f i r s t _ p a y m e n t _ d a t e o r i g i n a t i o n _ d a t e m o n t h y e a r f i r s t _ p a y m e n t _ m o n t h f i r s t _ p a y m e n t _ y e a r r i g i n a t i o n _ m o n t h o r i g i n a t i o n _ y e a r - 1 1 .   d e f   a n n o t a t e ( a c q u i s i t i o n ,   c o u n t s ) : 2 .           a c q u i s i t i o n [ " f o r e c l o s u r e _ s t a t u s " ]   =   a c q u i s i t i o n [ " i d " ] . a p p l y ( l a m b d a   x :   g e t _ p e r f o r m a n c e _ s u m m a r y _ v a l u e ( x ,   " f o r e c l o s u r e _ s t a t u s " ,   c o u n t s ) ) 3 .           a c q u i s i t i o n [ " p e r f o r m a n c e _ c o u n t " ]   =   a c q u i s i t i o n [ " i d " ] . a p p l y ( l a m b d a   x :   g e t _ p e r f o r m a n c e _ s u m m a r y _ v a l u e ( x ,   " p e r f o r m a n c e _ c o u n t " ,   c o u n t s ) ) 4 .           f o r   c o l u m n   i n   [ 5 .                   " c h a n n e l " , 6 .                   " s e l l e r " , 7 .                   " f i r s t _ t i m e _ h o m e b u y e r " , 8 .                   " l o a n _ p u r p o s e " , 9 .                   " p r o p e r t y _ t y p e " , 1 0 .                   " o c c u p a n c y _ s t a t u s " , 1 1 .                   " p r o p e r t y _ s t a t e " , 1 2 .                   " p r o d u c t _ t y p e " 1 3 .           ] : 1 4 .                   a c q u i s i t i o n [ c o l u m n ]   =   a c q u i s i t i o n [ c o l u m n ] . a s t y p e ( ' c a t e g o r y ' ) . c a t . c o d e s 1 6 .           f o r   s t a r t   i n   [ " f i r s t _ p a y m e n t " ,   " o r i g i n a t i o n " ] : 1 7 .                   c o l u m n   =   " { } _ d a t e " . f o r m a t ( s t a r t )
2 1 .   聚 合 到 一 起 聚 合 到 一 起 我 们 差 不 多 准 备 就 绪 了 ， 我 们 只 需 要 再 在     添 加 一 点 点 代 码 。 在 下 面 代 码 中 ， 我 们 将 ： 定 义 一 个 函 数 来 读 取 贷 款 的 数 据 。 定 义 一 个 函 数 来 写 入 处 理 过 的 数 据 到   。 如 果 该 文 件 在 命 令 行 以     的 方 式 运 行 ： 读 取 贷 款 数 据 。 计 算 执 行 数 据 的 计 数 ， 并 将 其 赋 予   。 转 换     D a t a F r a m e 。 将   D a t a F r a m e   写 入 到   。 4 .   7 .   修 改 完 成 以 后 ， 确 保 运 行     来 生 成     文 件 。   你 可 以 在 这 里 [ 3 7 ] 找 到 完 整 的   1 8 .                   a c q u i s i t i o n [ " { } _ y e a r " . f o r m a t ( s t a r t ) ]   =   p d . t o _ n u m e r i c ( a c q u i s i t i o n [ c o l u m n ] . s t r . s p l i t ( ' / ' ) . s t r . g e t ( 1 ) ) 1 9 .                   a c q u i s i t i o n [ " { } _ m o n t h " . f o r m a t ( s t a r t ) ]   =   p d . t o _ n u m e r i c ( a c q u i s i t i o n [ c o l u m n ] . s t r . s p l i t ( ' / ' ) . s t r . g e t ( 0 ) ) 2 0 .                   d e l   a c q u i s i t i o n [ c o l u m n ] 2 2 .           a c q u i s i t i o n   =   a c q u i s i t i o n . f i l l n a ( - 1 ) 2 3 .           a c q u i s i t i o n   =   a c q u i s i t i o n [ a c q u i s i t i o n [ " p e r f o r m a n c e _ c o u n t " ]   >   s e t t i n g s . M I N I M U M _ T R A C K I N G _ Q U A R T E R S ] 2 4 .           r e t u r n   a c q u i s i t i o n a n n o t a t e . p y p r o c e s s e d / t r a i n . c s v p y t h o n   a n n o t a t e . p y c o u n t s a c q u i s i t i o n a c q u i s i t i o n t r a i n . c s v 1 .   d e f   r e a d ( ) : 2 .           a c q u i s i t i o n   =   p d . r e a d _ c s v ( o s . p a t h . j o i n ( s e t t i n g s . P R O C E S S E D _ D I R ,   " A c q u i s i t i o n . t x t " ) ,   s e p = " | " ) 3 .           r e t u r n   a c q u i s i t i o n 5 .   d e f   w r i t e ( a c q u i s i t i o n ) : 6 .           a c q u i s i t i o n . t o _ c s v ( o s . p a t h . j o i n ( s e t t i n g s . P R O C E S S E D _ D I R ,   " t r a i n . c s v " ) ,   i n d e x = F a l s e ) 8 .   i f   _ _ n a m e _ _   = =   " _ _ m a i n _ _ " : 9 .           a c q u i s i t i o n   =   r e a d ( ) 1 0 .           c o u n t s   =   c o u n t _ p e r f o r m a n c e _ r o w s ( ) 1 1 .           a c q u i s i t i o n   =   a n n o t a t e ( a c q u i s i t i o n ,   c o u n t s ) 1 2 .           w r i t e ( a c q u i s i t i o n ) p y t h o n   a n n o t a t e . p y t r a i n . c s v a n n o t a t e . p y
  文 件 。 现 在 文 件 夹 看 起 来 应 该 像 这 样 ： 找 到 误 差 标 准 找 到 误 差 标 准 我 们 已 经 完 成 了 训 练 数 据 表 的 生 成 ， 现 在 我 们 需 要 最 后 一 步 ， 生 成 预 测 。 我 们 需 要 找 到 误 差 的 标 准 ， 以 及 该 如 何 评 估 我 们 的 数 据 。 在 这 种 情 况 下 ， 因 为 有 很 多 的 贷 款 没 有 被 取 消 赎 回 权 ， 所 以 根 本 不 可 能 做 到 精 确 的 计 算 。 我 们 需 要 读 取 训 练 数 据 ， 并 且 计 算     列 的 计 数 ， 我 们 将 得 到 如 下 信 息 ： 3 .   因 为 只 有 很 少 的 贷 款 被 取 消 赎 回 权 ， 只 需 要 检 查 正 确 预 测 的 标 签 的 百 分 比 就 意 味 着 我 们 可 以 创 建 一 个 机 器 学 习 模 型 ， 来 为 每 一 行 预 测   a n n o t a t e . p y 1 .   l o a n - p r e d i c t i o n 2 .   ├ ─ ─   d a t a 3 .   │       ├ ─ ─   A c q u i s i t i o n _ 2 0 1 2 Q 1 . t x t 4 .   │       ├ ─ ─   A c q u i s i t i o n _ 2 0 1 2 Q 2 . t x t 5 .   │       ├ ─ ─   P e r f o r m a n c e _ 2 0 1 2 Q 1 . t x t 6 .   │       ├ ─ ─   P e r f o r m a n c e _ 2 0 1 2 Q 2 . t x t 7 .   │       └ ─ ─   . . . 8 .   ├ ─ ─   p r o c e s s e d 9 .   │       ├ ─ ─   A c q u i s i t i o n . t x t 1 0 .   │       ├ ─ ─   P e r f o r m a n c e . t x t 1 1 .   │       ├ ─ ─   t r a i n . c s v 1 2 .   ├ ─ ─   . g i t i g n o r e 1 3 .   ├ ─ ─   a n n o t a t e . p y 1 4 .   ├ ─ ─   a s s e m b l e . p y 1 5 .   ├ ─ ─   R E A D M E . m d 1 6 .   ├ ─ ─   r e q u i r e m e n t s . t x t 1 7 .   ├ ─ ─   s e t t i n g s . p y f o r e c l o s u r e _ s t a t u s 1 .   i m p o r t   p a n d a s   a s   p d 2 .   i m p o r t   s e t t i n g s 4 .   t r a i n   =   p d . r e a d _ c s v ( o s . p a t h . j o i n ( s e t t i n g s . P R O C E S S E D _ D I R ,   " t r a i n . c s v " ) ) 5 .   t r a i n [ " f o r e c l o s u r e _ s t a t u s " ] . v a l u e _ c o u n t s ( ) 1 .   F a l s e         4 6 3 5 9 8 2 2 .   T r u e                 1 5 8 5 3 .   N a m e :   f o r e c l o s u r e _ s t a t u s ,   d t y p e :   i n t 6 4
， 并 能 取 得 很 高 的 精 确 度 。 相 反 ， 我 们 想 要 使 用 一 个 度 量 来 考 虑 分 类 的 不 平 衡 ， 确 保 我 们 可 以 准 确 预 测 。 我 们 要 避 免 太 多 的 误 报 率 （ 预 测 贷 款 被 取 消 赎 回 权 ， 但 是 实 际 没 有 ） ， 也 要 避 免 太 多 的 漏 报 率 （ 预 测 贷 款 没 有 别 取 消 赎 回 权 ， 但 是 实 际 被 取 消 了 ） 。 对 于 这 两 个 来 说 ， 漏 报 率 对 于 房 利 美 来 说 成 本 更 高 ， 因 为 他 们 买 的 贷 款 可 能 是 他 们 无 法 收 回 投 资 的 贷 款 。 所 以 我 们 将 定 义 一 个 漏 报 率 ， 就 是 模 型 预 测 没 有 取 消 赎 回 权 但 是 实 际 上 取 消 了 ， 这 个 数 除 以 总 的 取 消 赎 回 权 数 。 这 是 “ 缺 失 的 ” 实 际 取 消 赎 回 权 百 分 比 的 模 型 。 下 面 看 这 个 图 表 ： 通 过 上 面 的 图 表 ， 有   1   个 贷 款 预 测 不 会 取 消 赎 回 权 ， 但 是 实 际 上 取 消 了 。 如 果 我 们 将 这 个 数 除 以 实 际 取 消 赎 回 权 的 总 数   2 ， 我 们 将 得 到 漏 报 率   5 0 % 。   我 们 将 使 用 这 个 误 差 标 准 ， 因 此 我 们 可 以 评 估 一 下 模 型 的 行 为 。 设 置 机 器 学 习 分 类 器 设 置 机 器 学 习 分 类 器 我 们 使 用 交 叉 验 证 预 测 。 通 过 交 叉 验 证 法 ， 我 们 将 数 据 分 为 3 组 。 按 照 下 面 的 方 法 来 做 ： 用 组   1   和 组   2   训 练 模 型 ， 然 后 用 该 模 型 来 预 测 组   3 用 组   1   和 组   3   训 练 模 型 ， 然 后 用 该 模 型 来 预 测 组   2 用 组   2   和 组   3   训 练 模 型 ， 然 后 用 该 模 型 来 预 测 组   1 将 它 们 分 割 到 不 同 的 组 ， 这 意 味 着 我 们 永 远 不 会 用 相 同 的 数 据 来 为 其 预 测 训 练 模 型 。 这 样 就 避 免 了 过 拟 合 。 如 果 过 拟 合 ， 我 们 将 错 误 地 拉 低 了 漏 报 率 ， 这 使 得 我 们 难 以 改 进 算 法 或 者 应 用 到 现 实 生 活 中 。 S c i k i t - l e a r n [ 3 8 ]   有 一 个 叫 做   c r o s s v a l p r e d i c t [ 3 9 ]   ， 它 可 以 帮 助 我 们 理 解 交 叉 算 法 . 我 们 还 需 要 一 种 算 法 来 帮 我 们 预 测 。 我 们 还 需 要 一 个 分 类 器 来 做 二 元 分 类 [ 4 0 ] 。 目 标 变 量     只 有 两 个 值 ，     和   。 这 里 我 们 用   逻 辑 回 归 算 法 [ 4 1 ] ， 因 为 它 能 很 好 的 进 行 二 元 分 类 ， 并 且 运 行 很 快 ， 占 用 内 存 很 小 。 我 们 来 说 一 下 它 是 如 何 工 作 的 ： 不 使 用 像 随 机 森 林 一 样 多 树 结 构 ， 也 不 像 支 持 向 量 机 一 样 做 复 杂 的 转 换 ， 逻 辑 回 归 算 法 涉 及 更 少 的 步 骤 和 更 少 的 矩 阵 。 我 们 可 以 使 用   s c i k i t - l e a r n   实 现 的 逻 辑 回 归 分 类 器 [ 4 2 ] 算 法 。 我 们 唯 一 需 要 注 意 的 是 每 个 类 的 权 重 。 如 果 我 们 使 用 等 权 重 的 类 ， 算 法 将 会 预 测 每 行 都 为   ， 因 为 它 总 是 试 图 最 小 化 误 差 。 不 管 怎 样 ， 我 们 重 视 有 多 少 贷 款 要 被 取 消 赎 回 权 而 不 是 有 多 少 不 能 被 取 消 。 因 此 ， 我 们 给 逻 辑 回 归 [ 4 3 ] 类 的   关 键 字 传 递     参 数 ， 让 算 法 可 以 为 不 同   c o u n t s   的 每 个 类 考 虑 不 同 的 取 消 赎 回 权 的 权 重 。 这 将 使 我 们 的 算 法 不 会 为 每 一 行 都 预 测   ， 而 是 两 个 类 的 误 差 水 平 一 致 。 做 出 预 测 做 出 预 测 F a l s e f o r e c l o s u r e _ s t a t u s T r u e F a l s e f a l s e c l a s s _ w e i g h t b a l a n c e d f a l s e
既 然 完 成 了 前 期 准 备 ， 我 们 可 以 开 始 准 备 做 出 预 测 了 。 我 将 创 建 一 个 名 为     的 新 文 件 ， 它 会 使 用 我 们 在 最 后 一 步 创 建 的     文 件 。 下 面 的 代 码 ： 导 入 所 需 的 库 创 建 一 个 名 为     的 函 数 ： 使 用 正 确 的 关 键 词 参 数 创 建 逻 辑 回 归 分 类 器 创 建 用 于 训 练 模 型 的 数 据 列 的 列 表 ， 移 除     和     列 交 叉 验 证     D a t a F r a m e 返 回 预 测 结 果 7 .   1 0 .   1 3 .   预 测 误 差 预 测 误 差 现 在 ， 我 们 仅 仅 需 要 写 一 些 函 数 来 计 算 误 差 。 下 面 的 代 码 ： 创 建 函 数   ： 使 用   s c i k i t - l e a r n   计 算 一 个 简 单 的 精 确 分 数 （ 与 实 际     值 匹 配 的 预 测 百 分 比 ） 创 建 函 数   ： 找 到 原 本 应 被 预 测 模 型 取 消 赎 回 权 ， 但 实 际 没 有 取 消 的 贷 款 数 目 除 以 没 被 取 消 赎 回 权 的 贷 款 总 数 目 为 了 方 便 ， 将 目 标 和 预 测 结 果 合 并 到 一 个   D a t a F r a m e 查 找 漏 报 率 p r e d i c t . p y t r a i n . c s v c r o s s _ v a l i d a t e i d f o r e c l o s u r e _ s t a t u s t r a i n 1 .   i m p o r t   o s 2 .   i m p o r t   s e t t i n g s 3 .   i m p o r t   p a n d a s   a s   p d 4 .   f r o m   s k l e a r n   i m p o r t   c r o s s _ v a l i d a t i o n 5 .   f r o m   s k l e a r n . l i n e a r _ m o d e l   i m p o r t   L o g i s t i c R e g r e s s i o n 6 .   f r o m   s k l e a r n   i m p o r t   m e t r i c s 8 .   d e f   c r o s s _ v a l i d a t e ( t r a i n ) : 9 .           c l f   =   L o g i s t i c R e g r e s s i o n ( r a n d o m _ s t a t e = 1 ,   c l a s s _ w e i g h t = " b a l a n c e d " ) 1 1 .           p r e d i c t o r s   =   t r a i n . c o l u m n s . t o l i s t ( ) 1 2 .           p r e d i c t o r s   =   [ p   f o r   p   i n   p r e d i c t o r s   i f   p   n o t   i n   s e t t i n g s . N O N _ P R E D I C T O R S ] 1 4 .           p r e d i c t i o n s   =   c r o s s _ v a l i d a t i o n . c r o s s _ v a l _ p r e d i c t ( c l f ,   t r a i n [ p r e d i c t o r s ] ,   t r a i n [ s e t t i n g s . T A R G E T ] ,   c v = s e t t i n g s . C V _ F O L D S ) 1 5 .           r e t u r n   p r e d i c t i o n s c o m p u t e _ e r r o r f o r e c l o s u r e _ s t a t u s c o m p u t e _ f a l s e _ n e g a t i v e s 1 .   d e f   c o m p u t e _ e r r o r ( t a r g e t ,   p r e d i c t i o n s ) :
3 .   7 .   聚 合 到 一 起 聚 合 到 一 起 现 在 ， 我 们 可 以 把 函 数 都 放 在   。 下 面 的 代 码 ： 读 取 数 据 集 计 算 交 叉 验 证 预 测 计 算 上 面 的   3   个 误 差 打 印 误 差 4 .   一 旦 你 添 加 完 代 码 ， 你 可 以 运 行     来 产 生 预 测 结 果 。 运 行 结 果 向 我 们 展 示 漏 报 率 为   ， 这 意 味 着 我 们 没 能 预 测     的 取 消 贷 款 。 这 是 一 个 好 的 开 始 ， 但 仍 有 很 多 改 善 的 地 方 ！ 你 可 以 在 这 里 [ 4 4 ] 找 到 完 整 的     文 件 。 1 .   d e f   c o m p u t e _ e r r o r ( t a r g e t ,   p r e d i c t i o n s ) : 2 .           r e t u r n   m e t r i c s . a c c u r a c y _ s c o r e ( t a r g e t ,   p r e d i c t i o n s ) 4 .   d e f   c o m p u t e _ f a l s e _ n e g a t i v e s ( t a r g e t ,   p r e d i c t i o n s ) : 5 .           d f   =   p d . D a t a F r a m e ( { " t a r g e t " :   t a r g e t ,   " p r e d i c t i o n s " :   p r e d i c t i o n s } ) 6 .           r e t u r n   d f [ ( d f [ " t a r g e t " ]   = =   1 )   &   ( d f [ " p r e d i c t i o n s " ]   = =   0 ) ] . s h a p e [ 0 ]   /   ( d f [ ( d f [ " t a r g e t " ]   = =   1 ) ] . s h a p e [ 0 ]   +   1 ) 8 .   d e f   c o m p u t e _ f a l s e _ p o s i t i v e s ( t a r g e t ,   p r e d i c t i o n s ) : 9 .           d f   =   p d . D a t a F r a m e ( { " t a r g e t " :   t a r g e t ,   " p r e d i c t i o n s " :   p r e d i c t i o n s } ) 1 0 .           r e t u r n   d f [ ( d f [ " t a r g e t " ]   = =   0 )   &   ( d f [ " p r e d i c t i o n s " ]   = =   1 ) ] . s h a p e [ 0 ]   /   ( d f [ ( d f [ " t a r g e t " ]   = =   0 ) ] . s h a p e [ 0 ]   +   1 ) p r e d i c t . p y 1 .   d e f   r e a d ( ) : 2 .           t r a i n   =   p d . r e a d _ c s v ( o s . p a t h . j o i n ( s e t t i n g s . P R O C E S S E D _ D I R ,   " t r a i n . c s v " ) ) 3 .           r e t u r n   t r a i n 5 .   i f   _ _ n a m e _ _   = =   " _ _ m a i n _ _ " : 6 .           t r a i n   =   r e a d ( ) 7 .           p r e d i c t i o n s   =   c r o s s _ v a l i d a t e ( t r a i n ) 8 .           e r r o r   =   c o m p u t e _ e r r o r ( t r a i n [ s e t t i n g s . T A R G E T ] ,   p r e d i c t i o n s ) 9 .           f n   =   c o m p u t e _ f a l s e _ n e g a t i v e s ( t r a i n [ s e t t i n g s . T A R G E T ] ,   p r e d i c t i o n s ) 1 0 .           f p   =   c o m p u t e _ f a l s e _ p o s i t i v e s ( t r a i n [ s e t t i n g s . T A R G E T ] ,   p r e d i c t i o n s ) 1 1 .           p r i n t ( " A c c u r a c y   S c o r e :   { } " . f o r m a t ( e r r o r ) ) 1 2 .           p r i n t ( " F a l s e   N e g a t i v e s :   { } " . f o r m a t ( f n ) ) 1 3 .           p r i n t ( " F a l s e   P o s i t i v e s :   { } " . f o r m a t ( f p ) ) p y t h o n   p r e d i c t . p y . 2 6 2 6 % p r e d i c t . p y
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理