设为首页收藏本站

简体中文 繁體中文 English 日本語 Deutsch 한국 사람 بالعربية TÜRKÇE português คนไทย Français

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 73|回复: 11

98中文字幕

[复制链接]

6

主题

185

回帖

482

积分

中级会员

积分
482
发表于 2020-1-23 17:35:10 | 显示全部楼层 |阅读模式
本帖最后由 bbsbbs 于 2020-2-22 12:54 编辑

闲来无事写了一个抓取某网站magnet链接脚本。python不会用,只能用shell脚本
写的比较粗糙,献丑了。初步估算4600+个中文字幕

[ol]
  • #!/bin/bash
  • DOMAIN=www.98ssw.space
  • #DOMAIN=www.98tang.com
  • #DOMAIN=www.98ddt.xyz
  • #DOMAIN=98ssw.site
  • #中文字幕版块ID为103
  • FORUM_ID=103
  • #THREAD_START即版块进去页码数,需要按照论坛版块实际情况修改。中文字幕版块有156页
  • THREAD_START=156
  • THREAD_STOP=1
  • #为了减少被封,特意增加sleep参数,取消抓取速度会更快
  • SLEEP_TIME=1
  • #按照时间由早到近倒叙抓取,可以按照需要修改成由新到旧。
  • for((i=$THREAD_START;i>=$THREAD_STOP;i--));
  • #for((i=$THREAD_STOP;i thread$i.txt;
  • #不排序去除重复行
  • awk '!x[$0]++' thread$i.txt > sort_thread$i.txt;
  • #添加网址前缀,形成完整链接
  • sed -i "s/^/https:\/\/$DOMAIN\/&/g" sort_thread$i.txt;
  • cat sort_thread$i.txt | while read line; do sleep $SLEEP_TIME && wget -qO- $line | grep -i magnet|cut -d ">" -f6|cut -d " magnet$i.txt
  • #取消sleep参数,请用下面命令
  • #cat sort_thread$i.txt | while read line; do curl $line | grep -i magnet|cut -d ">" -f6|cut -d " magnet$i.txt
  • done
  • [/ol]复制代码

    cat magnet*.txt >> magnet_all.txt
  • 回复

    使用道具 举报

    3

    主题

    99

    回帖

    255

    积分

    中级会员

    积分
    255
    发表于 2020-1-23 17:41:13 | 显示全部楼层
    本帖最后由 CACss 于 2020-1-23 17:45 编辑

    要是能表明番号就更好

    类似这样的


    回复

    使用道具 举报

    6

    主题

    185

    回帖

    482

    积分

    中级会员

    积分
    482
     楼主| 发表于 2020-1-24 12:17:00 | 显示全部楼层
    本帖最后由 bbsbbs 于 2020-1-25 13:27 编辑

    TA分享了1个文件给你,在奶牛快传首页(cowtransfer.com)输入取件码:wtv1oy (24小时内有效) 查看文件列表,或直接点击取件链接:: https://c-t.work/s/ff55bd24a8794d 查看文件列表

    带番号版本
    TA分享了1个文件给你,在奶牛快传首页(cowtransfer.com)输入取件码:86ccsy (24小时内有效) 查看文件列表,或直接点击取件链接:: https://c-t.work/s/e0efb8f96de64d 查看文件列表


    [ol]
  • #!/bin/bash
  • #DOMAIN=www.98ssw.space
  • #DOMAIN=www.98tang.com
  • #DOMAIN=www.98ddt.xyz
  • DOMAIN=www.98ssw.site
  • #中文字幕版块ID为103
  • FORUM_ID=103
  • #THREAD_START即版块进去页码数,需要按照论坛版块实际情况修改。中文字幕版块有157页
  • THREAD_START=157
  • THREAD_STOP=1
  • TMP_HTML="/tmp/tmp.html"
  • #为了减少被封,特意增加sleep参数,取消抓取速度会更快
  • SLEEP_TIME=1
  • function GET_INFO()
  • {
  • keywords="$(grep keywords $1|cut -d '"' -f4)"
  • magnet_link="$(grep magnet $1|cut -d ">" -f6|cut -d "=$THREAD_STOP;i--));
  • #for((i=$THREAD_STOP;i thread$i.txt;
  • #不排序去除重复行
  • awk '!x[$0]++' thread$i.txt > sort_thread$i.txt;
  • #添加网址前缀,形成完整链接
  • sed -i "s/^/https:\/\/$DOMAIN\/&/g" sort_thread$i.txt;
  • #cat sort_thread$i.txt | while read line; do sleep $SLEEP_TIME && curl $line | grep -i magnet|cut -d ">" -f6|cut -d " magnet$i.txt
  • cat sort_thread$i.txt | while read line; do curl -o $TMP_HTML $line | GET_INFO $TMP_HTML; done > Chinese$i.txt
  • done[/ol]复制代码
  • 回复

    使用道具 举报

    9

    主题

    480

    回帖

    1067

    积分

    金牌会员

    积分
    1067
    发表于 2020-1-23 17:49:00 | 显示全部楼层
    是让人营养不良的那个站吗
    回复

    使用道具 举报

    0

    主题

    131

    回帖

    320

    积分

    中级会员

    积分
    320
    发表于 2020-1-23 17:36:44 | 显示全部楼层
    什么来的
    回复

    使用道具 举报

    6

    主题

    185

    回帖

    482

    积分

    中级会员

    积分
    482
     楼主| 发表于 2020-1-23 17:38:07 | 显示全部楼层

    CACss 发表于 2020-1-23 17:41

    要是能表明番号就更好

    类似这样的

    不会搞啊
    回复

    使用道具 举报

    542

    主题

    2619

    回帖

    7126

    积分

    论坛元老

    积分
    7126
    发表于 2020-1-23 17:43:19 | 显示全部楼层

    bbsbbs 发表于 2020-1-23 17:36

    TA分享了1个文件给你,在奶牛快传首页(cowtransfer.com)输入取件码:wtv1oy (24小时内有效) 查看文件列表 ...

    3000个链接15T  额度满了
    回复

    使用道具 举报

    100

    主题

    940

    回帖

    2288

    积分

    金牌会员

    积分
    2288
    发表于 2020-1-23 18:21:59 | 显示全部楼层

    CACss 发表于 2020-1-23 17:41

    要是能表明番号就更好

    类似这样的

    你怎么这么优秀啊~~

    回复

    使用道具 举报

    100

    主题

    940

    回帖

    2288

    积分

    金牌会员

    积分
    2288
    发表于 2020-1-23 17:41:00 | 显示全部楼层

    zlpd 发表于 2020-1-23 18:24

    3000个链接15T  额度满了

    一个月1600的额度吧~~

    回复

    使用道具 举报

    0

    主题

    1

    回帖

    4

    积分

    新手上路

    积分
    4
    发表于 2020-1-23 18:24:05 | 显示全部楼层

    yidaomm 发表于 2020-1-23 22:05

    一个月1600的额度吧~~

    很明显是3000的额度啊 不然怎么知道 15T
    yidaomm 发表于 2020-1-23 22:05

    一个月1600的额度吧~~

    什么额度?115?
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    Archiver|手机版|小黑屋|Discuz! X

    GMT+8, 2026-7-2 07:55 , Processed in 0.014644 second(s), 6 queries , Gzip On, Redis On.

    Powered by Discuz! X5.0

    © 2001-2026 Discuz! Team.

    快速回复 返回顶部 返回列表