虚心学习 发表于 2019-2-4 15:44:27

机器有了，域名还没吧？xiuzhen.net要吗。哈哈

西崽猪猪 发表于 2019-2-4 15:30:00


西崽猪猪 发表于 2019-2-4 15:25

楼主你要跪，大盘鸡不适合开小说站。
现在小说站标配都是 4块SSD RAID10。
小文件太多了采集加访问非常影响 ...
之搞过一个，没那么高要求，hatch家搞个1.5t就可以，然后反代快点，重点是哪里可以采集到优质不缺章节广告插入少的资源

a3607 发表于 2019-2-4 15:30:30


biubiu 发表于 2019-2-6 08:40

之搞过一个，没那么高要求，hatch家搞个1.5t就可以，然后反代快点，重点是哪里可以采集到优质不缺章节广 ...

010.gif
你这么说那你肯定是没访问量
频繁读取 I/O的资源监测可以看见
HDD单盘基本130MB/s满载

biubiu 发表于 2019-2-4 16:33:40


西崽猪猪 发表于 2019-2-6 12:33

你这么说那你肯定是没访问量
频繁读取 I/O的资源监测可以看见
HDD单盘基本130MB/s满载 ...
强迫症受不了缺章节，内容被插入符号组合广告，后来折腾规则也未果，找某宝写的规则也不行，就不搞了

西崽猪猪 发表于 2019-2-4 15:44:00

有没用大佬发个程序啊，现在大盘鸡有好几个就差小说程序了 本帖最后由 timelo 于 2019-2-6 20:01 编辑

我用的wmcms但是代码写的贼**差 今年准备重写……自己写的Python 爬数据

biubiu 发表于 2019-2-4 16:54:57

wmcms但是源码很差

timelo 发表于 2019-2-4 18:55:30


西崽猪猪 发表于 2019-2-4 15:25

楼主你要跪，大盘鸡不适合开小说站。
现在小说站标配都是 4块SSD RAID10。
小文件太多了采集加访问非常影响 ...
访问量低的话，楼主大盘鸡没问题。
你这个配置，起码得千万pv往上了，才会硬盘IO瓶颈。

timelo 发表于 2019-2-5 10:56:57

"
我一般都是派森自己爬，什么登录验证，cf验证都突破了。就是麻烦一点，一个目标站点点对点的爬

wcn 发表于 2019-2-4 18:55:00

最近爬科技文章做流量垃圾站来着。。。

achen0207 发表于 2019-2-6 02:59:10


achen0207 发表于 2019-2-6 18:12

我一般都是派森自己爬，什么登录验证，cf验证都突破了。就是麻烦一点，一个目标站点点对点的爬 ...

lol.gif
   对， 每个目标站点都要研究一下爬取的规则 ，但是自己写的 比较方便呀
页: 1 [2] 3
查看完整版本: 建立小说网站