查看: 705|回复: 0
收起左侧

[软件] 怎么用python libcurl 以多线程拉取数据?

[复制链接]
kxmp
发表于 2019-9-21 12:50:32 | 显示全部楼层 |阅读模式
本帖最后由 kxmp 于 2019-9-21 13:15 编辑

我根本都不知道curl库有多少个
我只是看到curl进程版的太费内存 我根本用不起了 而且完全没这个必要. 因为需要爬很大量的数据.

我只需要很简单都要求
我有一个列表 叫做addr.txt 这个里面包含ip地址或者域名. 关键是他每行一个. 就这个格式.
我想把这个文件里面的地址 输入到一个变量里面. 让curl去使用他.

我想要开很多线程. 比如50个.

不知道libcurl会自动读取linux的根证书吗? 不会的话 该怎么办呢?

curl的直接输出 我想把它输入到另一个文件里面. 保存为结果.

目前需要用到参数-i -I --resolve -H -A 这几个 不知道对应的api是什么 和怎么用.然后py怎么过滤输出呢 把输出过滤下就更好了.我打算用pycurl!!
------------------------------------------------------------------------------------------------------
总之会不会用的都给我讲讲
比如curl -I -i 这2个大小写的i api怎么调用的 格式是什么呢?
我看到curl他说他可以下载10个文件 用1个线程 那这个一个线程下载一个文件 和一个线程下载多文件 改具体怎么写呢!?
我发现这个curl还分 同步异步的. 异步的看起来适合爬大量数据 效率也高. 有没有人会用呢?



您需要登录后才可以回帖 登录 | 快速注册

本版积分规则

手机版|杀毒软件|软件论坛| 卡饭论坛

Copyright © KaFan  KaFan.cn All Rights Reserved.

Powered by Discuz! X3.4( 沪ICP备2020031077号-2 ) GMT+8, 2024-11-25 04:04 , Processed in 0.118867 second(s), 16 queries .

卡饭网所发布的一切软件、样本、工具、文章等仅限用于学习和研究,不得将上述内容用于商业或者其他非法用途,否则产生的一切后果自负,本站信息来自网络,版权争议问题与本站无关,您必须在下载后的24小时之内从您的电脑中彻底删除上述信息,如有问题请通过邮件与我们联系。

快速回复 客服 返回顶部 返回列表