@CEBBCAT 原来如此, 我也想用这个了, 极简就是美, 字体是里面自带的? Hugo 大法好啊

人打电话来找你要钱, 你怎么还不好意思了, 是不是想多了

答案明摆着了, 现在也不知道还有没有复读
国情就是: 没本事的人, 一考定终身, 有资本的人, 不考也能混. 家里有资本的话, 外国大学有的是名字好听的, 平民子弟的出路, 如果不是被历史选中那些极个别人, 就只有高考一条路

有个说法不知真假, 显意识来自左脑，运算速度慢，靠逻辑思维；潜意识，也就是右脑的运算速度非常快，我们甚至无法察觉

所以人们在做选择时候的犹豫, 不是因为没有做出选择, 而是潜意识已经给出了选择, 但由于显意识计算太慢, 无法证明这个选择的正确性

跑到论坛来问也是想要把单机计算改为云计算, 希望大家来帮你证明这个命题

所以问题来了, 你以为 V2 上的会像某乎一样给你带几十个参考文献, 下飞机不先回家先回答你问题吗? 这里都是来划水的, 很多时候故意和楼主唱反调都大有人在

一句话总结: 趁着年轻不但不要怕犯错, 还应该多多去试错, 年轻是资本, 如果不搏一把, 年纪大了以后空余恨

以前挂在 supervisor 上的时候, 默认的 WEB UI 那个用 Unix socket 实现的倒是可以看, 中文友好问题得自己配置点东西
后来挂在 systemd 上以后, 用 Cockpit 看部分日志, 不过和你说的不太一样
然后工作时候是托管在阿里云日志里了... 也不是你想要的...

总而言之, Google 搜关键词吧: Python realtime log web ui

requests 只是让代码写起来快, 跑起来想快还是得考虑其他的, 比如用 gevent 代替 threading, 比如用 aiohttp 代替 requests, aiohttp 的 qps 不开 uvloop 的情况下是 requests + threading 的三倍多, 虽然 golang 原生 net/http 是 requests 十几倍...

这个年代了, 协程的 CPU 利用率高, 状态切换开销小, 不用考虑并发限制(也可以手动干预限制), 很少考虑多线程竞态的锁关系, 学点也不吃亏

class ThreadPoolExecutor(_base.Executor):

# Used to assign unique thread names when thread_name_prefix is not supplied.
_counter = itertools.count().__next__

def __init__(self, max_workers=None, thread_name_prefix='',
initializer=None, initargs=()):
"""Initializes a new ThreadPoolExecutor instance.

Args:
max_workers: The maximum number of threads that can be used to
execute the given calls.
thread_name_prefix: An optional name prefix to give our threads.
initializer: An callable used to initialize worker threads.
initargs: A tuple of arguments to pass to the initializer.
"""
if max_workers is None:
# Use this number because ThreadPoolExecutor is often
# used to overlap I/O instead of CPU work.
max_workers = (os.cpu_count() or 1) * 5


这里源码里都写了建议线程池大小了

对 Python 来说, 多线程并不会利用多核, 所以一堆线程是靠系统的不断切换来确定线程完成状态的, 切换的多了自然开销就大了, 性能损失也就大了

多进程也是一个道理, 你就俩核心的话, 不断切换来切换去, 那 CPU 大部分时间都在切换状态上, 根本没时间干活, 也会变慢

权威一点的搜 Google , 一个意思

https://www.google.com.hk/search?q=Python+best+thread+pool+size

https://stackoverflow.com/questions/42541893/maximum-pool-size-when-using-threadpool-python

之前试过不到期退租, 违约金是挺高, 管家直接建议我转租, 最后一分钱没多花...

本来以为是钓鱼, 点进去发现, 我近视眼是不是好了...
特地下了个插件看了下

font-family (stack):
Arvo, "Helvetica Neue", Helvetica, "Nimbus Sans L", Arial, "Liberation Sans", "PingFang SC", "Hiragino Sans GB", "Noto Sans CJK SC", "Source Han Sans SC", "Source Han Sans CN", "Microsoft YaHei", "Wenquanyi Micro Hei", "WenQuanYi Zen Hei", "ST Heiti", SimHei, "WenQuanYi Zen Hei Sharp", sans-serif
Font being rendered:
Arvo
72.7%
Microsoft YaHei
27.3%

有那么几种数据碰了就犯法, 用户数据(不管是否隐私), 收费 /私有数据, 逆向客户端

买笔记本双十一比平时活动一般会便宜两百, 不过我说的是我以前买的那俩七八千的, 再贵点的可能还会便宜多点

至于买散件, 你要每个都去比价? 这就更好估算了, 看看你花一两个小时比价值不值这两百就好了

@uyhyygyug1234 反爬听说过蜜罐藏毒的, 第一次见把自己毒死来灭蚊子的...

聚焦爬虫常见的组件就是下载器, 解析器, 存储器
此外还得考虑调度器, 代理池, 日志系统那些
避免重复数据和压力过大, 可以在 解析器-存储器 以及 调度器-下载器 之间加上消息队列服务. 以上 4 或 5 个部件统一以后, 拆起来就容易了. 必要时候下载器和解析器之间也可以缓存原始 Response
代理池得维护一份, 毕竟有些不存在的网站也要采集, 还得避免限频反爬
日志系统做好分析, 方便报警和调试

爬虫多了确实难管理, 最好还是套框架重构(舍弃旧代码)

如果是 Windows, superfetch 服务和你说的有点关系, 简而言之就是热数据在内存留备份避免重新从硬盘 IO 进来

@Trim21 那个 XXlab...
没自研能力的话, 直接套 Scrapy 或者 pyspider (貌似作者也在 V2) 也算是省心省力的, 那个前后端现成的 lab 因为源码没读过也没用过, 就不盲目推了, 不过看 demo 是挺好看的

有一次还看到个跑协程的框架, 名字记不起来了

PS:

前几天试了下 Python 并发能力, 访问 gin 在本地接口, 不知道是不是 aiohttp 有 C 加成的原因

3.7.1 (v3.7.1:260ec2c36a, Oct 20 2018, 14:57:15) [MSC v.1915 64 bit (AMD64)]

Aiohttp (没有 uvloop)
async_test: 2000 / 2000, 100.0%, cost 1.4881 seconds, 1344.0 qps.

requests+threading

2000 / 2000, 100.0%, cost 4.695 seconds, 426.0 qps.

golang, net/http
2000 / 2000, 100.00 %, cost 0.33 seconds, 5990.95 qps.

这东西说起来简单, 实现起来费了大劲了...

偷偷地说: 等那个人来吧

心率问题就老老实实去医院, 这里都是段子手