V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  nicoljiang  ›  全部回复第 35 页 / 共 63 页
回复总数  1256
1 ... 31  32  33  34  35  36  37  38  39  40 ... 63  
@phpc 这个跟追踪没什么关系的。
@firefox12 这个存储是提供热搜索的数据容量,用于记录数据和分析的不在这里算。而且我必须承认自有来源目前只占到 15%不到(因为完全自爬的都是大站数据,所以较少的数据能提供较多的结果),数据积累时间是一道迈不过去的坎,不止是我,360 搜索、搜狗搜索、头条搜索的起步都逃不开这个逻辑。
@blankfire
@holy_sin

我从不攻击对手,所以也希望对手保持良性地竞争吧。
至于百度,相信再给我三年时间,也难成百度的「对手」吧~
@ershierdu 官网通常会有一些特殊处理,我研究一下这个优化
@CuVee 在各方面完善程度都不如百度,百度多年的积累绝对不是水漂,多吉目前能成为不错的备胎就心满意足
@jacketma
@hyserendipity
@allgy
@int11
@img5d Logo 一开始就是打算做成狗子头像,但无奈找不到很好的,所以随便做的一个。至于域名,希望我有一天能买得起 duoji.com/net :doge :doge
@vsean 能不能帮忙邮件告诉我一下是哪个名字 [email protected]
@lovestudykid 虽然不确信你在说啥,但我总觉得我的意思好像被你生生曲解了。
@zgcwkj 前端用 PHP 很正常
@littlewing 这不是一点点量,是瞬间上千的 qps,早期百度初具规模的时候也被仅仅 100qps 也击垮过。而且这个 IP 并不是普通的 IP,是一个商业区的基站,所以处理也要谨慎。

不过不可否认,跟百度比无论功能、系统容量、安全性、甚至连缓存的完善程度都还不能相提并论,不过会慢慢变好。喜欢用什么搜索都没关系,甚至在我的帖子里嘲讽我现在不堪一击也是你的自由。只希望你的项目永远不会面临这种恶意攻击吧。
@k9982874 能否把相关关键词邮件我一下: [email protected] 可能漏处理了。
@littlewing 靠着「中国第一家自主知识产权的中文搜索引擎」这一民族情结,硬扛了下来。
@littlewing 可能你知道百度还不够早哦。百度刚出来的时候,曾被 100qps 的量断断续续打趴小两个月。
@stabc
这个区别一下子说不清楚,但我显然没有用 Searx,用了 SearX 的一眼就能看出来(知道 SearX 的人太多了)。
我可以简单说一下:倒排是 Solr,爬虫是自己的(没有独特的 ua,因为不支持 robot.txt ),分词是 ik 二开的,存储是 pika+mongodb。目前后端有 5 台服务器( 16c 128g 3t SSD )
想长期做的自然不只能套壳,但自己的数据积累需要时间,这很正常。头条搜索爆出来抓取百度的搜索结果,你要去抨击头条搜索也用 SearX 吗?是否稍显刻薄,而且 SearX 真的不算什么高质量的东西。

另外:「 reddit hongkong 」感谢提醒,回头处理一下。
@stabc
@fengci
@littlewing

数据来源并不 100%独立,但跟元搜索或者套壳有本质区别的。
反而 DuckDuckgo 的自然搜索结果倒完全算是套壳。
@FS1P7dJz 必须支持 Cookies 并非为了追踪,只是为了防止一些不必要的攻击。也许除了攻击外,支持无 Cookies 确实有重大意义,但我目前显然无力支撑。
@ffeii 我回头研究一下这个。
@admol 后期会做
@jaaazzz 这么夸张?
@songsong DuckDuckgo 非常优秀,如果能满足需求,那十分推荐使用。
@jkjoke
@junan008
@chunchu
@mogazheng

被攻击了,210.13.72.106 这个 IP。
@jkjoke
@lazyrm 一直 503 吗?还是?
@Tink 多谢搞机男
@find456789 这个有在调研,但目前肯能还有一些优先级更高的,比如翻译
@Morriaty
@Buges 不是套壳,精力有限目前也没有技术博客和技术群
@i4oolish 能否给一些关键词看看
@iyaozhen 是出来的比较慢么?
@wssy 能否给我一些例子呢?可以邮件发我 [email protected]
@Aliennnnnn 这个问题我一直定位不到,也复现不了,目前清理了一下缓存,你试试还有报错么?
@NastyAir 因为那段时间有三次比较厉害的攻击。现在基本上每月都有很多次大大小小的攻击
@Shazoo 啊?
@MikeV2EX
@SteveZou
@NullException
@Exia
@NastyAir
@melonzzz
@fengtalk 多谢各位。
@oahebky 收到,这个问题已经比较细和复杂了,我后面会研究一下,非常谢谢你。
2019 年 9 月 18 日
回复了 sakamoto123 创建的主题 站长 交换友链!一起进步。(日 PV 50w+ 的网站)
记得之前有个判决,貌似对网盘搜索不利(百度网盘在侵权中免责,网盘搜索全责)。
建议楼主低调一点
@comet 不会的。连搜索大部分时候都不需要 1 秒,跳转这边更不可能要好几秒。如果确实有这个问题,看能不能麻烦你帮忙截一下「开发者工具」的图。下面是我的情况:
https://nfiles.dogedoge.com/snap/2019-09-18-0LmY8s.png

记录里的第一行就是跳转的记录,大概 100 毫秒左右。
@comet 感谢你的认可,不过那个跳转链接跟追踪没什么关系的哈(不追踪不是指这个)。
1 ... 31  32  33  34  35  36  37  38  39  40 ... 63  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3468 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 22ms · UTC 04:37 · PVG 12:37 · LAX 21:37 · JFK 00:37
♥ Do have faith in what you're doing.