求教一个专题的搜索引擎怎么搭建？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 1227 天前的主题，其中的信息可能已经有所发展或是发生改变。

想着做一个特定方向的搜索引擎，比如只是搜索几个站点的搜索引擎，这样需要怎么样建设呢？

搜索引擎

求教

站点

搭建

12 条回复 • 2021-08-22 01:13:28 +08:00

israinbow

2021-08-19 21:16:21 +08:00

谷歌搜索网站域名带个 site: 前缀.
或着自己爬网站做关键词查询.

funet

2021-08-19 21:20:50 +08:00

https://www.kjsearch.com/
像跨境搜索这样吗？跨境电商垂直搜索

sjmcefc2

2021-08-19 21:25:47 +08:00

@funet 嗯，是这样类似的。研究了一下这个，帮助打不开，关于打不开，搜索出来的都是知乎，不过确实想做的和这个很类似。

sjmcefc2

2021-08-19 21:26:11 +08:00

@israinbow 请教有类似的开源项目吗？

sjmcefc2

2021-08-19 21:26:31 +08:00

@funet 也是想定向的搜索几个站点。

huabalance

2021-08-20 15:33:19 +08:00 via Android

谷歌搜索 yacy

Tianyan

2021-08-20 17:30:16 +08:00

自定义搜索啊

sjmcefc2

2021-08-21 10:04:29 +08:00

@huabalance 这个很好啊

sjmcefc2

2021-08-21 10:05:00 +08:00

自定义搜索，这个怎么具体做呢

sjmcefc2

2021-08-21 12:42:26 +08:00

@huabalance 这个可以搜中文吗

huabalance

2021-08-21 16:23:51 +08:00

@sjmcefc2 你为什么不试一下呢。。可以搜。

sjmcefc2

2021-08-22 01:13:28 +08:00

@huabalance 安装使用了，能够中文。
但是好像一次只能执行一批爬虫任务，想着有了一个任务之后，在开始，就断掉了。
而且
HTTP ERROR 500 java.lang.OutOfMemoryError: Java heap space
URI: /yacysearch.html
STATUS: 500
MESSAGE: java.lang.OutOfMemoryError: Java heap space
SERVLET: net.yacy.http.servlets.YaCyDefaultServlet-5dcb4f5f
CAUSED BY: java.lang.OutOfMemoryError: Java heap space
Caused by:

java.lang.OutOfMemoryError: Java heap space