一小時(shí)內(nèi),構(gòu)建出屬于你自己的 Perplexity AI 搜索引擎

在 GitHub 上,我們發(fā)現(xiàn)了一個(gè)令人興奮的 Python 項(xiàng)目,它實(shí)現(xiàn)了類似于 Perplexity 等 AI 搜索引擎的搜索-提取-總結(jié)流程。這個(gè)項(xiàng)目非常簡單且實(shí)用,它是一個(gè)開源的對話式 AI 搜索引擎,用大約 250 行 Python 代碼就構(gòu)建了一個(gè)功能完備的搜索工具,能夠理解和生成自然語言,提供準(zhǔn)確的搜索結(jié)果。

??代碼在這里:https://github.com/pengfeng/ask.py

基本上給定一個(gè)查詢,程序?qū)?/b>

* 搜索谷歌排名前10的網(wǎng)頁

* 爬行并篩選頁面中的文本內(nèi)容

* 將文本內(nèi)容分塊并保存到矢量數(shù)據(jù)庫中

* 對查詢執(zhí)行向量搜索,并找到匹配度最高的10個(gè)塊

?* 使用前10個(gè)塊作為上下文,請求一個(gè)LLM生成答案

* 輸出答案并附上參考文獻(xiàn)

當(dāng)然,這個(gè)流程是真正的 AI 搜索引擎的一個(gè)非常簡化的版本,但它是理解基本概念的良好起點(diǎn)。?這個(gè)項(xiàng)目不僅適合開發(fā)者和技術(shù)人員,也適合任何對AI搜索技術(shù)感興趣的人。你可以自由地使用、修改和分發(fā)這些代碼。如果你對AI搜索技術(shù)充滿好奇,或者正在尋找一個(gè)高效的搜索解決方案,它絕對是一個(gè)值得探索的項(xiàng)目。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容