如何評價一個"AI 搜索引擎"是好是壞?
如何判斷一個 AI 搜索引擎比傳統(tǒng)搜索引擎 “更好”？
我能想到的指標有:
- 正確性。返回給用戶的內(nèi)容是對的，不能胡編
- 人類理解速度。如果 AI 搜索引擎返回的內(nèi)容比傳統(tǒng)搜索引擎能讓人更快理解，那我們可以說“AI 搜索引擎比傳統(tǒng)搜索引擎更好”
至于“請求響應(yīng)速度”之類的指標？不重要。
所以，我們可以設(shè)計一些“基準測試”：選一些我不懂的概念/知識，看看哪種工具能更快教會我，而且教的是對的。
Q: 那“相關(guān)性”指標呢？
A: 個人覺得, “相關(guān)性”指標不適合拿來測評 AI 搜索引擎
測試1. How to implement a state machine in C++?
讓工具教教我怎么在c++里寫狀態(tài)機
phind.com
phind.com 是一個 AI 搜索引擎，我詢問 phind.com ，它幫我列出了4種寫法，很清晰。粘貼到記事本里，一共102行字（包括代碼占用的行數(shù)）
搜到的文章廢話太多。
比如第一篇，前面一大段都是廢話。正文字數(shù)特別多，我粘貼到記事本里發(fā)現(xiàn)一共801行字（是 phind.com 返回結(jié)果的8倍）
評價測試1
phind.com 起到了 summary的作用，而google到的文章信息密度低，要閱讀的文字行數(shù)是 phind.com結(jié)果的8倍。
phind.com 獲勝。
測試2. C++中，拷貝std::optional<std::vector> 時，會把 vector 完整的“深拷貝”一份么?
即: 拷貝 optional 變量時，會把肚子里的東西深拷貝么?
phind.com
這次直接問 phind.com ，看懂了。寫代碼驗證了一下，答對了。
（其實上面的答案是重新生成的，原始答案是下面這個，截圖時候有彈窗，不小心擋住了）
-
搜索 "deep copy std::optional<std::vector>"，沒命中
image.png -
搜索 "does std::optional deep copy"。第一條答案意義不明，閱讀第一個答案浪費了我的時間。
第二條答案可以解答問題?？偟膩碚f，相比于 phind.com 的回答，我需要閱讀更多的文字，包括一些無關(guān)文字。
image.png
評價測試2
phind.com 獲勝
測試3. What is "Value categories" in C++
我不懂 C++ 里的 Value categories 是什么意思，讓工具們來教教我
搜索結(jié)果如下:
看不懂。以搜到的 cppreference 內(nèi)容為例，看懵了:
chatgpt 翻譯
翻譯成中文，還是看不懂
讓 chatgpt 幫我解釋
感覺解釋的更好，但是說實話，看不懂
phind.com 搜索+chatgpt翻譯
phind.com 是一個 AI 搜索引擎，搜到的內(nèi)容是英文的。我把搜到的內(nèi)容使用 chatgpt 翻譯成中文。
看不懂。
google 搜視頻
到此我還是不明白，決定搜視頻。
搜到一個視頻 https://www.youtube.com/watch?v=XS2JddPq7GQ
聽了一會兒，講得不錯，能讓我聽懂，但是時間太長了，先扔進收藏夾、以后再看。
google 搜視頻+視頻提效工具
TODO
輔助使用summary生成器、字幕翻譯，看看能不能提效
測試4. what is perfect forwarding in c++
搜書: google talk-to-books
https://books.google.com/talktobooks/
看起來不錯
但是沒法查看書籍詳情，點擊會跳到這里來:
phind.com
解釋的還行？我好像知道這概念是啥了，但看完還是困惑"為什么要設(shè)計這東西？這和 std::move 有啥區(qū)別?"
繼續(xù)看phind.com給的鏈接列表，看第二個鏈接的文章終于看懂了，明白了這東西是啥、解決啥問題
第一篇文章太長。也許能讓我看懂吧，但我沒耐心看完
手動搜書
作為對比，我打開了本地的 C++ Primer Plus，搜 "perfect forward" 啥也搜不到:
TODO
- 多測試一些案例，做統(tǒng)計
- 統(tǒng)計一下 phind.com 正確率
- 搜書，排查下 google books 看不了的問題
- 搜視頻時，能實現(xiàn)"搜索視頻內(nèi)說過的話"么？
- 總結(jié)下工具使用的最佳實踐：什么場景該用什么工具?
