天啦擼！回溯你在網(wǎng)上看過、做過的一切，也有免費軟件可用了！
簡單說，針對任何“之前好像在哪看過”的電腦文件，只需輸入相關(guān)搜索詞，這個軟件都能幫你一鍵輕松回憶了。
你品，你細品。這像不像《黑鏡》中“你的全部歷史”那一集，描述了一種人人都植入芯片、能隨時讀取過去記憶的未來生活。
更有意思的是，發(fā)明這個軟件的朋友將其命名為Pensieve （冥想盆），它是指”哈利波特中提取和回顧記憶的那個大水盆子”。
笑死，你別說還真貼切！事實上，這個項目大量借鑒了之前就很火的“記憶助手軟件”Rewind和微軟的Windows Recall功能。
但是，這兩個emmm……Rewind要收費（基礎(chǔ)版12美元/月），微軟的延期了。
所以，既免費、又立即可用的Pensieve是真香了！
這不，代碼更新后迅速登上了GitHub熱榜~
記住并回憶電腦屏幕上的所有內(nèi)容我們先來看GitHub頁面上Pensieve（原名為Memos）的官方介紹：
一個以隱私為中心的被動錄制項目。它可以自動記錄屏幕內(nèi)容，構(gòu)建智能索引，并提供方便的網(wǎng)頁界面以檢索歷史記錄。
是不是聽起來還是有點抽象？
別急，我們馬上拿Rewind和Windows Recall來一波回憶殺（doge）。
先說微軟畫了很久的大餅Windows Recall。這個功能是今年5月首次被提出的，當時微軟計劃將其作為Copilot + PC的一項旗艦功能推出。
當時主打，任何文件或網(wǎng)頁瀏覽記錄都可以用自然語言搜索，輕松回憶任何東西。
然而，由于安全方面的擔(dān)憂，該功能的發(fā)布被一再推遲，且至今仍未上線。
細數(shù)一下，微軟最初計劃于6月18日發(fā)布，但由于安全問題，到了時間點卻未能按時上線。
后來微軟對其進行了改進，加入了高級加密和Windows Hello認證，數(shù)據(jù)被保存在VBS安全區(qū)中，第三方應(yīng)用和用戶無法訪問，而且截圖將自動排除諸如密碼和信用卡信息等敏感內(nèi)容。
一番改造后，微軟又計劃在10月底開始測試新版本的Windows Recall。
直到今日，該功能仍未上線，微軟還在改改改……
此外，對于“記憶助手”Rewind，雖然干得熱火朝天，但奈何它是收費滴。
Rewind成立于2020年，主打通過AI技術(shù)捕捉和整理用戶的全部生活內(nèi)容。
具體功能和Windows Recall類似，也是幫助用戶記錄并回溯在手機或電腦上看過的所有信息。
不過除了走到“回憶起”這一步，Rewind走得更遠了一點。
它還接入了GPT-4，能夠?qū)@些“記憶”進行更深一步的操作，使得用戶可以通過提出問題、創(chuàng)建摘要等方式與系統(tǒng)進行交互。
而就在Rewind功能更加完備的過程中，它也收獲了資本的青睞。
截至今年初，Rewind已經(jīng)完成了兩輪融資，共計2790萬美元，估值約為3.5億美元（25.34億人民幣）/span>，而且兩輪中都有OpenAI CEO Sam Altman和a16z的身影。
相比之下，根據(jù)項目作者的說法，Pensieve的最大特點在于：
允許用戶完全控制自己的數(shù)據(jù)，避免將數(shù)據(jù)傳輸?shù)讲豢尚诺臄?shù)據(jù)中心。
具體而言，Pensieve擁有以下幾個特點：
簡單安裝，只需通過pip安裝依賴項即可開始；
所有數(shù)據(jù)均本地存儲，允許完全本地操作和自主數(shù)據(jù)管理；
實現(xiàn)全文和向量搜索；
與Ollama（一個支持本地部署LLM的開源框架）集成，增強搜索能力；
支持Mac和Windows（Linux支持正在開發(fā)中）；
兼容任何OpenAI API模型（例如，OpenAI、Azure OpenAI、vLLM等）；
允許用戶選擇和設(shè)置語言模型（包括中文和英文）；
允許通過插件擴展功能；
下面重點介紹大家關(guān)心的幾個問題。
第一，需要占用多少存儲。
作者貼心預(yù)估了一下，每月按20個工作日計算，產(chǎn)生的截圖文件約8GB。截圖會進行去重，如果連續(xù)截圖內(nèi)容變化不大，那么只會保留一張截圖。
SQLite數(shù)據(jù)庫大小取決于索引的截圖數(shù)量，10萬張截圖索引后約占用2.2GB存儲空間。
第二，關(guān)于功耗和硬件設(shè)備。
Pensieve默認需要兩個計算密集型任務(wù)：1）一個是OCR任務(wù)，用于從截圖提取文本；2）另一個是嵌入任務(wù)，用于提取語義信息和構(gòu)建向量索引；
對于前者，作者使用CPU執(zhí)行，并針對不同的操作系統(tǒng)優(yōu)化以最小化CPU使用。
而對于后者，作者認為可以按照自己的設(shè)備進行選擇：
NVIDIA GPU設(shè)備優(yōu)先使用GPU；
蘋果設(shè)備優(yōu)先使用Metal GPU；
其他設(shè)備使用CPU；
當然，為了避免影響用戶日常使用，Pensieve還采取了優(yōu)化措施。
一方面，Pensieve能夠根據(jù)用戶的活動模式動態(tài)調(diào)整索引構(gòu)建的頻率。也就是說，在用戶使用電腦時，它會降低索引構(gòu)建的優(yōu)先級，以減少系統(tǒng)資源的占用。
另一方面，Pensieve在設(shè)計時考慮了電池使用壽命，通過監(jiān)控電池狀態(tài)，當電池電量低于某個閾值時，會自動減少資源消耗，以延長電池使用時間。
第三，隱私安全如何保證。
Pensieve作者提出了4點措施來保證用戶隱私，包括：
1、代碼是完全開源且易于理解的Python代碼，允許任何人審查以確保沒有后門或惡意軟件。
2、本地化數(shù)據(jù)存儲。Pensieve將所有數(shù)據(jù)存儲在用戶的本地設(shè)備上，而不是上傳到云端服務(wù)器。
3、易于卸載：Pensieve提供了簡單的卸載過程，用戶可以輕松地從系統(tǒng)中移除。
4、數(shù)據(jù)處理完全由用戶控制。用戶可以自由選擇何時啟動或停止記錄，以及如何管理和查詢自己的數(shù)據(jù)。
另外，作為一個獨立項目，Pensieve所使用的機器學(xué)習(xí)模型（包括VLM和嵌入模型）都允許由用戶選擇。
這就上手安裝試試概括而言，使用Pensieve大致包括以下幾個步驟：
安裝Pensieve
初始化pensieve配置文件和sqlite數(shù)據(jù)庫
使用兩行命令啟動服務(wù)
打開瀏覽器并訪問Web界面
BTW，Pensieve作者也貼心奉上了“食用指南”，簡單概括如下：
1、選擇適當?shù)那度肽Ｐ?br/>
由于Pensieve使用嵌入模型提取語義信息并構(gòu)建向量索引，故選擇合適的嵌入模型至關(guān)重要。
根據(jù)用戶習(xí)慣的語言，作者提供了中英兩種模型。
2、使用Ollama進行視覺搜索
默認情況下，Pensieve僅啟用OCR插件從截圖提取文本并構(gòu)建索引。然而，這種方法極大限制了沒有文本的圖像的搜索效果。
對此，我們需要一個與OpenAI API兼容的多模態(tài)圖像理解服務(wù)，剛好Ollama可以勝任。
需要提醒的是，在啟動VLM功能之前，對硬件有一定要求：
推薦配置：至少8GB VRAM的NVIDIA顯卡或搭載M系列芯片的Mac；
CPU模式不推薦，因為它會導(dǎo)致系統(tǒng)嚴重卡頓；
3、全文索引
由于Pensieve默認情況下并非所有截圖都會立即索引，因此，需要以下命令行，才能實現(xiàn)全文索引功能。
更多安裝細節(jié)可參見原項目庫。
