測報告目錄關(guān)于作者測試感受測試結(jié)果難度分級說明ETH價格預(yù)測會員經(jīng)濟GDP分析美股歷史跌幅分析制定提前退休計劃PPT{巴黎旅行巴黎旅行PPT制作紐約租房PPTLLM產(chǎn)業(yè)報告+PPTAIAgents教程指南奈飛電影Excel+郵件HomeBots策略PPT結(jié)尾關(guān)于作者?作者郎瀚威及團隊，郎瀚威現(xiàn)居美國硅谷PaloAlto，GPTDAO分析師，第二作者貓貓頭，也在硅谷，小紅書：107279551?感謝劉淵，And，周江嶺，HEXIN生財提供的Prompt。我們從群友提供的prompt中隨機抽了5個。?更多數(shù)據(jù)內(nèi)容請關(guān)注公眾號：郎瀚威Will，新聞資訊請關(guān)注推特：@financeyf5獲取更多信息?官網(wǎng)飛書：https://aiwatch.ai/；GenAI網(wǎng)頁數(shù)據(jù)2025Q1報告：鏈接?加數(shù)據(jù)報告群：下方企業(yè)微信掃碼，備注加Will的數(shù)據(jù)報告分享群，請簡單自我介紹，僅用于討論行業(yè)數(shù)據(jù)，發(fā)廣告會飛機。?商務(wù)合作洽談，請加微信lang2057，請備注公司信息，因為作者微信已經(jīng)滿了?服務(wù)包括：1對1推特增長咨詢服務(wù)等。數(shù)據(jù)庫服務(wù)，包含對于市場上產(chǎn)品的詳細跟蹤和打標(biāo)，了解商機先人一步。咨詢服務(wù)包含專業(yè)團隊對于公開數(shù)據(jù)的收集，調(diào)研，增長分析等，4000美元/月。推特增長顧問服務(wù)，分析歐美競對，構(gòu)建推特增長路徑。價格同上。Will小助手企業(yè)微信進不去群掃這個數(shù)據(jù)報告群2微信公眾號1群滿了可以加PPT+短報告測試結(jié)果12.8120失敗27成功600成功323成功2600成功22成功780成功266成功34.3720成功成功1,440成功360成功44.4960成功有PPT35失敗無PPT300成功有PPT1,080成功有PPT51,560成功有PPT216失敗無PPT300成功有PPT420成功有PPT64.22,940部分成功有PPT35失敗無PPT540失敗有PPT360部分成功有PPT74.71,380成功有PPT85失敗無PPT540部分成功有PPT1,500成功有PPT8420成功成功300成功720成功9566部分成功69失敗660部分成功300部分成功注釋：該表格中測試結(jié)果成功與否均為人工評價，會存在人工評價與AI不一致的情況（例如Prompt下達多個指令時（輸出表格+發(fā)郵件），Agent完成了部分），?這是我們第二次出報告，和上次綜合類不同，這次選擇的是報告類，這也是最大的垂類。?本次是一共9個任務(wù)，5個PPT，4個報告，未來深度報告會獨立測試。?本次測試結(jié)論是，用通用AIAgent生成文檔，已經(jīng)達到初步可用水平，也發(fā)現(xiàn)一些問題：?1、當(dāng)前AIAgent生態(tài)各有短板，沒有一家在所有方面都表現(xiàn)完美。?2、對于通用Agent，步驟更多，因此數(shù)據(jù)幻覺是危險的問題，現(xiàn)階段AI生成內(nèi)容必須全面驗證，不能因為前幾條正確就信?3、直接承認能力局限，反而贏得信任，真正的行業(yè)進步需要直接的問題反饋和整個生態(tài)的共同迭代，而非單一平臺獨大。?歡迎到推特和公眾號留言，我們會持續(xù)收集Prompt，目前已經(jīng)將報告類Prompt看板開源（https://three-recorder-52a.notion.site/23efc520994e801aa636cb5d82523972?v=23efc520994e80eb96a2000caa6c0174）和觀看小時數(shù)竟然是呈等差數(shù)列降序排列！?。〗o我氣笑了，有一種上學(xué)時老師說”不會的題，寧可編上也別空著“的感覺跑完這個任務(wù)，它還大大方方的承認了無法發(fā)郵件，給我一種很誠實的感覺，對于表格內(nèi)的數(shù)據(jù)我也是簡單的看了前面十幾得收集的還不錯?；仡^細看才發(fā)現(xiàn)這個濃眉大眼的manus居然騙了我。我相信這也是很多用戶可能會面臨的情況，所以AI生成的測試感受bywill團隊成員1dyr-續(xù)2、導(dǎo)出Bug：制定退休計劃PPT的任務(wù)，Genspark生成了15頁賞心悅目的PPT，可惜它的導(dǎo)出功能還在Beta階段，導(dǎo)出失敗了。其實平時導(dǎo)出Genspark的PPT也普遍較慢，但是這次是第一次遇到死活導(dǎo)出不了的現(xiàn)象（無論是PDF格式還是PPT格式我都試過N遍，隔天又試了N遍，還是不行）3、Openai平庸的PPT：OAI推出PPT功能，結(jié)果效果非常不好。拋開內(nèi)容不談，丑PPT這個賽道OpenAI你也是闖進去了，幾乎每一張都是白底，而且如果左側(cè)文字過長但凡右側(cè)有個柱形圖折線圖什么的，柱形圖折線圖恨不得貼到邊邊太極限了（提前制定退休計劃PPT）。4、按需定制與內(nèi)容冗長：AIAgents教程指南那個任務(wù)，需要教給Agent小白一些Agent基礎(chǔ)知識以及如何使用，并且列舉并教小白使用10個最受歡迎的Agent。Manus、Genspark、OAI都成功了，但是Manus寫的最長，仔細讀過后覺得和Genspark、Openai比有很多不務(wù)實的東西，不夠精煉，比如未來展望、繼續(xù)學(xué)習(xí)，行動建議和逐步實施的計劃重復(fù)了。我認為如果是教程類的東西，針對小白應(yīng)該簡單精煉一些才是好的教程。當(dāng)然這個是我個人感受，可能有人更喜歡面面俱到事無巨細的學(xué)習(xí)形式。抱歉這次攻擊性有點強了，但出發(fā)點并不是為了“一錘定音”，而是希望能推動大家更清晰地看到問題所在。說到底，這些Agent背后都是一群非常優(yōu)秀、也在持續(xù)迭代的團隊。我相信，只要方向?qū)?、反饋及時，大家完全有能力在下一輪把體驗拉到一個新高度。畢竟，真正的進步，從來不是一家獨大，而是整個生態(tài)一起往前走的節(jié)奏。測試感受bywill團隊成員2zwt(測了5個任務(wù)在openAl的表現(xiàn))這次測試我測了5個任務(wù)OpenAI上的表現(xiàn)。核心觀點：OpenAIAgent雖然在某些技術(shù)能力上有優(yōu)勢，但在用戶體驗的關(guān)鍵指標(biāo)上（效率、內(nèi)容質(zhì)量、問題解決的直接性）還有明顯不足，性價比有待提升。?先說好的方面，在一些任務(wù)上表現(xiàn)還不錯，比如發(fā)郵件這個任務(wù)，還是比Comet、Manus和Genspark超前一些，其他都不能發(fā)送郵件，最起碼OpenAI編輯的郵件還躺在了草稿箱里。另外就是數(shù)據(jù)爬取上對比下來感覺還是可以的。?當(dāng)然缺點也很明顯：?首先，耗時實在太久。有些任務(wù)執(zhí)行了40多分鐘，這個時間實在讓人有點難以接受，尤其是考慮到價格還不便宜。?再就是，PPT制作質(zhì)量。比起Genspark和Manus，OpenAI生成的PPT質(zhì)量明顯差很多，真的真的真的太丑了，根本沒辦法實際使用，唯一可能比Comet稍微好一點，為啥這么說呢？因為Comet沒法生成PPT，只是提供一些建議，所以有總比沒有強吧。還有就是OpenAI在分析、生成研究報告的時候，并不是很深度，有點差強人意。?另外一個問題是，OpenAI在遇到不能解決的問題時，通常采取的是“繞路”的方式。它會去網(wǎng)上搜索別人怎么解決類似問題的辦法，然后把這些辦法告訴你。雖然這種方式有時能幫忙，但還是沒有真正從根本上解決問題，感覺有點被欺騙的感覺。2025/7/28數(shù)據(jù)來源：similarweb單位：萬visit接下來的測試計劃難度分級說明我們用Claude做了難度分級，相關(guān)Prompt，難度評級分析表https://claude.ai/4-5分：專家級-需要深度專業(yè)知識和綜合能力1.高難度驅(qū)動因素：大型輸出要求（2萬字）、高度專業(yè)領(lǐng)域知識、多維度分析2.中等難度特征：實時信息搜索、內(nèi)容理解和提取、多步驟任務(wù)3.復(fù)雜度escalation：從簡單信息檢索到專業(yè)投資分析的跨度很大特殊注釋：*這個prompt雖然表面簡單，但實際上AI無法直分類綜合難度等級主要挑戰(zhàn)認知復(fù)雜度領(lǐng)域?qū)I(yè)性任務(wù)結(jié)構(gòu)信息處理要求輸出要求工具使用1金融預(yù)測準確性、免責(zé)聲明文本預(yù)測單工具(搜索+分析)2美股歷史跌幅分析金融4.2實時房源信息、個性化匹配高-需整合多源3制定提前退休計劃金融4.2高-企業(yè)戰(zhàn)略高-文檔整合4金融4.7快速變化的AI產(chǎn)業(yè)、量化指標(biāo)設(shè)計極高極高-AI產(chǎn)業(yè)極高-全面研究5大量數(shù)據(jù)整理、郵件發(fā)送限制低-娛樂高-大量數(shù)據(jù)6視覺設(shè)計、內(nèi)容豐富度低-旅游74.4復(fù)雜建模、稅法變化、地區(qū)差異高高-財務(wù)規(guī)劃極高-復(fù)雜建模8AIAgents教程指南4.3歷史數(shù)據(jù)準確性、因果分析高高-金融歷史極高-歷史數(shù)據(jù)詳細報告9奈飛Top50電影宏觀經(jīng)濟數(shù)據(jù)獲取、多維分析高高-經(jīng)濟學(xué)極高-多維度數(shù)據(jù)技術(shù)深度vs通俗易懂平衡單工具(搜索)難度評級分析表https://claude.ai/share/a71bf4c9-de89-4204-b3dc-590b96dETH價格預(yù)測ETH價格預(yù)測ETH價格預(yù)測來個eth價格預(yù)測？forfun.看看它說的在理不（請進行未來ETH價格預(yù)測-耗時&結(jié)果Prompt：來個eth價格預(yù)測？forETH價格預(yù)測-測試結(jié)果AI分析結(jié)果ETH價格預(yù)測openAIAgentOpenAIAgent執(zhí)行結(jié)果：失敗鏈接預(yù)測提供投資建議，所以這個任務(wù)Open圖片來自測試界面截圖ETH價格預(yù)測cometComet執(zhí)行結(jié)果：成功鏈接圖片來自測試界面截圖ETH價格預(yù)測ManusManus執(zhí)行結(jié)果：成功鏈接?與CoinDesk模型給出的區(qū)間上沿3,763-4,106圖片來自測試界面截圖Genspark執(zhí)行結(jié)果：成功鏈接可核，報告給出3,650-3,900區(qū)間、35%概率3,900-4,000；實際24小時后（截至Jul23度的統(tǒng)計游戲。把它當(dāng)成“概率區(qū)間+風(fēng)控模板”是合理的；若理解為“明天一定漲到3,900”就圖片來自測試界面截圖會員經(jīng)濟GDP分析會員經(jīng)濟GDP分析會員經(jīng)濟GDP分析會員經(jīng)濟GDP分析-耗時&結(jié)果Prompt：會員經(jīng)濟占美國經(jīng)濟GDP會員經(jīng)濟GDP分析-測試結(jié)果AI分析結(jié)果會員經(jīng)濟GDP分析openAIAgentOpenAIAgent執(zhí)行結(jié)果：成功鏈接圖片來自測試界面截圖會員經(jīng)濟GDP分析cometComet執(zhí)行結(jié)果：成功鏈接“事事有回應(yīng)”圖片來自測試界面截圖會員經(jīng)濟GDP分析ManusManus執(zhí)行結(jié)果：成功鏈接與牛津經(jīng)濟研究院2024《DigitalSubscript圖片來自測試界面截圖Genspark執(zhí)行結(jié)果：成功鏈接圖片來自測試界面截圖美股歷史跌幅分析美股歷史跌幅分析美股歷史跌幅分析分析美股從交易所成立至今，所有下跌30-50%的時間點，事難度等級：高級任務(wù)來源：群友-HEXIN生財美股歷史跌幅分析耗時&結(jié)果Prompt：分析美股從交易所成立至今，所有下跌30-50%的時間點，事件，歷史美股歷史跌幅分析測試結(jié)果AI分析結(jié)果美股歷史跌幅分析openAIAgentOpenAIAgent執(zhí)行結(jié)果：成功鏈接結(jié)構(gòu)上比較滿意的一個報告，耗時12分鐘倒圖片來自測試界面截圖美股歷史跌幅分析cometComet執(zhí)行結(jié)果：成功鏈接圖片來自測試界面截圖美股歷史跌幅分析ManusManus執(zhí)行結(jié)果：成功鏈接圖片來自測試界面截圖Genspark執(zhí)行結(jié)果：成功鏈接明確標(biāo)注數(shù)據(jù)局限性，對1929年、2008年50%跌幅的事件僅作背景說明，未計入主況圖片來自測試界面截圖制定提前退休計劃PPT制定提前退休計劃PPT制定提前退休計劃PPToptimization,investmentstrat難度等級：高級/rowancheun任務(wù)難度：4.4制定提前退休計劃PPT-耗時&結(jié)果制定提前退休計劃PPT-測試結(jié)果AI分析結(jié)果制定提前退休計劃PPT-openAIAgent制定提前退休計劃PPT-openAIAgentOpenAIAgent執(zhí)行結(jié)果：成功鏈接了不同的內(nèi)容，所以結(jié)果不同，主要看各Age圖片來自測試界面截圖，PPT鏈接制定提前退休計劃PPTCometComet執(zhí)行結(jié)果：失敗鏈接圖片來自測試界面截圖制定提前退休計劃PPTManusManus執(zhí)行結(jié)果：成功鏈接雖然做不到30歲的極限可行路徑，調(diào)整FIRE目標(biāo)（$150萬加元）并延長時間框架至12圖片來自測試界面截圖制定提前退休計劃PPT-Genspark制定提前退休計劃PPT-GensparkGenspark執(zhí)行結(jié)果：成功鏈接社交犧牲、高壓職業(yè)等隱性代價，也給出動圖片來自測試界面截圖，PPT鏈接制作巴黎旅行PPT制作巴黎旅行PPT制作巴黎旅行PPT/DataChaz/制作巴黎旅行PPT-耗時&結(jié)果descriptionsandstu制作巴黎旅行PPT測試結(jié)果AI分析結(jié)果制作巴黎旅行PPT-openAIAgent制作巴黎旅行PPT-openAIAgentOpenAIAgent執(zhí)行結(jié)果：成功鏈接點，還給了旅行小Tips，整體內(nèi)容和其他3個差圖片來自測試界面截圖，PPT鏈接制作巴黎旅行PPTCometComet執(zhí)行結(jié)果：失敗鏈接圖片來自測試界面截圖制作巴黎旅行PPTManusManus執(zhí)行結(jié)果：成功鏈接點，還有美食、出行、語言文化、安全等建議，圖片來自測試界面截圖制作巴黎旅行PPT-Genspark制作巴黎旅行PPT-GensparkGenspark執(zhí)行結(jié)果：成功鏈接圖片來自測試界面截圖，PPT鏈接紐約租房PPT紐約租房PPT紐約租房PPT難度等級：高級紐約租房PPT耗時&結(jié)果紐約租房PPT測試結(jié)果AI分析結(jié)果紐約租房PPT-openAIAgent紐約租房PPT-openAIAgentOpenAIAgent執(zhí)行結(jié)果：部分成功鏈接圖片來自測試界面截圖，PPT鏈接紐約租房PPTCometComet執(zhí)行結(jié)果：失敗鏈接圖片來自測試界面截圖紐約租房PPTManusManus執(zhí)行結(jié)果：失敗鏈接即使John相中了房子也沒法直接聯(lián)系租到，沒什圖片來自測試界面截圖紐約租房PPT-Genspark紐約租房PPT-GensparkGenspark執(zhí)行結(jié)果：部分成功鏈接即使John相中了房子也沒法直接聯(lián)系租到，沒什圖片來自測試界面截圖，PPT鏈接LLM產(chǎn)業(yè)報告+PPTLLM產(chǎn)業(yè)報告+PPTLLM產(chǎn)業(yè)報告+PPT調(diào)查所有LLM的數(shù)據(jù)和信息，撰寫一篇面向AIstartup的LLM深度向團隊介紹截止目前為止的大模型發(fā)展情況，內(nèi)容需要參考前面難度等級：專家級LLM產(chǎn)業(yè)報告+PPT耗時&結(jié)果Prompt：調(diào)查所有LLM的數(shù)據(jù)和信息，撰寫一篇面向AIstartup的LLM深度研究報告，設(shè)計并建構(gòu)2級、3級指標(biāo)并對其性能和參數(shù)進行量化分析，最后對整個AI產(chǎn)業(yè)從2022年至今的模型演化制作一個演講PPT，向團隊介紹截止目前為止的大模型發(fā)展情況，內(nèi)容需要參考前面的文檔和數(shù)據(jù)分析結(jié)構(gòu)LLM產(chǎn)業(yè)報告+PPT測試結(jié)果AI分析結(jié)果LLM產(chǎn)業(yè)報告+PPTOpenAIAgentOpenAIAgent執(zhí)行結(jié)果：成功鏈接圖片來自測試界面截圖，PPT鏈接LLM產(chǎn)業(yè)報告+PPTCometLLM產(chǎn)業(yè)報告+PPTCometComet執(zhí)行結(jié)果：失敗鏈接圖片來自測試界面截圖LLM產(chǎn)業(yè)報告+PPTManusManus執(zhí)行結(jié)果：部分成功鏈接，（演化時間線”到24年9月就沒了，24年9月之后圖片來自測試界面截圖LLM產(chǎn)業(yè)報告+PPTGensparkGenspark執(zhí)行結(jié)果：成功鏈接圖片來自測試界面截圖，PPT鏈接AIAgents教程指南AIAgents教程指南AIAgents教程指南/Scobleize任務(wù)分析：涉及搜索、分析、報告生成AIAgents教程指南-耗時&結(jié)果AIAgents教程指南openAlAgentAIAgents教程指南openAlAgentOpenAIAgent執(zhí)行結(jié)果：成功鏈接圖片來自測試界面截圖AIAgents教程指南cometComet執(zhí)行結(jié)果：成功鏈接圖片來自測試界面截圖AIAgents教程指南ManusManus執(zhí)行結(jié)果：成功鏈接圖片來自測試界面截圖Genspark執(zhí)行結(jié)果：成功鏈接歡迎的AIAgent并附上簡單的使用prom圖片來自測試界面截圖奈飛電影Excel+郵件奈飛電影Excel+郵件奈飛電影Excel+郵件奈飛歷史上播放最最多50部電影，并附上電影簡介和電影奈飛電影Excel+郵件-耗時&結(jié)果奈飛電影Excel+郵件-測試結(jié)果AI分析結(jié)果奈飛電影Excel+郵件openAlAgent奈飛電影Excel+郵件openAlAgentOpenAIAgent執(zhí)行結(jié)果：部分成功鏈接不過后面40條由于官網(wǎng)沒有統(tǒng)計，所以O(shè)penAI），圖片來自測試界面截圖奈飛電影Excel+郵件cometComet執(zhí)行結(jié)果：失敗鏈接圖片來自測試界面截圖奈飛電影Excel+郵件ManusManus執(zhí)行結(jié)果：部分成功鏈接21-50是胡說八道的，電影名直接是“知名#21”甚至觀看次數(shù)和觀看小時數(shù)是呈等差圖片來自測試界面截圖奈飛電影Excel+郵件GensparkGenspark執(zhí)行結(jié)果：部分成功鏈接圖片來自測試界面截圖作者分工作者分工aiwatch.ai本次報告完成部分測試部分,畫PPT部分aiwatch.ai本次報告完成部分測試部分,畫PPT部分貓貓頭小紅書號107279551本次報告完成測試部分，benchmark本次報告完成測試部分，benchmark搞笑女，每日三?。喝绾蚊搯稳绻阆矚g這個報告，記得關(guān)注我推特，微信公眾號！Will小助手企業(yè)微信進不去群掃這個數(shù)據(jù)報告群2Will小助手企業(yè)微信進不去群掃這個1群滿了可以加附件附件2025/7/28數(shù)據(jù)來源：similarweb單位：萬visit通用AgentI3~6月,日流量分析(單位萬visit)Manus和Genspark在5.15后的流量，呈現(xiàn)較為明03.6推出Manus4.16集成GoogleDrive5.16推出圖像生成功能5.20推出團隊版（Manus5.27網(wǎng)站支持在線編輯5.29幻燈片功能上線6.3發(fā)布視頻生成功能6.5強化圖片搜索功能6.6集成OneDrive6.9集成Veo36.12發(fā)布Playbook6.19定時任務(wù)功能上線6.20推出Manus云瀏覽器6.27Playbook中的SWOT分析生成器發(fā)布4.2推出GensparkSuperAgent4.8推出CallForMeAgent4.17增加文件轉(zhuǎn)換工具4.18增加12種視頻模型4.22推出GensparkAI4.29推出“AutoResearchMe”功能5.1Slides增加富文本編輯功能5.23增加ClaudeSonnet4模型6.4推出AISecretary6.27VibeWorking概念發(fā)布6.27新功能預(yù)告活動2025/7/28