測報告目錄關于作者測試感受測試結果難度分級說明ETH價格預測會員經濟GDP分析美股歷史跌幅分析制定提前退休計劃PPT{巴黎旅行巴黎旅行PPT制作紐約租房PPTLLM產業(yè)報告+PPTAIAgents教程指南奈飛電影Excel+郵件HomeBots策略PPT結尾PPT+短報告測試結果12.8120失敗27成功600成功323成功2600成功22成功780成功266成功34.3720成功成功1,440成功360成功44.4960成功有PPT35失敗無PPT300成功有PPT1,080成功有PPT51,560成功有PPT216失敗無PPT300成功有PPT420成功有PPT64.22,940部分成功有PPT35失敗無PPT540失敗有PPT360部分成功有PPT74.71,380成功有PPT85失敗無PPT540部分成功有PPT1,500成功有PPT8420成功成功300成功720成功9566部分成功69失敗660部分成功300部分成功注釋：該表格中測試結果成功與否均為人工評價，會存在人工評價與AI不一致的情況（例如Prompt下達多個指令時（輸出表格+發(fā)郵件），Agent完成了部分），?這是我們第二次出報告，和上次綜合類不同，這次選擇的是報告類，這也是最大的垂類。?本次是一共9個任務，5個PPT，4個報告，未來深度報告會獨立測試。?本次測試結論是，用通用AIAgent生成文檔，已經達到初步可用水平，也發(fā)現一些問題：?1、當前AIAgent生態(tài)各有短板，沒有一家在所有方面都表現完美。?2、對于通用Agent，步驟更多，因此數據幻覺是危險的問題，現階段AI生成內容必須全面驗證，不能因為前幾條正確就信?3、直接承認能力局限，反而贏得信任，真正的行業(yè)進步需要直接的問題反饋和整個生態(tài)的共同迭代，而非單一平臺獨大。?歡迎到推特和公眾號留言，我們會持續(xù)收集Prompt，目前已經將報告類Prompt看板開源（https://three-recorder-52a.notion.site/23efc520994e801aa636cb5d82523972?v=23efc520994e80eb96a2000caa6c0174）和觀看小時數竟然是呈等差數列降序排列?。。〗o我氣笑了，有一種上學時老師說”不會的題，寧可編上也別空著“的感覺跑完這個任務，它還大大方方的承認了無法發(fā)郵件，給我一種很誠實的感覺，對于表格內的數據我也是簡單的看了前面十幾得收集的還不錯?；仡^細看才發(fā)現這個濃眉大眼的manus居然騙了我。我相信這也是很多用戶可能會面臨的情況，所以AI生成的測試感受bywill團隊成員1dyr-續(xù)2、導出Bug：制定退休計劃PPT的任務，Genspark生成了15頁賞心悅目的PPT，可惜它的導出功能還在Beta階段，導出失敗了。其實平時導出Genspark的PPT也普遍較慢，但是這次是第一次遇到死活導出不了的現象（無論是PDF格式還是PPT格式我都試過N遍，隔天又試了N遍，還是不行）3、Openai平庸的PPT：OAI推出PPT功能，結果效果非常不好。拋開內容不談，丑PPT這個賽道OpenAI你也是闖進去了，幾乎每一張都是白底，而且如果左側文字過長但凡右側有個柱形圖折線圖什么的，柱形圖折線圖恨不得貼到邊邊太極限了（提前制定退休計劃PPT）。4、按需定制與內容冗長：AIAgents教程指南那個任務，需要教給Agent小白一些Agent基礎知識以及如何使用，并且列舉并教小白使用10個最受歡迎的Agent。Manus、Genspark、OAI都成功了，但是Manus寫的最長，仔細讀過后覺得和Genspark、Openai比有很多不務實的東西，不夠精煉，比如未來展望、繼續(xù)學習，行動建議和逐步實施的計劃重復了。我認為如果是教程類的東西，針對小白應該簡單精煉一些才是好的教程。當然這個是我個人感受，可能有人更喜歡面面俱到事無巨細的學習形式。抱歉這次攻擊性有點強了，但出發(fā)點并不是為了“一錘定音”，而是希望能推動大家更清晰地看到問題所在。說到底，這些Agent背后都是一群非常優(yōu)秀、也在持續(xù)迭代的團隊。我相信，只要方向對、反饋及時，大家完全有能力在下一輪把體驗拉到一個新高度。畢竟，真正的進步，從來不是一家獨大，而是整個生態(tài)一起往前走的節(jié)奏。測試感受bywill團隊成員2zwt(測了5個任務在openAl的表現)這次測試我測了5個任務OpenAI上的表現。核心觀點：OpenAIAgent雖然在某些技術能力上有優(yōu)勢，但在用戶體驗的關鍵指標上（效率、內容質量、問題解決的直接性）還有明顯不足，性價比有待提升。?先說好的方面，在一些任務上表現還不錯，比如發(fā)郵件這個任務，還是比Comet、Manus和Genspark超前一些，其他都不能發(fā)送郵件，最起碼OpenAI編輯的郵件還躺在了草稿箱里。另外就是數據爬取上對比下來感覺還是可以的。?當然缺點也很明顯：?首先，耗時實在太久。有些任務執(zhí)行了40多分鐘，這個時間實在讓人有點難以接受，尤其是考慮到價格還不便宜。?再就是，PPT制作質量。比起Genspark和Manus，OpenAI生成的PPT質量明顯差很多，真的真的真的太丑了，根本沒辦法實際使用，唯一可能比Comet稍微好一點，為啥這么說呢？因為Comet沒法生成PPT，只是提供一些建議，所以有總比沒有強吧。還有就是OpenAI在分析、生成研究報告的時候，并不是很深度，有點差強人意。?另外一個問題是，OpenAI在遇到不能解決的問題時，通常采取的是“繞路”的方式。它會去網上搜索別人怎么解決類似問題的辦法，然后把這些辦法告訴你。雖然這種方式有時能幫忙，但還是沒有真正從根本上解決問題，感覺有點被欺騙的感覺。2025/7/28數據來源：similarweb單位：萬visit接下來的測試計劃難度分級說明我們用Claude做了難度分級，相關Prompt，難度評級分析表https://claude.ai/4-5分：專家級-需要深度專業(yè)知識和綜合能力1.高難度驅動因素：大型輸出要求（2萬字）、高度專業(yè)領域知識、多維度分析2.中等難度特征：實時信息搜索、內容理解和提取、多步驟任務3.復雜度escalation：從簡單信息檢索到專業(yè)投資分析的跨度很大特殊注釋：*這個prompt雖然表面簡單，但實際上AI無法直分類綜合難度等級主要挑戰(zhàn)認知復雜度領域專業(yè)性任務結構信息處理要求輸出要求工具使用1金融預測準確性、免責聲明文本預測單工具(搜索+分析)2美股歷史跌幅分析金融4.2實時房源信息、個性化匹配高-需整合多源3制定提前退休計劃金融4.2高-企業(yè)戰(zhàn)略高-文檔整合4金融4.7快速變化的AI產業(yè)、量化指標設計極高極高-AI產業(yè)極高-全面研究5大量數據整理、郵件發(fā)送限制低-娛樂高-大量數據6視覺設計、內容豐富度低-旅游74.4復雜建模、稅法變化、地區(qū)差異高高-財務規(guī)劃極高-復雜建模8AIAgents教程指南4.3歷史數據準確性、因果分析高高-金融歷史極高-歷史數據詳細報告9奈飛Top50電影宏觀經濟數據獲取、多維分析高高-經濟學極高-多維度數據技術深度vs通俗易懂平衡單工具(搜索)難度評級分析表https://claude.ai/share/a71bf4c9-de89-4204-b3dc-590b96dETHETH價格預測ETH價格預測來個eth價格預測？forfun.看看它說的在理不（請進行未來ETH價格預測-耗時&結果Prompt：來個eth價格預測？forETH價格預測-測試結果AI分析結果ETH價格預測openAIAgentOpenAIAgent執(zhí)行結果：失敗鏈接預測提供投資建議，所以這個任務Open圖片來自測試界面截圖ETH價格預測cometComet執(zhí)行結果：成功鏈接圖片來自測試界面截圖ETH價格預測ManusManus執(zhí)行結果：成功鏈接?與CoinDesk模型給出的區(qū)間上沿3,763-4,106圖片來自測試界面截圖Genspark執(zhí)行結果：成功鏈接可核，報告給出3,650-3,900區(qū)間、35%概率3,900-4,000；實際24小時后（截至Jul23度的統計游戲。把它當成“概率區(qū)間+風控模板”是合理的；若理解為“明天一定漲到3,900”就圖片來自測試界面截圖會員經濟會員經濟GDP分析會員經濟GDP分析會員經濟GDP分析-耗時&結果Prompt：會員經濟占美國經濟GDP會員經濟GDP分析-測試結果AI分析結果會員經濟GDP分析openAIAgentOpenAIAgent執(zhí)行結果：成功鏈接圖片來自測試界面截圖會員經濟GDP分析cometComet執(zhí)行結果：成功鏈接“事事有回應”圖片來自測試界面截圖會員經濟GDP分析ManusManus執(zhí)行結果：成功鏈接與牛津經濟研究院2024《DigitalSubscript圖片來自測試界面截圖Genspark執(zhí)行結果：成功鏈接圖片來自測試界面截圖美股歷史跌幅分析美股歷史跌幅分析分析美股從交易所成立至今，所有下跌30-50%的時間點，事難度等級：高級任務來源：群友-HEXIN生財美股歷史跌幅分析耗時&結果Prompt：分析美股從交易所成立至今，所有下跌30-50%的時間點，事件，歷史美股歷史跌幅分析測試結果AI分析結果美股歷史跌幅分析openAIAgentOpenAIAgent執(zhí)行結果：成功鏈接結構上比較滿意的一個報告，耗時12分鐘倒圖片來自測試界面截圖美股歷史跌幅分析cometComet執(zhí)行結果：成功鏈接圖片來自測試界面截圖美股歷史跌幅分析ManusManus執(zhí)行結果：成功鏈接圖片來自測試界面截圖Genspark執(zhí)行結果：成功鏈接明確標注數據局限性，對1929年、2008年50%跌幅的事件僅作背景說明，未計入主況圖片來自測試界面截圖制定提前退休計劃PPT制定提前退休計劃PPToptimization,investmentstrat難度等級：高級/rowancheun任務難度：4.4制定提前退休計劃PPT-耗時&結果制定提前退休計劃PPT-測試結果AI分析結果制定提前退休計劃PPT-openAIAgentOpenAIAgent執(zhí)行結果：成功鏈接了不同的內容，所以結果不同，主要看各Age圖片來自測試界面截圖，PPT鏈接制定提前退休計劃PPTCometComet執(zhí)行結果：失敗鏈接圖片來自測試界面截圖制定提前退休計劃PPTManusManus執(zhí)行結果：成功鏈接雖然做不到30歲的極限可行路徑，調整FIRE目標（$150萬加元）并延長時間框架至12圖片來自測試界面截圖制定提前退休計劃PPT-GensparkGenspark執(zhí)行結果：成功鏈接社交犧牲、高壓職業(yè)等隱性代價，也給出動圖片來自測試界面截圖，PPT鏈接制作巴黎旅行PPT制作巴黎旅行PPT/DataChaz/制作巴黎旅行PPT-耗時&結果descriptionsandstu制作巴黎旅行PPT測試結果AI分析結果制作巴黎旅行PPT-openAIAgentOpenAIAgent執(zhí)行結果：成功鏈接點，還給了旅行小Tips，整體內容和其他3個差圖片來自測試界面截圖，PPT鏈接制作巴黎旅行PPTCometComet執(zhí)行結果：失敗鏈接圖片來自測試界面截圖制作巴黎旅行PPTManusManus執(zhí)行結果：成功鏈接點，還有美食、出行、語言文化、安全等建議，圖片來自測試界面截圖制作巴黎旅行PPT-GensparkGenspark執(zhí)行結果：成功鏈接圖片來自測試界面截圖，PPT鏈接紐約租房PPT紐約租房PPT難度等級：高級紐約租房PPT耗時&結果紐約租房PPT測試結果AI分析結果紐約租房PPT-openAIAgentOpenAIAgent執(zhí)行結果：部分成功鏈接圖片來自測試界面截圖，PPT鏈接紐約租房PPTCometComet執(zhí)行結果：失敗鏈接圖片來自測試界面截圖紐約租房PPTManusManus執(zhí)行結果：失敗鏈接即使John相中了房子也沒法直接聯系租到，沒什圖片來自測試界面截圖紐約租房PPT-GensparkGenspark執(zhí)行結果：部分成功鏈接即使John相中了房子也沒法直接聯系租到，沒什圖片來自測試界面截圖，PPT鏈接LLLLM產業(yè)報告+PPTLLM產業(yè)報告+PPT調查所有LLM的數據和信息，撰寫一篇面向AIstartup的LLM深度向團隊介紹截止目前為止的大模型發(fā)展情況，內容需要參考前面難度等級：專家級LLM產業(yè)報告+PPT耗時&結果Prompt：調查所有LLM的數據和信息，撰寫一篇面向AIstartup的LLM深度研究報告，設計并建構2級、3級指標并對其性能和參數進行量化分析，最后對整個AI產業(yè)從2022年至今的模型演化制作一個演講PPT，向團隊介紹截止目前為止的大模型發(fā)展情況，內容需要參考前面的文檔和數據分析結構LLM產業(yè)報告+PPT測試結果AI分析結果LLM產業(yè)報告+PPTOpenAIAgentOpenAIAgent執(zhí)行結果：成功鏈接圖片來自測試界面截圖，PPT鏈接LLM產業(yè)報告+PPTCometComet執(zhí)行結果：失敗鏈接圖片來自測試界面截圖LLM產業(yè)報告+PPTManusManus執(zhí)行結果：部分成功鏈接，（演化時間線”到24年9月就沒了，24年9月之后圖片來自測試界面截圖LLM產業(yè)報告+PPTGensparkGenspark執(zhí)行結果：成功鏈接圖片來自測試界面截圖，PPT鏈接AIAgents教程指南AIAgents教程指南/Scobleize任務分析：涉及搜索、分析、報告生成AIAgents教程指南-耗時&結果AIAgents教程指南openAlAgentOpenAIAgent執(zhí)行結果：成功鏈接圖片來自測試界面截圖AIAgents教程指南cometComet執(zhí)行結果：成功鏈接圖片來自測試界面截圖AIAgents教程指南ManusManus執(zhí)行結果：成功鏈接圖片來自測試界面截圖Genspark執(zhí)行結果：成功歡迎的AIAgent并附上簡單的使用prom鏈接圖片來自測試界面截圖奈飛電影奈飛電影Excel+郵件奈飛電影Excel+郵件奈飛歷史上播放最最多50部電影，并附上電影簡介和電影奈飛電影Excel+郵件-耗時&結果奈飛電影Excel+郵件-測試結果AI分析結果奈飛電影Excel+郵件openAlAgentOpenAIAgent執(zhí)行結果：部分成功鏈接不過后面40條由于官網沒有統計，所以OpenAI），圖片來自測試界面截圖奈飛電影Excel+郵件cometComet執(zhí)行結果：失敗鏈接圖片來自測試界面截圖奈飛電影Excel+郵件ManusManus執(zhí)行結果：部分成功鏈接21-50是胡說八道的，電影名直接是“知名#21”甚至觀看次數和觀看小時數是呈等差圖片來自測試界面截圖奈飛電影Excel+郵件GensparkGenspark執(zhí)行結果：部分成功鏈接圖片來自測試界面截圖作者分工aiwatch.ai本次報告完成部分測試部分,畫PPT部分aiwatch.ai本次報告完成部分測試部分,畫PPT部分貓貓頭小紅書號107279551本次報告完成測試部分，benchmark本次報告完成測試部分，benchmark搞笑女，每日三?。喝绾蚊搯稳绻阆矚g這個報告，記得關注我推特，微信公眾號！Will小助手企業(yè)微信進不去群掃這個數據報告群21群滿了可以加微信公眾號附件2025/7/28數據來源：similarweb單位：萬visit通用AgentI3~6月,日流量分析(單位萬visit)Manus和Genspark在5.15后的流量，呈現較為明0EQ\*jc3\*hps16\o\al(\s\up1(6),9)EQ\*jc3\*hps16\o\al(\s\up6(9),9)EQ\*jc3\*hps16\o\al(\s\up2(9),7)EQ\*jc3\*hps16\o\al(\s\up1(51),6)EQ\*jc3\*hps16\o\al(\s\up0(0),4)EQ\*jc3\*hps16\o\al(\s\up8(5),4)EQ\*jc3\*hps16\o\al(\s\up7(5),4)EQ\*jc3\*hps16\o\al(\s\up3(52),8)EQ\*jc3\*hps16\o\al(\s\up7(5),4)EQ\*jc3\*hps16\o\al(\s\up8(55),8)EQ\*jc3\*hps16\o\al(\s\up2(2),4)EQ\*jc3\*hps16\o\al(\s\up0(51),4)EQ\*jc3\*hps16\o\al(\s\up6(4),4)EQ\*jc3\*hps21\o\al(\s\up13(7),0)EQ\*jc3\*hps21\o\al(\s\up13(2),6)EQ\*jc3\*hps21\o\al(\s\up3(6),2)EQ\*jc3\*hps21\o\al(\s\up14(7),5)EQ\*jc3\*hps21\o\al(\s\up14(2),6)EQ\*jc3\*hps21\o\al(\s\up3(6),6)EQ\*jc3\*hps21\o\al(\s\up16(7),7)EQ\*jc3\*hps21\o\al(\s\up16(4),6)EQ\*jc3\*hps21\o\al(\s\up8(9),6)EQ\*jc3\*hps21\o\al(\s\up2147483646(3),58)EQ\*jc3\*hps21\o\al(\s\up2147483646(62),7)EQ\*jc3\*hps21\o\al(\s\up12(7),2)EQ\*jc3\*hps21\o\al(\s\up5(7EQ\*jc3\*hps16\o\al(\s\up2(9),7)EQ\*jc3\*hps16\o\al(\s\up1(51),6)EQ\*jc3\*hps16\o\al(\s\up0(0),4)EQ\*jc3\*hps16\o\al(\s\up8(5),4)EQ\*jc3\*hps16\o\al(\s\up7(5),4)EQ\*jc3\*hps16\o\al(\s\up3(52),8)EQ\*jc3\*hps16\o\al(\s\up7(5),4)EQ\*jc3\*hps16\o\al(\s\up8(55),8)EQ\*jc3\*hps16\o\al(\s\up2(2),4)EQ\*jc3\*hps16\o\al(\s\up0(51),4)EQ\*jc3\*hps16\o\al(\s\up6(4),4)EQ\*jc3\*hps16\o\al(\s\up7(4),EQ\*jc3\*hps16\o\al(\s\up7(4),3)EQ\*jc3\*hps16\o\al(\s\up7(0),343)EQ\*jc3\*hps16\o\al(\s\up9(4),5)EQ\*jc3\*hps16\o\al(\s\up6(31),6)EQ\*jc3\*hps16\o\al(\s\up3(9),2)EQ\*jc3\*hps16\o\al(\s\up3(9),2)EQ\*jc3\*hps16\o\al(\s\up2(2),4)EQ\*jc3\*hps16\o\al(\s\up4(81),23)EQ\*jc3\*hps16\o\al(\s\up3(9),2)EQ\*jc3\*hps16\o\al(\s\up4(9),2)EQ\*jc3\*hps16\o\al(\s\up4(2),4)EQ\*jc3\*hps16\o\al(\s\up4(0),2)EQ\*jc3\*hps16\o\al(\s\up2(2),4)EQ\*jc3\*hps16\o\al(\s\up2147483646(26),2)EQ\*jc3\*hps16\o\al(\s\up3(9),2)3.6推出Manus4.16集成GoogleDrive5.16推出圖像生成功能5.20推出團隊版（Manus5.27網站支持在線編輯5.29幻燈片功能上線6.3發(fā)布視頻生成功能6.5強化圖片搜索功能6.6集成OneDrive6.9集成Veo36.12發(fā)布Playbook6.19定時任務功能上線6.20推出Manus云瀏覽器6.27Playbook中的SWOT分析生成器發(fā)布4.2推出GensparkSuperAgent4.8推出CallForMeAgent4.17增加文件轉換工具4.18增加12種視頻模型4.22推出GensparkAI4.29推出“AutoResearchMe”功能5.1Slides增加富文本編輯功能5.23增加ClaudeSonnet4模型6.4推出AISecretary6.27VibeWorking概念發(fā)布6.27新功能預告活動2025/7/28數據來源：similarweb單位：萬visitperplexitycomet流量分析509999971-Jul2-Jul3-Jul4-Jul5-Jul6-Jul7-Jul8-Jul9-Jul10-Jul11-Jul12-Jul13-Jul14-Jul15-Jul16-Jul17-Jul18-Jul19-Jul20-Jul國家/地區(qū)流量份額國家/地區(qū)流量份額美國25%印度21%俄羅斯加拿大英國0Manus流量分析Manus訪問量3月5日開始爆發(fā)，3月8日二次爆發(fā)。單月流量1500萬~202000994EQ\*jc3\*hps26\o\al(\s\up13(77),60)EQ\*jc3\*hps26\o\al(\s\up3(6),1)EQ\*jc3\*hps26\o\al(\s\up4(6),2)EQ\*jc3\*hps26\o\al(\s\up3(2),5)EQ\*jc3\*hps26\o\al(\s\up5(6),4)EQ\*jc3\*hps26\o\al(\s\up2(1),5)EQ\*jc3\*hps26\o\al(\s\up2147483639(6),3)EQ\*jc3\*hps26\o\al(\s\up3(6),7)EQ\*jc3\*hps26\o\al(\s\up5(6),2)EQ\*jc3\*hps26\o\al(\s\up7(7),5)EQ\*jc3\*hps26\o\al(\s\up4(6),2)EQ\*jc3\*hps26\o\al(\s\up0(7),4)EQ\*jc3\*hps26\o\al(\s\up6(6),0)EQ\*jc3\*hps26\o\al(\s\up3(2),5)EQ\*jc3\*hps26\o\al(\s\up9(7),9)EQ\*jc3\*hps26\o\al(\s\up8(8),5)EQ\*jc3\*hps26\o\al(\s\up3(2),5)GoogleGoogleDrive功能線編輯能上線1-Mar11-Mar21-Mar31-Mar10-Apr20-Apr30-Apr10-May20-May30-May9-Jun19-Jun29-Jun26%美國10%印度埃及4%4%0Genspark訪問量增長的轉折點在4月2日，4月2日前日均20萬以下，之后增長至20萬以上。4月份開始單月流量80040040EQ\*jc3\*hps19\o\al(\s\up8(9),2)EQ\*jc3\*hps19\o\al(\s\up7(9),2)EQ\*jc3\*hps19\o\al(\s\up7(9),2)EQ\*jc3\*hps19\o\al(\s\up5(2),4)EQ\*jc3\*hps19\o\al(\s\up4(8),23)EQ\*jc3\*hps19\o\al(\s\up8(9),2)EQ\*jc3\*hps19\o\al(\s\up7(9),2)EQ\*jc3\*hps19\o\al(\s\up7(9),2)EQ\*jc3\*hps19\o\al(\s\up5(2),4)EQ\*jc3\*hps19\o\al(\s\up4(8),23)EQ\*jc3\*hps19\o\al(\s\up6(9),2)EQ\*jc3\*hps19\o\al(\s\up8(9),2)EQ\*jc3\*hps19\o\al(\s\up8(2),4)EQ\*jc3\*hps19\o\al(\s\up8(9),2)EQ\*jc3\*hps19\o\al(\s\up9(0),2)EQ\*jc3\*hps19\o\al(\s\up2147483644(5),2)EQ\*jc3\*hps19\o\al(\s\up5(2),4)EQ\*jc3\*hps19\o\al(\s