实验结果

July 16, 2024 · View on GitHub

交互实验结果

交互实验中产生的截图和大模型输出在文件夹 evaluation_results/interaction_results

App		难度	成功?	正确步骤数	全部步骤数	理想步骤数	CS	CT	SE
美团	1	L1	√	1	1	1	1.00	1.00	1.00
	2	L1	√	2	2	2	1.00	1.00	1.00
	3	L1	√	2	2	2	1.00	1.00	1.00
	4	L2	√	3	3	3	1.00	1.00	1.00
	5	L2	√	3	3	3	1.00	1.00	1.00
	6	L2	√	6	6	6	1.00	1.00	1.00
	7	L3	×	3	3	4	1.00	0.75	-
	8	L3	×	5	5	6	1.00	0.83	-
	9	L3	√	10	10	10	1.00	1.00	1.00
小红书	10	L1	√	2	2	2	1.00	1.00	1.00
	11	L2	√	5	5	5	1.00	1.00	1.00
	12	L3	×	4	7	8	0.57	0.50	-
豆瓣	13	L1	√	1	1	1	1.00	1.00	1.00
	14	L2	√	4	4	4	1.00	1.00	1.00
	15	L3	×	6	6	9	1.00	0.67	-
Facebook	16	L1	√	1	1	1	1.00	1.00	1.00
	17	L2	√	4	4	4	1.00	1.00	1.00
	18	L3	√	7	7	7	1.00	1.00	1.00
Gmail	19	L1	√	2	2	2	1.00	1.00	1.00
	20	L2	√	4	4	4	1.00	1.00	1.00
	21	L3	√	8	8	8	1.00	1.00	1.00
LinkedIn	22	L1	√	1	1	1	1.00	1.00	1.00
	23	L2	√	3	3	3	1.00	1.00	1.00
	24	L3	×	5	5	6	1.00	0.83	-
Google Play	25	L1	√	2	3	2	0.67	1.00	0.67
	26	L2	×	2	5	3	0.40	0.67	-
	27	L3	√	4	4	4	1.00	1.00	1.00
YouTube Music	28	L1	√	2	2	2	1.00	1.00	1.00
	29	L2	×	2	3	3	0.67	0.67	-
	30	L3	√	4	4	4	1.00	1.00	1.00

校验实验中产生的截图和大模型输出在文件夹 evaluation_results/verification_results

App		任务是否成功	正确校验点数	正确推理个数	总校验点数	输入Token计数	提示词Token技术	校验点Acc	推理Acc
美团	1	√	1	1	1	583	9621	1.00	1.00
	2	√	1	1	1	724	9910	1.00	1.00
	3	√	1	1	1	420	13576	1.00	1.00
	4	√	1	1	1	433	13670	1.00	1.00
	5	√	2	2	2	1615	40312	1.00	1.00
	6	√	2	2	2	1539	39033	1.00	1.00
	7	√	2	2	2	981	35706	1.00	1.00
	8	√	2	2	2	884	35392	1.00	1.00
	9	√	1	1	1	1047	29814	1.00	1.00
	10	√	1	1	1	1022	30149	1.00	1.00
	11	√	2	1	2	6651	123602	1.00	0.50
	12	×	1	0	2	6625	123173	0.50	0.00
小红书	13	√	2	2	2	1150	26119	1.00	1.00
	14	√	2	2	2	881	24447	1.00	1.00
	15	√	1	1	1	643	23298	1.00	1.00
	16	√	1	1	1	698	23756	1.00	1.00
豆瓣	17	√	1	1	1	595	21147	1.00	1.00
	18	√	1	1	1	603	21391	1.00	1.00
	19	√	1	1	1	301	9097	1.00	1.00
	20	√	1	1	1	295	9097	1.00	0.00
Facebook	21	√	1	1	1	1938	52223	1.00	1.00
	22	√	1	1	1	1304	35488	1.00	1.00
	23	√	1	1	1	814	31173	1.00	1.00
	24	√	1	1	1	914	31659	1.00	1.00
Gmail	25	√	1	1	1	474	17343	1.00	1.00
	26	√	1	1	1	453	16766	1.00	1.00
	27	√	4	4	4	3296	104559	1.00	1.00
	28	√	4	4	4	2452	94151	1.00	1.00
LinkedIn	29	√	3	3	3	2007	36225	1.00	1.00
	30	√	3	3	3	2120	37622	1.00	1.00
	31	×	0	0	1	366	14212	0.00	0.00
	32	√	1	0	1	471	15344	1.00	0.00
Google Play	33	√	3	3	3	2175	44133	1.00	1.00
	34	×	2	2	3	2561	45393	0.67	0.67
	35	√	1	1	1	498	20393	1.00	1.00
	36	√	1	1	1	510	20220	1.00	1.00
YouTube Music	37	√	2	1	2	744	24031	1.00	0.50
	38	×	1	1	2	688	23707	0.50	0.50
	39	√	1	1	1	603	23161	1.00	1.00
	40	√	1	1	1	582	23924	1.00	1.00