太平洋科技要聞

學(xué)生黨狂喜，物理圖表動起來！受力分析、光學(xué)、電路圖等全自動交互

新智元整合編輯：太平洋科技發(fā)布于：2024-11-11 16:24

在上物理課的時候，大家應(yīng)該都有過那種「圖太抽象了」的體會吧，需要靠空間想象力才能感受到出題人的想法。

而在電子教學(xué)時代，物理圖可以是動態(tài)、可交互的，有助于更深入地理解復(fù)雜原理，能夠比教科書或視頻提供更豐富、更難忘的學(xué)習(xí)體驗，也可以讓學(xué)生更積極參與到復(fù)雜概念的實驗中，

但是創(chuàng)建交互式模擬既耗時又需要大量的編程工作，所以大部分教學(xué)場景只能用已經(jīng)制作好的模擬圖，有時無法完全滿足學(xué)生對學(xué)習(xí)材料的特定需求，甚至切換教科書和外部交互視頻的過程還會分散學(xué)生注意力。

最近，卡爾加里大學(xué)、科羅拉多大學(xué)博爾德分校及Adobe的研究人員提出了一個全新的方法增強(qiáng)物理（Augmented Physics），通過從靜態(tài)教科書圖表中提取和增強(qiáng)內(nèi)容來創(chuàng)建交互式物理模擬；利用「Segment-Anything」和多模態(tài)LLM等先進(jìn)的計算機(jī)視覺技術(shù)，可以半自動地從教科書頁面中提取圖表，并基于提取的內(nèi)容生成交互式模擬。

論文鏈接：https://arxiv.org/pdf/2405.18614

簡單來說，這種增強(qiáng)實驗的功能就像是給教科書里的靜態(tài)圖像增添了生命力，學(xué)生們不再只是被動地閱讀和觀看圖像，而是能夠親手操作這些圖像中的元素，進(jìn)行實驗。

比如，學(xué)生可以把一個物體在虛擬的模擬環(huán)境中移動到透鏡旁邊，親眼看到圖像是如何變化的。在電路的學(xué)習(xí)中，也可以調(diào)整電路中的電壓和電阻，實時看到電流的變化，這樣的互動方式使得學(xué)習(xí)過程更加直觀和有趣。

該系統(tǒng)可以支持各種類型的模擬，如牛頓運動、光學(xué)、電路和循環(huán)動畫，并通過簡單的創(chuàng)作過程，用戶可以選擇圖表中的特定對象進(jìn)行分割，操縱分割對象，并調(diào)整參數(shù)值以動態(tài)與模擬結(jié)果互動。

體驗感最好的是，交互式視覺輸出直接通過基于網(wǎng)絡(luò)的界面無縫疊加到教科書PDF上，學(xué)生可以很方便地學(xué)習(xí)、實驗，而無需尋找外部材料。

通過與七位物理教師的引導(dǎo)研究，文中探索了四種關(guān)鍵的增強(qiáng)策略：增強(qiáng)實驗、動畫圖表、雙向綁定、參數(shù)可視化，然后通過對系統(tǒng)進(jìn)行技術(shù)評估、可用性研究（N=12）和專家訪談（N=12）來評估系統(tǒng)，結(jié)果表明，該系統(tǒng)可以促進(jìn)物理教育中更具吸引力和個性化的學(xué)習(xí)體驗。

增強(qiáng)物理：系統(tǒng)設(shè)計

步驟1：導(dǎo)入教科書圖表

用戶通過網(wǎng)頁界面導(dǎo)入圖表，系統(tǒng)支持包括桌面和移動設(shè)備，用戶也可以上傳教科書頁面的PDF文件，或者使用智能手機(jī)拍攝并上傳教科書頁面的照片。

步驟2：選擇模擬類型

導(dǎo)入圖表后，系統(tǒng)會要求用戶從可用選項中選擇模擬類型：運動學(xué)、光學(xué)和電路；系統(tǒng)還額外提供動畫選項，以適用于不需要特定模擬類型的場景。

步驟3：分割圖像

用戶通過在圖表上選擇特定區(qū)域（用方框或點選）來啟動分割。

例如，用戶可能選擇一棵樹和一個透鏡，從光學(xué)相關(guān)的圖表中分割出這些對象。在另一個例子中，用戶可以分割與牛頓運動相關(guān)的圖表中的各種對象，如物體和斜坡；用戶還可以分割一條線來提取路徑，創(chuàng)建跟隨線條的動畫。

步驟4：為分割對象分配角色

分割完成后，用戶為每個分割的對象分配一個標(biāo)簽，在模擬中提供特定角色；系統(tǒng)為每種模擬類型提供了一組可用的角色，供用戶選擇。

例如，在光學(xué)模擬中，用戶可能將一棵樹標(biāo)記為要投影的物體，將透鏡簡單地標(biāo)記為透鏡，將一個點標(biāo)記為焦點。

在與重力相關(guān)的情境中，分割的項目可以被分類為受重力影響的動態(tài)物體，或保持靜止的靜態(tài)物體，還可以使用彈簧或繩子等標(biāo)簽用于運動學(xué)圖表；對于電路模擬，系統(tǒng)使用圖像識別自動對對象（如電阻和電池）進(jìn)行分類。

步驟5：生成和運行模擬

用戶分割圖像并分配角色后，系統(tǒng)會將分割的圖像轉(zhuǎn)換成具有適當(dāng)物理屬性的多邊形，生成模擬。

系統(tǒng)可以精確復(fù)制滑雪者和斜坡，分別創(chuàng)建動態(tài)和靜態(tài)物體的多邊形，能夠確保模擬與原始圖表無縫集成，實現(xiàn)形狀和位置的對齊；用戶可以通過點擊運行按鈕或與渲染的多邊形互動來啟動模擬，觀察動態(tài)的視覺輸出，點擊模擬對象，并選擇更改參數(shù)。

步驟6：通過參數(shù)操作與模擬互動

用戶可以靈活地調(diào)整模擬內(nèi)的參數(shù)。根據(jù)不同的角色，不同的對象帶有各種參數(shù)，如動態(tài)物體的質(zhì)量、靜態(tài)物體的摩擦力和彈簧的力常數(shù)。

系統(tǒng)可以在文本或圖像中識別參數(shù)值，使用戶能夠操縱頁面上的數(shù)值。例如，在電路模擬中，用戶可以修改電阻和電池的值，動態(tài)更改模擬結(jié)果；系統(tǒng)自動將文本中的數(shù)值與模擬中對象的特定屬性鏈接起來，用戶可以編輯這些屬性。

增強(qiáng)特性

動態(tài)圖示（Animated Diagrams）

提供了一種創(chuàng)建循環(huán)動畫的方法，用戶可以為分割對象指定路徑，然后創(chuàng)建模擬運動的動畫。

通過分割對象并為動畫定義路徑，可以讓光線根據(jù)角度的不同而沿著各種反射路徑傳播，該特性也使得用戶能夠直接從教科書內(nèi)容中創(chuàng)建出有吸引力的動畫，比如地球繞太陽旋轉(zhuǎn)；并且與受限于可用模擬的增強(qiáng)實驗不同，動態(tài)圖示可以應(yīng)用于任何圖示。

雙向綁定（Bi-directional Binding）

作者可以將文本中的參數(shù)值與相關(guān)的模擬實驗相鏈接，學(xué)生能夠直接在文本中調(diào)整這些值，并實時觀察變化。

剛開始的時候系統(tǒng)會識別并高亮顯示提供的圖像中的所有數(shù)字供作者選擇，然后作者可以從文本中選擇一個特定的數(shù)值，并通過一個下拉菜單為其分配一個模擬屬性，菜單中顯示所有可用的屬性。

上圖中，用戶將文本中的值綁定到壓縮屬性上，系統(tǒng)能夠使用這個值來模擬場景，然后通過改變彈簧的壓縮程度，為學(xué)習(xí)者提供了一種直觀的方式來理解參數(shù)變化對實驗結(jié)果的影響。

參數(shù)可視化（Parameter Visualization）

系統(tǒng)通過一個基本的時間序列圖表來實現(xiàn)，可以讓作者通過動態(tài)圖表來展示選定的值，比如用戶觀察到一個圖表，描繪擺錘在接近其平衡位置時，其角度在簡諧運動中的變動。

該功能類似于一個動態(tài)的進(jìn)度條，以圖形的方式展示了某個變量（比如擺錘的角度）隨時間的變化情況，幫助用戶更直觀地理解動態(tài)過程中的數(shù)值變化。

實驗結(jié)果

根據(jù)技術(shù)評估結(jié)果，不同模擬組件的成功率為：運動學(xué)為64%，光學(xué)為44%，電路為40%（62%經(jīng)過輕微編輯后成功），動畫為66%；其中對象分割的成功率高達(dá)86%

其中對象分割的成功率高達(dá)86%，也顯著促進(jìn)了運動學(xué)、光學(xué)和動畫組件的相對更高成功率，在運動學(xué)中，多邊形生成和放置的成功率分別為72%和70%，通過適當(dāng)?shù)姆指钣行У剞D(zhuǎn)換成了可進(jìn)行物理模擬的實體。

然而，由于某些特性的支持限制（6%），如旋轉(zhuǎn)運動、特定物體的重力、不支持的物體如繩索，以及模擬曲面平滑性的問題，運動學(xué)模擬仍然有困難。

此外，有74%的圖表僅需要進(jìn)行輕微調(diào)整，如修改模擬參數(shù)才能獲得準(zhǔn)確的模擬結(jié)果，沒有任何創(chuàng)作和修改過程的成功率為40%；盡管使用了相同的「Segment Anything」技術(shù)，線分割的成功率卻較低。

電路模擬流程采用線檢測方法來定位和識別導(dǎo)線，并結(jié)合Gemini模型來檢測符號，其中線檢測的成功率較低為45%，導(dǎo)致整體模擬成功率在進(jìn)行輕微連接編輯后為62%；沒有任何編輯的情況下，流程的成功率為40%，主要是因為圖表中的導(dǎo)線重疊或交叉，而符號識別的準(zhǔn)確度相當(dāng)高為72%

本文來源：新智元

增強(qiáng)物理交互式模擬教科書轉(zhuǎn)換

新智元

原創(chuàng)欄目