Topsuggesties voor Discrete Model MathematicsMeer zoekacties als Discrete Model Mathematics verkennenMensen geïnteresseerd in Discrete Model Mathematics hebben ook gezocht naar |
Alle GIF-bestanden automatisch afspelen
Wijzig automatisch afspelen en andere instellingen voor afbeeldingen hier
- 1280×1811
+with+speech+input+has+enabled+instruction-following+capabilities+for+diverse+speech+tasks.+This+integration+requires+the+use+of+a+speech+encoder%252C+a+speech+adapter%252C+and+an+LLM%252C+trained+on+diverse+tasks.+We+propose+the+use+of+discrete+speech+units+(DSU)%252C+rather+than+continuous-valued+speech+encoder+outputs%252C+that+are+converted+to+the+LLM+token+embedding+space+using+the+speech+adapter.+We+generate+DSU+using+a+self-supervised+speech+encoder+followed+by+k-means+clustering.+The+proposed+model+shows+robust+performance+on+speech+inputs+from+seen%252Funseen+domains+and+instruction-following+capability+in+spoken+question+answering.+We+also+explore+various+types+of+DSU+extracted+from+different+layers+of+the+self-supervised+speech+encoder%252C+as+well+as+Mel+frequency+Cepstral+Coefficients+(MFCC).+Our+findings+suggest+that+the+ASR+task+and+datasets+are+not+crucial+in+instruction-tuning+for+spoken+question+answering+tasks.&cdnurl=https%3a%2f%2fbing.ai.mrmusic.cloudns.ch/th%2fth%2fid%2fR.ff0c515ce372fe473cc531797b943f8e%3frik%3dwIwmY6eXuO5gNQ%26pid%3dImgRaw%26r%3d0&exph=630&expw=1200&q=Discrete+Model+Mathematics&FORM=IRPRST&ck=29F9FAF67B43A4EDF17068D2251FBEBC&selectedIndex=26&itb=0)
Sommige resultaten zijn verborgen omdat ze mogelijk niet toegankelijk zijn voor u.Bekijk niet-toegankelijke resultaten
Feedback