Skaitymas iš virpesių: inžinieriai rado būdą rekonstruoti garsą iš daikto virpėjimo

  • Teksto dydis:

Kas yra skaitymas iš lūpų, ko gero, žinome visi. O štai Masačiusetso technologijų universiteto (MIT) ir bendrovių "Microsoft" bei "Adobe" programuotojai sukūrė išties žadą atimantį algoritmą – jis jūsų išsakytus žodžius atkurs pagal, pavyzdžiui, greta jūsų ant stalo gulinčio bulvių traškučių pakelio virpesius arba pagal taurėje esančio gėrimo paviršiaus ribėjimą, kurį sukelia jūsų tariami žodžiai.

Minėtas algoritmas rekonstruoja garso signalą, analizuodamas nufilmuoto daikto paviršiaus virpesius. Per vieną eksperimentą algoritmas teisingai atkodavo už storos, garsui nepralaidžios stiklo sienos ištartus žodžius, kurių garsas virpino už 4,5 metro nuo stiklo sienos gulėjusią bulvių traškučių pakuotę.

Kitų eksperimentų metu tyrėjams analogišką informaciją pavyko išgauti iš aliuminio folijos, stiklinėje esančio vandens paviršiaus ribėjimo ir net augalo lapų virpesių. Tyrėjai eksperimento rezultatus pristatys kompiuterinės grafikos konferencijoje "Siggraph".

"Kai garsas pasiekia kokį nors objektą, šis pradeda virpėti, – pasakoja pagrindinis būsimo straipsnio autorius, MIT elektroninės inžinerijos ir kompiuterių mokslų absolventas Abe Davisas. – Virpesių judėjimas skleidžia labai silpną regimąjį signalą, kuris plika akimi nematomas. Žmonės nė neįsivaizduoja, kad taip galima atkurti informaciją."

Straipsnio bendraautoriai yra A. Davisui talkinę MIT kompiuterinių mokslų ir inžinerijos profesoriai Fredo Durandas ir Billas Freemanas, kitas MIT absolventas Nealas Wadhwa, "Microsoft Research" darbuotojas Michaelas Rubinsteinas ir Gauthamas Mysore iš "Adobe Research".

Garso signalo rekonstravimui iš virpesių vaizdo reikia, kad vaizdo kadrų skaičius per sekundę būtų didesnis už rekonstruojamo garso signalo dažnį. Kai kuriuose eksperimentuose tyrėjai naudojo nuo 2 000 iki 6 000 kadrų per sekundę sparta filmuojančias vaizdo kameras. Tai yra gerokai daugiau nei 60 kadrų per sekundę, kuris įmanomas kai kuriuose išmaniuosiuose telefonuose. Tiesa, pažangiausios prekyboje esančios didelės spartos filmavimo kameros filmuoja ir 100 000 kadrų per sekundę greičiu.

Beje, kai kuriuose eksperimentuose buvo naudojamos įprastinės skaitmeninės kameros. Nors pagal tokią vaizdo medžiagą rekonstruota garsinė informacija nebuvo tokia patikima, jos pakaktų nustatyti kalbančio asmens lytį, kalbančių asmenų skaičių patalpoje ir net identifikuoti kalbančius asmenis.

Ko gero, abejoti dėl šio išradimo perspektyvų kriminalistikoje neverta. Juk viešąsias ir privačias erdves filmuoja aibė filmavimo kamerų. Vis dėlto A. Davisą labiau žavi, jo teigimu, naujos "vaizdų kūrimo galimybės".

"Mes iš vaizdo atkuriame garsą, – aiškina jis. – Tai suteikia labai daug informacijos apie garsą, kuris sklinda aplink objektą. Tačiau kartu mes galime labai daug sužinoti ir apie patį objektą. Skirtingi objektai į tą patį garsą reaguos skirtingai." Pagal tai tyrėjai kituose eksperimentuose mėgins apibrėžti regimųjų objektų medžiagines ir struktūrines savybes.

Paaiškėjo, kad garsas daiktų paviršius mechaniškai deformuoja 0,1 mikrometro arba 5 tūkst. pikselių pokyčiais. Tiesa, per tam tikrą laiko atkarpą fiksuojant vienintelio pikselio spalvinę raišką, pradinę informaciją turėtų būti įmanoma rekonstruoti ir pagal vieno pikselio pokyčių amplitudę.



NAUJAUSI KOMENTARAI

Kaip durnai skamba

Kaip durnai skamba portretas
Už storos garsui nepralaidaidžios stiklo.....virpėjo objektas.... Tai apsispreskit praleidžia ar ne ? Jei dar virpėjo...vadinasi praleidžia.Žmmogus negirdėtu,o šuo dar visai pakenčiamai girdėtu. Tada kam nepralaidi stiklo siena _apykurčiui žmogui? O jei tobulas mikrofononis stiprintuvas su ekvalaizeriu...ir jau girdi?
VISI KOMENTARAI 1

Galerijos

Daugiau straipsnių