Walaupun Apple Watch biasanya digunakan dalam banyak kajian perubatan, nampaknya sekurang-kurangnya beberapa penyelidik kini mempertimbangkan semula penggunaan pakaian Apple kerana sifat algoritma yang ditutup untuk menghasilkan data kesihatan yang tepat.
Menurut The Verge , masalahnya adalah bahawa Apple Watch secara efektif adalah”kotak hitam”ketika melihat bagaimana ukuran mentah yang diambil oleh pelbagai sensornya diterjemahkan ke dalam data yang dapat digunakan untuk doktor, saintis, dan penyelidik perubatan lain.
Walaupun banyak penyelidik tidak memikirkannya, profesor bersekutu Jukka-Pekka Onnela, yang mengajar dan mempelajari biostatistik di Harvard TH Chan School of Public Health, memutuskan untuk menyiasat dengan tepat betapa seriusnya masalah data ketika datang ke perangkat yang dapat dipakai komersial seperti Apple Watch. untuk peranti bertaraf penyelidikan yang lebih mahal yang disahkan mempunyai tahap ketepatan yang jauh lebih tinggi. Namun, ketika kajian kolaboratif dengan jabatan bedah saraf di Brigham dan Hospital Wanita mengusulkan menggunakan Apple Watch, Onnela menyimpulkan bahawa dia perlu mengetahui dengan tepat apa yang dia alami sebelum memulai kajian.
Data yang Sama , Hasil yang Berbeza
Hassan Dawood, seorang penyelidik di Brigham dan Hospital Wanita, membuat dua eksport berasingan data pemboleh ubah kadar jantung harian yang sama dari Apple Watch-nya, beberapa bulan. Eksport pertama dibuat pada 5 September 2020, sementara yang kedua dibuat pada 15 April 2021.
Dawood dan Onnela membandingkan data antara dua eksport dari jangka masa yang sama-awal Disember 2018 hingga September 2020, dan menemui perbezaan yang ketara-walaupun semuanya berasal dari data mentah yang sama.
Perbezaan membuktikan hipotesis Onnela-bahawa”kotak hitam”algoritma boleh pakai ada dan menimbulkan masalah-tetapi bahkan Onnela, yang telah lama mengkaji fenomena itu, terkejut dengan perbezaannya.
Yang mengejutkan ialah betapa berbezanya mereka. Ini mungkin contoh paling bersih yang pernah saya lihat mengenai fenomena ini.
Jukka-Pekka Onnela, Profesor Madya Biostatistik, Harvard T.H. Chan School of Public Health
Onnela menerbitkan penemuannya dalam catatan blog , di mana ia menggariskan perbezaan statistik, termasuk plot penyebaran yang menunjukkan betapa sebenarnya data tersebut tidak konsisten.
Seseorang akan menganggap bahawa memuat turun data untuk jangka masa yang sama dua kali akan mengembalikan data yang sama. Bagaimanapun, tidak ada apa-apa tingkah laku yang berubah untuk data sejarah, kebetulan dimuat turun pada dua titik berbeza dalam masa. Dalam eksperimen di bawah ini, kami mendapati bahawa semasa memuat turun data untuk jangka masa tertentu pada dua titik masa yang berlainan, kami mendapat set data yang sangat berbeza.
Jukka-Pekka Onnela, Profesor Madya Biostatistik, Harvard T.H. Chan School of Public Health
Walaupun kajian itu tidak menyatakan versi watchOS apa yang digunakan pada setiap eksport, tarikh menunjukkan bahawa kemungkinan mereka menyeberang kemas kini watchOS utama.
Apple tidak melepaskan watchOS 7 hingga 16 September 2020, yang bermaksud bahawa Apple Watch Dawood akan menjalankan beberapa versi watchOS 6-berpotensi 6.2.8 — ketika eksport pertama dibuat pada 5 September 2020.
Menjelang 15 April 2021, Apple telah mengemas kini watchOS 7 beberapa kali, dengan versi 7.3.3 menjadi yang terbaru. Namun, tidak jelas sama ada Dawood telah mengemas kini Apple Watch sebelum setiap eksport.
Di suatu tempat, bagaimanapun, Apple jelas mengubah algoritma yang digunakan untuk menganalisis data kebolehubahan jantung mentah yang telah dikumpulkan oleh Apple Watch.
Masalah sebenarnya, tentu saja, adalah bahawa Apple tidak menyediakan cara untuk penyelidik untuk mengakses data mentah yang dirakam oleh sensor yang boleh dipakai. Sebaliknya, mereka terpaksa bergantung pada data yang sudah dianalisis dan disaring melalui algoritma semacam. Ini data perubatan yang setara dengan perbezaan antara foto RAW dan JPEG yang telah diproses oleh algoritma fotografi komputasi Apple.
Hasil yang dicemari? href=”https://www.theverge.com/2019/7/3/20681254/data-health-apps-clue-period-tracking-sleep-fitness-research”> menangani masalah ini selama bertahun-tahun , tetapi ini adalah pertama kalinya para saintis benar-benar berusaha untuk mengukurnya.
Sebenarnya, penyelidik University of Michigan Olivia Walch telah lama menduga bahawa data yang disaring melalui perisian peranti tidak boleh dipercayai, tetapi sekarang dia mempunyai pemahaman yang lebih baik tentang seberapa besar masalah yang sebenarnya dapat terjadi.
Walch menambah bahawa algoritma yang terus berubah menjadikannya sangat tidak praktikal untuk menggunakan pakaian komersial untuk penyelidikan tidur, yang secara efektif menaikkan kos kajian ini kerana para saintis perlu beralih ke peralatan yang lebih tepat-dan mahal.
Adakah anda akan dapat mengikat empat FitBits pada seseorang, masing-masing menjalankan versi perisian yang berbeza, dan kemudian membandingkannya? Mungkin tidak.
Olivia Walch, Felo Penyelidikan Pasca-doktoral, University of Michigan Department of Neurology
Dalam penyelidikan, sangat penting bahawa kajian dapat menghasilkan hasil yang konsisten, dan dengan algoritma perisian yang dapat mengubah data dengan begitu drastik, sukar bagi mana-mana kajian yang menggunakan pakaian komersial untuk membuat kesimpulan yang pasti.
Sebagai contoh, seperti yang ditunjukkan oleh Walch, seseorang boleh menjalankan kajian mengenai pola tidur menggunakan Apple Watch yang menjalankan watchOS 7.1 dan membuat kesimpulan yang sama sekali berbeza daripada kajian yang dilakukan menggunakan watchOS 7.2. Oleh kerana penyelidik tidak mendapat akses ke data mentah, dan Apple tidak memberitahu siapa pun tentang perubahan yang dibuatnya, tidak ada cara untuk mengetahui.
Mungkin anda akan mendapat hasil yang sama sekali berbeza jika anda baru menggunakan model yang berbeza.
Olivia Walch, Felo Penyelidik Pasca-doktoral, University of Michigan Department of Neurology
Dalam kes kajian Onnela dengan Brigham dan Hospital Wanita, hasil dari Data Apple Watch Dawood sudah cukup untuk membatalkan rancangan pasukan untuk menggunakan Apple Watch dalam kajian ini. Onnela mengatakan bahawa untuk penyelidik dapat bergantung pada barang pakai komersial, data mentah mesti ada, atau sekurang-kurangnya syarikat seperti Apple perlu memberikan notis dan dokumentasi terlebih dahulu apabila algoritma diubah.
