Reproducibility là gì

  -  

Bình luận Reproducibility Là Gì – Nghĩa Của Từ Reproducibility là ý tưởng phát minh vào nội dung hiện nay của blog Tiên Kiếm. Tđê mê khảo nội dung để hiểu cụ thể nhé.

Bạn đang xem: Reproducibility là gì


Chú thích: Nguim bạn dạng nội dung bài viết này bàn về “reproducible research”, tại chỗ này Cửa Hàng chúng tôi nhất thời dịch là “nghiên cứu và phân tích khả lặp”, quan niệm bắt lược về “phân tích khả lặp” là một số loại nghiên cứu công nghệ không chỉ gồm report hiệu quả phân tích ngoài ra bao hàm khá đầy đủ các bước triển khai, bên cạnh đó chào làng các báo cáo quan trọng (dữ liệu, thuật toán sử dụng,…) nhằm bạn không giống rất có thể thực hiện lại nghiên cứu và phân tích nhằm mục tiêu chứng thực tính đúng mực và mở rộng phân tích dựa trên nền tảng nghiên cứu và phân tích cũ. Tại trên đây “reproducible” tuyệt “reproducibility” sở hữu nghĩa có chức năng lặp lại, có công dụng triển khai lại nghiên cứu đã có được công bố.

Quý khách hàng đang xem: Reproducibility là gì

Khoa học tập hiện nay được hiểu đã rơi vào cuộc khủng hoảng về tài năng tái lặp. Khả năng tái lặp có vẻ được hoan nghênh và thường là yếu tố yêu cầu so với những nghiên cứu và phân tích mang tính xã hội (chẳng hạn bên trên những tạp chí như nature giỏi science). Luận điểm chung đến xu hướng này là bài toán các nghiên cứu và phân tích có tác dụng được thực hiện lại một cách hòa bình thì sẽ sở hữu được tính tin cẩn cao hơn phần đông nghiên cứu và phân tích cấp thiết thực hiện lại một biện pháp tự do. Cũng nên để ý rằng nghiên cứu và phân tích khả lặp không chỉ có mang ý nghĩa xác minh, hơn thế nữa nữa nó sẽ đem lại công dụng thực tế mang đến câu hỏi không ngừng mở rộng phân tích tuyệt thành lập các nghiên cứu giống như. Khó có thể search thấy hầu hết chủ ý làm phản bác bỏ những luận điểm bên trên, tuy nhiên nên xét cho tới thực tế rằng cùng với từng nhóm phân tích cũng cần đầu tư chi tiêu một nguồn lực nhất mực vào bài toán làm cho cho những nghiên cứu và phân tích của họ trở nên khả lặp đối với những nhà nghiên cứu và phân tích tự do. Chẳng hạn Việc tái diễn tổng thể phần lớn thử nghiệm vào chống thể nghiệm. Tuy nhiên cũng có tương đối nhiều biến hóa thể dễ dàng và đơn giản hơn, ví dụ như khả năng lặp lại so sánh dựa trên các bộ dữ liệu đang biết.

Các một số loại phân tích kỹ thuật không giống nhau đã khác biệt về kĩ năng tái lặp. Một ví dụ là nghiên cứu và phân tích toán thù học, trong nhiều trường phù hợp các nghiên cứu này chất nhận được việc khả lặp dựa vào các pmùi hương trình vào phiên bản thảo. Một ví dụ không giống là những nghiên cứu hiện tại ngôi trường, thường xuyên thì tác dụng nhờ vào vào các nguyên tố ko điều hành và kiểm soát được. Chẳng hạn câu hỏi tái lập toàn cục một phân tích về ảnh hưởng của một cơn sốt tức thì trước và sau khoản thời gian nó xẩy ra có vẻ là vấn đề quan trọng, ít nhất xét về tính chất tác dụng của nó.

Phạm vi bây giờ về năng lực tái lập sẽ ở đâu đó giữa hai ví dụ mà Shop chúng tôi chỉ ra rằng sống trên, và phạm vi này thu thon thả xuất xắc không ngừng mở rộng phụ thuộc vào vào các bộ biện pháp sẵn gồm cho những nhà nghiên cứu và phân tích. Phần mềm mối cung cấp msinh sống, điện toán thù đám mây, lưu trữ dữ liệu cùng vô vàn các nguyên tắc năng lượng điện toán thù sẵn bao gồm sẽ mở rộng phạm vi này vào bài toán được cho phép các phân tích khả lặp có thể được triển khai trên những nhiều loại nghiên cứu hơn hai ví dụ sống trên. Tuy nhiên, lối đùa chữ về một cuộc khủng hoảng rủi ro của phân tích khả lặp cho biết rằng các cỗ phương tiện hiện giờ, mặc dù siêu đặc biệt quan trọng, nhưng mà chưa xử lý được vấn đề một giải pháp triệt để.

Lúc Này Cửa Hàng chúng tôi sẽ thao tác làm việc vào một dự án công trình về một so sánh tất cả cường độ phức hợp vừa buộc phải với một lượng dữ liệu cũng vừa nên (49061 dòng) và Shop chúng tôi đang thí nghiệm xem nhằm trở nên nó thành một nghiên cứu khả lặp hoàn toàn thì rất cần được có tác dụng số đông gì. (Nghiên cứu vãn này trả lời cho 1 thắc mắc rất đơn giản: các loại thân gỗ chỉ chiếm tỉ trọng bao nhiêu vào giới thực vật?). Kinh nghiệm của công ty chúng tôi vào bài toán nỗ lực thay đổi nghiên cứu này trở thành khả lặp hoàn toàn có thể hữu dụng mang lại hầu hết bàn luận tiếp theo về kiểu cách làm cho cố kỉnh như thế nào nhằm các công ty kỹ thuật phải ít thời hạn và ít yếu tố kinh nghiệm hơn Shop chúng tôi nhằm thực hiện các nghiên cứu và phân tích khả lặp của riêng rẽ chúng ta. Nói phương pháp khác, việc làm này cho thấy thêm Shop chúng tôi có ích tới mức nào vào bài toán không ngừng mở rộng phạm vi khả lặp mang lại những nhiều loại phân tích rộng với bằng cách kia, tạo cho kỹ thuật ngày càng an toàn và tin cậy rộng.

Cuối cùng, phân tích với report của Cửa Hàng chúng tôi đã có được tái lặp một biện pháp tự do với tương đối dễ dàng đến rất nhiều ai mong mỏi tái lặp phân tích này, tuy nhiên để tiến hành được bài toán tái lặp ở tầm mức độ này chưa phải là không buộc phải bỏ công sức của con người. Cho mọi ai quyên tâm, tổng thể mã lệnh cùng tư liệu của chúng tôi tất cả sẵn tại địa chỉ này.

Có 2 phía bên trong vấn đề đổi mới một dự án trlàm việc phải khả lặp: dữ liệu cùng những so sánh đang thực hiện. Chúng tôi cũng chú ý rằng thực tế dự án công trình này là khả thi vì chưng các cách tân và phát triển vừa mới đây trong Việc lưu trữ tài liệu. Công bài toán viết một mã lệnh để tải dữ liệu chính từ bỏ Dryad và chuẩn bị mang lại câu hỏi so với nó khá là đơn giản dễ dàng. Tuy nhiên, vấn đề đó chỉ minh chứng một bắt đầu mang đến thách thức: bước so với tài liệu lúc này biến bước khó khăn nhất. Những điều ngay lập tức tiếp theo sau là list nthêm đều bài học kinh nghiệm đúc rút trường đoản cú thực tế thao tác làm việc của Cửa Hàng chúng tôi. Mỗi bài học kinh nghiệm cho biết thêm một thách thức công ty chúng tôi nên thừa qua vào quá trình tiến hành nghiên cứu khả lặp cùng hình thức công ty chúng tôi lựa chọn để tuyên chiến và cạnh tranh với thách thức kia.

Những thách thức cùng biện pháp đến vấn đề tái lặp

Sử dụng nguồn dữ liệu tiêu chuẩn

Chúng tôi download dữ liệu về từ các nguồn chuẩn chỉnh (Dryad với The Plant List) và chỉ chỉnh sửa chúng sử dụng các câu lệnh nhằm bảo đảm an toàn mọi biến đổi bảo toàn được ngulặng vẹn tính chất của dữ liệu ban sơ. Lợi ích của các tài liệu msinh hoạt đang chỉ được nhận thấy giả dụ chúng ta kính trọng tính định danh của dữ liệu cùng không tạo ra hàng nghìn phiên bản sửa đổi chỉ khác nhau đôi chút. Điều này cũng giúp cho vấn đề ghi công của những fan góp sức dữ liệu. Tuy nhiên các vấn đề nlỗi các tiêu chuẩn chỉnh phân loại không thống nhất vẫn vẫn là một đồ dùng cản béo đối với những dữ liệu về sinh thái học.

Kết vừa lòng quan tâm đến cùng mã lệnh

Chúng tôi thực hiện gói knitr đến R để thực thi các so sánh theo phong cách xây dựng tất cả phân tích và lý giải. Toàn cỗ các so sánh, bao gồm phần nhiều biện giải cho các hàm cơ bản rất có thể tìm thấy trên trên đây. Tuy nhiên, thao tác với các đội mã lệnh lâu năm xuất xắc cần thời gian đáng chú ý để chạy vẫn đã là một trong những vấn đề đau đầu.

Xem thêm: Tải Và Chơi Game Dau Truong Thu, Đấu Trường Thú 2, 3, 4 Pc, Tải Và Chơi Game Bloody Roar 2

Kết xuất những thông số kỹ thuật động

Toàn bộ việc xử lý dữ liệu của Cửa Hàng chúng tôi được triển khai vày những mã lệnh, và công ty chúng tôi rất có thể xóa hết các thông số đầu ra và chế tạo ra lại bọn chúng một biện pháp dễ dãi.

Tự rượu cồn tàng trữ những thành tố phú thuộc

Chúng tôi thực hiện GNU make nhằm thống trị những thành tố phụ thuộc vào trong dự án, chỉ đổi khác đều phần buộc phải sửa lại. Công nắm này cũng giúp cho quá trình trở nên tân tiến dự án phát triển thành một quá trình tự gói gọn.

Quản lý phiên bản

Toàn cỗ mã lệnh của chúng tôi được làm chủ phiên bản thực hiện git tự lúc ban đầu, vấn đề đó chất nhận được Cửa Hàng chúng tôi điều hành và kiểm soát những phiên bạn dạng cũ một cách thuận tiện. Đây cũng chính là trung trọng tâm dữ liệu của hầu hết máy Cửa Hàng chúng tôi làm cho. Xem bài viết này giúp xem vai trò to lớn béo của cai quản phiên phiên bản cho tới quá trình nghiên cứu và phân tích.

Tự hễ đánh giá các chuyển đổi để đảm bảo ko tạo nên vấn đề

Chúng tôi thực hiện môi trường khối hệ thống tích hòa hợp liên tục (continuous integration) Travis CI nhằm thống kê giám sát biến đổi vào đối chiếu nhằm ngăn ngừa lỗi. Mỗi Khi chúng tôi tạo nên một chuyển đổi, khối hệ thống này cài mã nguồn của công ty chúng tôi xuống đồng thời với những dữ liệu liên quan với chạy phân tích, cùng vẫn gửi mang đến Cửa Hàng chúng tôi một tlỗi năng lượng điện tử ví như vì nguyên do gì đó so sánh bị lỗi. Hệ thống này thậm chí là còn thiết lập lên các phiên bạn dạng sẽ biên dịch của phân tích và ghi crúc mỗi lúc chạy.

Đóng gói các thành tố phụ thuộc

Chúng tôi áp dụng gói packrat mang đến R nhằm cai quản với tàng trữ các gói R dựa vào nhằm chắc chắn tài năng khả lặp về sau. Về phương diện lý thuyết, vấn đề này tức là trường hợp phiên bạn dạng của gói ứng dụng kia thay đổi không ít đến mức tạo ra lỗi vào mã lệnh của Shop chúng tôi thì Shop chúng tôi đang có sẵn một bạn dạng tàng trữ có thể áp dụng được. Đây là một trong phương tiện bắt đầu, Cửa Hàng chúng tôi không chứng thực được nó gồm hoạt động hay không.

Những thách thức còn vứt ngỏ

Chúng tôi nhận thấy rằng vấn đề biến đổi phần lớn so sánh đang chuyển động từ bỏ máy tính xách tay của tín đồ này (cùng với hồ hết cấu hình thiết lập cá nhân mang đến laptop của họ) quý phái bạn không giống là 1 trong việc khó khăn. ví dụ như nhỏng sự việc này. Thật khó để dự đân oán được hầu hết ngulặng nhân dẫn đến sai sót: trong quy trình tái lặp nghiên cứu này bởi Carl Boettiger một sự việc đang gây ra vì Việc chưa triển khai xong tư liệu về những phiên phiên bản gói hỗ trợ R quan trọng.Gói mã lệnh xúc tiến các các bước bên trên là tương đương về size khi tiến hành so sánh vào thực tế; đó là một thử thách thật sự cho các nhà phân tích. Việc áp dụng những ngữ điệu với framework khác nhau có tác dụng ngày càng tăng kinh nghiệm về những mảng kiến thức và kỹ năng mang tính kỹ năng rộng, cũng như tài năng xảy ra những vụ việc đã tăng thêm. Càng tự động hóa hóa quy trình này thì những nghiên cứu khả lặp vẫn càng trngơi nghỉ buộc phải phổ biến.

Pmùi hương pháp tiếp cận sử dụng hệ thống tích đúng theo thường xuyên bao gồm tiềm năng to giúp cho vấn đề cai quản các dự án phân tích dựa trên technology điện toán trsống phải dễ ợt hơn. Tuy nhiên, tuy vậy so sánh của công ty chúng tôi mang ý nghĩa phép tắc nhiều hơn thế nữa là ứng dụng thực tiễn, nó sẽ bị giới hạn sinh sống những mặt: yên cầu dự án nên là nguồn mngơi nghỉ, phân tích yêu cầu chạy kha khá nhanh hao (bên dưới 1 giờ). Những giới hạn này là phù hợp so với các hình thức dịch vụ miễn mức giá mà lại nó sẽ không còn thể thỏa mãn nhu cầu được những dự án nghiên cứu và phân tích thực hiện các thông tin “tinh tế cảm” cùng những tính toán có thể kéo dãn dài các tiếng tuyệt những ngày.

Chúng tôi phân biệt phương châm khả lặp mang đến dự án đang trở thành một ví dụ có lợi, và nó đã trở thành nền tảng gốc rễ cho những dự án công trình tiếp theo. Tuy nhiên, quá trình này đang trsinh hoạt buộc phải thức tạp hơn các, để cho bài toán lý giải cho người khác cách để làm cho dự án công trình của họ trsinh sống phải tái lặp ko đơn giản dễ dàng chỉ qua lời nói.Chúng ta cần được cải cách và phát triển đông đảo lao lý, tối thiểu bắt buộc dễ dùng nlỗi quản lý phiên bản trước khi chúng ta muốn đợi bài toán tái lặp dự án phát triển thành một Xu thế tầm thường.Chúng tôi không phản bác bỏ chủ ý của Titus Brown về câu hỏi tái lặp một trong những phần thì tốt hơn là không tái lặp gì cả (50% số tín đồ tạo nên công việc của họ có công dụng tái lặp 50% dường như tốt rộng 5% số tín đồ tạo cho côgn bài toán của họ có tác dụng tái lặp 100%!). Tuy nhiên, công ty chúng tôi ko đồng tình cùng với quan điểm của Titus cho rằng phần đa cách thức bắt đầu là không quan trọng. Những lý lẽ hiện thời là siêu đơn giản với nhiều tới mức nặng nề mong đợi các công ty kỹ thuật áp dụng trên diện rộng Xu thế tái lặp bởi kim chỉ nam thiết yếu của mình không phải để tái lặp. Nếu nhận định rằng việc tái lặp là không cuốn hút, chúng ta cấp thiết đợi mong người không giống bỏ thời gian với công sức của mình ra nhằm góp phần cho cộng đồng phần nhiều thiết bị giỏi đẹp.

Những cố gắng khác mang đến kim chỉ nam đơn giản dễ dàng là thực hiện lại nghiên cứu tại một máy tính không giống cũng không khả thi hơn nỗ lực của Shop chúng tôi là bao. Một phân tích của tập thể nhóm UBC Reproducibility cho biết chúng ta bắt buộc tái lặp công dụng của 30% hồ hết so với được ra mắt sử dụng gói hỗ trợ thông dụng STRUCTURE, với cùng tài liệu được cung cấp vì tác giả. Một ngôi trường vừa lòng xứng đáng ảm đạm hơn, một nhóm phân tích trên ĐH Arizona cho biết thêm họ chỉ rất có thể build được khoảng chừng một nửa số phần mềm mối cung cấp mngơi nghỉ mà họ hoàn toàn có thể download xuống nhưng mà không xét cho tới Việc soát sổ tác dụng của ứng dụng (xem xét rằng nghiên cứu và phân tích này hiện nay đã làm được tái lặp!).

Xem thêm: Top Thẻ Bài Yugioh Quý Hiếm Và Đắt Giá Nhất Trong Thế Giới Yu

Quá trình khiến cho phân tích của Shop chúng tôi trlàm việc cần khả lặp cho biết bọn họ chỉ vẫn tiến được các bước nhỏ tuổi trong việc tạo cho phân tích khả lặp trsinh hoạt buộc phải thịnh hành so với các nhà kỹ thuật trong thực tiễn.