จากประสบการณ์ของผมและของคนอื่นๆ ที่ได้ลองตรวจสอบดูพบว่า โดยทั่วไปแล้วข้อมูล (data) มักจะมีความแม่นยำน้อยกว่าที่โฆษณาไว้มาก นี่ไม่ใช่เรื่องเล็กๆ—เราต้องพึ่งพาข้อมูลตั้งต้น (initial data) สำหรับการตัดสินใจหลายๆ อย่าง รวมถึงใช้เป็นข้อมูลนำเข้าสำหรับการจำลองสถานการณ์ (simulations) ซึ่งนำไปสู่การตัดสินใจอีกที เนื่องจากมีข้อผิดพลาดมากมายหลายประเภท และผมไม่มีทฤษฎีที่สอดคล้องกันที่จะอธิบายข้อผิดพลาดทั้งหมดได้ ผมจึงต้องใช้ตัวอย่างเฉพาะกรณีและข้อสรุปทั่วไปจากตัวอย่างเหล่านั้น
เริ่มจากเรื่อง การทดสอบอายุการใช้งาน (life testing) ก่อน ตัวอย่างที่ดีคือประสบการณ์ของผมกับการทดสอบอายุการใช้งานของหลอดสุญญากาศ (vacuum tubes) ที่จะนำไปใช้ในสายเคเบิลใต้ทะเลที่ใช้ส่งเสียงรุ่นแรก ซึ่งหวังว่าจะมีอายุการใช้งาน 20 ปี (หลังจาก 22 ปี เราก็แค่ถอดสายเคเบิลออกจากการใช้งาน เพราะมันแพงเกินไปที่จะเดินต่อไป—ซึ่งก็เป็นตัวชี้วัดความก้าวหน้าทางเทคโนโลยีในยุคสมัยนั้นได้ดี) หลอดสำหรับสายเคเบิลนี้เริ่มมีให้ใช้ประมาณ 18 เดือนก่อนที่จะวางสายเคเบิล ผมมีเครื่องคอมพิวเตอร์ขนาดกลาง รวมถึง ibm 101 เครื่องจัดเรียงข้อมูลทางสถิติ (statistical sorter) และผมก็ให้คนที่กำลังประมวลผลข้อมูลได้ใช้งานมัน รวมถึงช่วยพวกเขาทำงานด้านการคำนวณในส่วนที่ต้องใช้เทคนิคมากขึ้น ผมไม่ได้เกี่ยวข้องโดยตรงกับงานของโปรเจกต์นี้เลย แต่อย่างไรก็ตาม วันหนึ่งผู้บริหารระดับสูงคนหนึ่งในโปรเจกต์พาผมไปดูอุปกรณ์ทดสอบในห้องใต้หลังคา ผมก็เป็นผม เมื่อเวลาผ่านไปผมก็ถามว่า "ทำไมคุณถึงเชื่อว่าอุปกรณ์ทดสอบมันน่าเชื่อถือเท่ากับสิ่งที่กำลังถูกทดสอบล่ะ?" คำตอบที่ได้ทำให้ผมมั่นใจว่าเขาไม่เคยคิดถึงเรื่องนี้จริงๆ จังๆ แต่เมื่อเห็นว่าการถามต่อคงไม่มีประโยชน์ ผมก็ปล่อยเรื่องนั้นไป แต่ผมไม่เคยลืมคำถามนี้!
การทดสอบอายุการใช้งานนั้นสำคัญมากขึ้นเรื่อยๆ และก็ยากขึ้นเรื่อยๆ เมื่อเราต้องการส่วนประกอบที่เชื่อถือได้มากขึ้นสำหรับระบบที่ใหญ่ขึ้นเรื่อยๆ หลักการพื้นฐานอย่างหนึ่งคือ การทดสอบอายุการใช้งานแบบเร่ง (accelerated life testing) ซึ่งหมายความว่าถ้าผมเพิ่มอุณหภูมิ 17° C ปฏิกิริยาเคมีส่วนใหญ่ (แต่ไม่ใช่ทั้งหมด) จะเพิ่มอัตราเป็นสองเท่า นอกจากนี้ยังมีแนวคิดที่ว่าถ้าผมเพิ่มแรงดันไฟฟ้าที่ใช้งาน ผมจะพบจุดอ่อนบางอย่างได้เร็วขึ้น สุดท้าย สำหรับการทดสอบ integrated circuits บางชนิด การเพิ่มความถี่ของ clock pulses จะช่วยให้พบจุดอ่อนบางอย่างได้เร็วขึ้น ความจริงก็คือ ทั้งสามวิธีรวมกันก็แทบจะไม่ใช่พื้นฐานที่มั่นคงสำหรับการทำงาน แต่ในการตอบโต้คำวิจารณ์นี้ ผู้เชี่ยวชาญก็บอกว่า "แล้วเราจะทำอะไรอย่างอื่นได้ล่ะ เมื่อต้องอยู่ภายใต้ข้อจำกัดด้านเวลาและงบประมาณ?" ยิ่งนานวันเข้า ช่องว่างระหว่างการสร้างสรรค์ทางวิทยาศาสตร์และการพัฒนาทางวิศวกรรมก็ยิ่งแคบลง จนแทบไม่มีเวลาได้ทดสอบประสบการณ์การใช้งานจริงกับอุปกรณ์ใหม่ๆ ก่อนที่จะนำไปใช้ในวงกว้าง ถ้าคุณต้องการความแน่นอน คุณก็เสี่ยงที่จะล้าสมัย
แน่นอนว่ายังมีการทดสอบอื่นๆ สำหรับสิ่งอื่นๆ นอกเหนือจากที่กล่าวมาข้างต้น เท่าที่ผมเห็น พื้นฐานของการทดสอบอายุการใช้งานนั้นไม่แข็งแรง แต่ก็ไม่มีอะไรอื่นให้ใช้ได้อีก ผมเคยเถียงกันนานแล้วที่ Bell Telephone Laboratories ว่าเราควรจัดตั้งแผนกทดสอบอายุการใช้งานที่มีหน้าที่ เตรียมพร้อมสำหรับการทดสอบอุปกรณ์ชิ้นถัดไปที่จะถูกประดิษฐ์ขึ้นมา และไม่ใช่แค่ทดสอบหลังจากความต้องการเกิดขึ้นแล้วเท่านั้น ผมไม่ประสบความสำเร็จ แม้จะเสนอแนะแนวทางเริ่มต้นที่ค่อนข้างอ่อนๆ ไปบ้าง ก็ไม่มีเวลาในด้านการทดสอบอายุการใช้งานที่จะทำงานวิจัยพื้นฐาน—พวกเขาอยู่ภายใต้แรงกดดันมากเกินไปที่จะต้องได้ผลลัพธ์ที่ต้องการภายในวันพรุ่งนี้ อย่างที่เขาว่ากันว่า
ไม่เคยมีเวลาทำงานให้ถูกต้องตั้งแต่แรก แต่ก็มีเวลาแก้ไขทีหลังเสมอ
โดยเฉพาะในซอฟต์แวร์คอมพิวเตอร์!
คำถามที่ผมฝากให้คุณคิดคือ "คุณจะทดสอบอุปกรณ์ชิ้นหนึ่ง หรืออุปกรณ์ทั้งชุด ที่ต้องการความน่าเชื่อถือสูงได้อย่างไร ในเมื่อคุณมีแค่อุปกรณ์ทดสอบที่เชื่อถือได้น้อยกว่า มีเวลาจำกัดในการทดสอบ แต่อุปกรณ์นั้นต้องมีอายุการใช้งานที่ยาวนานมากในสนามจริง?" นั่นเป็นปัญหาที่อาจจะหลอกหลอนคุณในอนาคต ดังนั้นคุณควรเริ่มคิดถึงมันตั้งแต่วันนี้ และมองหาเบาะแสสำหรับการตัดสินใจอย่างมีเหตุผลเมื่อถึงเวลาของคุณ และคุณต้องตกเป็นฝ่ายรับผลการทดสอบอายุการใช้งานบ้าง ขอเปลี่ยนมาพูดถึงเรื่องการวัดในแง่มุมที่ง่ายกว่ากันบ้าง ตัวอย่างเช่น เพื่อนของผมคนหนึ่งที่ Bell Telephone Laboratories ซึ่งเป็นนักสถิติที่เก่งมาก รู้สึกว่าข้อมูลที่เขากำลังวิเคราะห์นั้นไม่แม่นยำ การเถียงกับหัวหน้าแผนกว่าควรวัดใหม่นั้นไม่เป็นผลเลย เพราะหัวหน้าแผนกมั่นใจว่าลูกน้องของเขาเชื่อถือได้ และยิ่งไปกว่านั้น อุปกรณ์ต่างๆ ก็มีป้ายทองเหลืองบอกว่ามันแม่นยำขนาดนั้น เพื่อนผมจึงเข้ามาทำงานในเช้าวันจันทร์และบอกว่าเขาทำกระเป๋าเอกสารหายบนรถไฟตอนกลับบ้านเมื่อวันศุกร์ และทุกอย่างหายไปหมด หัวหน้าแผนกก็ไม่มีทางเลือกอื่นนอกจากต้องสั่งให้วัดใหม่ จากนั้นเพื่อนผมก็เอาบันทึกข้อมูลเดิมออกมาและชี้ให้เห็นว่าข้อมูลเดิมนั้นคลาดเคลื่อนแค่ไหน! มันไม่ได้ทำให้เขาเป็นที่ชื่นชอบ แต่ก็ช่วยเปิดโปงความไม่แม่นยำของการวัดที่มีบทบาทสำคัญอย่างยิ่งในช่วงหลัง
เพื่อนนักสถิติคนเดียวกันนี้เคยทำการศึกษาให้กับบริษัทภายนอกเกี่ยวกับรูปแบบการโทรศัพท์ของสำนักงานใหญ่ของพวกเขา ข้อมูลถูกบันทึกโดยอุปกรณ์ของ central office เดียวกันกับที่ใช้ในการเชื่อมต่อสายและออกใบเรียกเก็บค่าสาย วันหนึ่งเขาบังเอิญสังเกตเห็นว่ามีสายหนึ่งโทรไปยัง central office ที่ไม่มีอยู่จริง! เขาก็เลยดูให้ละเอียดขึ้น และพบว่าเปอร์เซ็นต์ที่สูงมากของสายทั้งหมดถูกเชื่อมต่อเป็นเวลาหลายนาทีไปยัง central office ที่ไม่มีอยู่จริง! ข้อมูลถูกบันทึกโดยเครื่องจักรเดียวกันกับที่ใช้เชื่อมต่อสาย แต่ก็ยังมีข้อมูลที่ผิดพลาดอยู่ดี คุณไม่สามารถเชื่อถือเครื่องจักรแม้กระทั่งในการเก็บข้อมูลเกี่ยวกับตัวมันเอง!
น้องชายของผม ซึ่งทำงานอยู่ที่แผนกมลพิษทางอากาศของลอสแอนเจลิสเป็นเวลาหลายปี เคยบอกผมว่าพวกเขาพบว่าจำเป็นต้องถอดประกอบ ประกอบกลับเข้าไปใหม่ และปรับเทียบ ทุกๆ ชิ้นของอุปกรณ์ใหม่ที่ซื้อมา! ไม่อย่างนั้นพวกเขาจะเจอปัญหาความแม่นยำไม่รู้จบ ไม่ต้องสนใจคำกล่าวอ้างของผู้ขาย!
ครั้งหนึ่งผมเคยทำการศึกษาสินค้าคงคลังขนาดใหญ่ให้กับ Western Electric ข้อมูลดิบที่พวกเขาให้มาคือบันทึกสินค้าคงคลัง 18 เดือนของสินค้าประมาณ 100 รายการ ผมถามคำถามธรรมชาติว่าทำไมผมถึงควรเชื่อว่าข้อมูลสอดคล้องกัน—เช่น บันทึกอาจแสดงการเบิกออกทั้งที่ไม่มีสินค้าในสต็อกหรือไม่? พวกเขาอ้างว่าคิดถึงเรื่องนั้นแล้ว และจริงๆ แล้วได้ตรวจสอบข้อมูลและเพิ่มธุรกรรมปลอมสองสามรายการเพื่อป้องกันไม่ให้เกิดเหตุการณ์แบบนั้น ผมก็โง่เขลาเชื่อพวกเขา และเพิ่งมารู้ช้าตอนใกล้จบโครงการว่ายังมีความไม่สอดคล้องกันหลงเหลืออยู่ในข้อมูล ดังนั้นผมจึงต้องค้นหามันก่อน แล้วกำจัดมันทิ้ง แล้วจึงประมวลผลข้อมูลทั้งหมดใหม่ทั้งหมด จากประสบการณ์นั้นผมได้เรียนรู้ว่าจะไม่ประมวลผลข้อมูลใดๆ จนกว่าจะตรวจสอบมันอย่างละเอียดก่อนว่ามีข้อผิดพลาดหรือไม่ มีคนบ่นว่าผมใช้เวลานานเกินไป แต่เกือบทุกครั้งผมก็พบข้อผิดพลาด และเมื่อผมแสดงข้อผิดพลาดให้พวกเขาดู พวกเขาก็ต้องยอมรับว่าผมฉลาดที่ใช้ความระมัดระวังแบบนั้น ไม่ว่าข้อมูลจะศักดิ์สิทธิ์แค่ไหนและต้องการคำตอบเร็วแค่ไหน ผมได้เรียนรู้ที่จะตรวจสอบความสอดคล้องและหาค่าผิดปกติ (outliers) ล่วงหน้าอย่างน้อยที่สุด
ครั้งหนึ่งผมเคยเข้าไปมีส่วนร่วมในฐานะผู้สืบสวน และต่อมาเป็นที่ปรึกษาในการศึกษาบุคลากรขนาดใหญ่ของ at&t ซึ่งใช้ univac ในนิวยอร์กซิตี้ที่เช่ามาทำงานนี้ ข้อมูลต้องมาจากหลายที่หลายทาง ดังนั้นผมจึงคิดว่าควรทำการศึกษานำร่อง (pilot study) ก่อนเพื่อให้แน่ใจว่าแหล่งข้อมูลต่างๆ เข้าใจว่าจะเกิดอะไรขึ้น และเข้าใจวิธีเตรียม ibm การ์ดที่มีข้อมูลที่เกี่ยวข้อง ซึ่งเราก็ทำอย่างนั้น แต่เมื่อการศึกษาหลักมาถึง แหล่งข้อมูลบางแห่งก็ไม่ได้เจาะการ์ดตามที่ได้รับการสั่งสอน มันใช้ความคิดเพียงเล็กน้อยของผมในการตระหนักว่า แน่นอน การศึกษานำร่องซึ่งมีขนาดเล็ก ไปถึงกลุ่มผู้เชี่ยวชาญด้าน key punch ในพื้นที่ แต่การศึกษาหลักต้องทำโดยกลุ่มกลาง โชคร้ายสำหรับผม พวกเขาไม่เข้าใจวัตถุประสงค์ของการศึกษานำร่อง! ผมก็ไม่ได้ฉลาดอย่างที่คิดอีกแล้ว ผมไม่เข้าใจการทำงานภายในขององค์กรขนาดใหญ่
Figure 27.1—ข้อมูลที่ไม่น่าเชื่อถือ (Unreliable data)
แล้วข้อมูลทางวิทยาศาสตร์พื้นฐานล่ะ? ในสิ่งพิมพ์ของ nbs เกี่ยวกับค่าคงที่พื้นฐานทางฟิสิกส์สิบประการ—ความเร็วแสง เลขอาโวกาโดร ประจุของอิเล็กตรอน ฯลฯ—มีข้อมูลสองชุดพร้อมค่าความคลาดเคลื่อนของพวกมัน ผมสังเกตได้ทันทีว่าถ้าข้อมูลชุดที่สองถือว่าถูกต้อง (และจุดประสงค์ของตารางคือแสดงให้เห็นว่าความแม่นยำดีขึ้นแค่ไหนในช่วง 24 ปีระหว่างการรวบรวม) ค่าเฉลี่ยของค่าใหม่ที่อยู่นอกค่าคลาดเคลื่อนเดิมคือ 5.267 เท่า ซึ่งเป็นคอลัมน์สุดท้ายที่ผมเพิ่มเข้าไป รูป 27.1 . ทีนี้ คุณคงคิดว่าค่าคงที่ทางฟิสิกส์ถูกคำนวณอย่างระมัดระวัง แต่ทว่ามันผิดพลาดขนาดไหน! การรวบรวมค่าคงที่ทางฟิสิกส์ครั้งถัดมาแสดงค่าคลาดเคลื่อนเฉลี่ยเกือบครึ่งหนึ่งของเดิม รูป 27.2 . เราทำได้แค่สงสัยว่าอีก 20 กว่าปีจะเผยอะไรเกี่ยวกับความแม่นยำที่อ้างล่าสุดนี้! อยากเดิมพันไหม?
Figure 27.2—ค่าคงที่ทางฟิสิกส์ที่แตกต่างกันเล็กน้อย (Slightly different physical constants available)
นี่ไม่ใช่เรื่องผิดปกติ ผมเพิ่งเห็นตารางการวัดค่าคงที่ของฮับเบิล (Hubble's constant—ความชันของเส้นที่เชื่อมต่อ red shift กับระยะทาง) ซึ่งเป็นพื้นฐานของจักรวาลวิทยาสมัยใหม่ส่วนใหญ่ ค่าส่วนใหญ่ตกอยู่นอกค่าคลาดเคลื่อนที่ประกาศไว้ของค่าอื่นๆ ส่วนใหญ่
ดังนั้น โดยการวัดทางสถิติโดยตรง ค่าคงที่ทางฟิสิกส์ที่ดีที่สุดในตารางก็ยังไม่มีความแม่นยำอย่างที่พวกเขาอ้างสิทธิ์เลยแม้แต่น้อย เป็นไปได้ยังไง? ความสะเพร่าและการมองโลกในแง่ดีเกินไปเป็นสองปัจจัยหลัก การคิดไตร่ตรองเป็นเวลานานยังชี้ให้เห็นว่าเทคนิคการทดลองที่คุณถูกสอนอยู่ในปัจจุบันก็มีส่วนผิดและก่อให้เกิดข้อผิดพลาดในความแม่นยำที่อ้างสิทธิ์ด้วย ลองพิจารณาว่าจริงๆ แล้วคุณทำการทดลองอย่างไร แตกต่างจากทฤษฎี คุณประกอบอุปกรณ์และเปิดมัน และแน่นอนว่าอุปกรณ์ทำงานไม่ถูกต้อง ดังนั้นคุณใช้เวลาสักพัก ซึ่งมักเป็นสัปดาห์ ในการทำให้มันทำงานได้ถูกต้อง ตอนนี้คุณพร้อมที่จะเก็บข้อมูลแล้ว แต่ก่อนอื่นคุณ ปรับแต่งอย่างละเอียด (fine-tune) อุปกรณ์ ยังไงล่ะ? โดยการปรับมันให้ได้ผลลัพธ์ที่สม่ำเสมอ! พูดง่ายๆ ก็คือ คุณปรับให้มีความแปรปรวนต่ำ (low variance); แล้วจะมีทางเลือกอื่นอะไรอีก? แต่มันก็เป็นข้อมูลที่มีความแปรปรวนต่ำนี้แหละที่คุณส่งให้นักสถิติและใช้เพื่อประมาณค่าความแปรปรวน คุณไม่ได้ให้ข้อมูลที่ถูกต้องจากการปรับตั้งค่าที่ถูกต้อง—คุณไม่รู้วิธีทำแบบนั้น—คุณให้ข้อมูลที่มีความแปรปรวนต่ำ และคุณก็ได้รับความน่าเชื่อถือสูงจากนักสถิติอย่างที่คุณต้องการ! นั่นคือการปฏิบัติทั่วไปในห้องปฏิบัติการ! ไม่น่าแปลกใจที่ข้อมูลแทบจะไม่เคยแม่นยำเท่าที่อ้างสิทธิ์
ผมขอเสนอ Hamming's rule:
90% ของครั้ง การวัดอิสระครั้งถัดไปจะตกอยู่นอกขอบเขตความเชื่อมั่น 90% ก่อนหน้านี้!
กฎนี้จริงๆ แล้วพูดเกินจริงไปหน่อย แต่การพูดแบบนั้นทำให้เป็นกฎที่จำง่าย—ความแม่นยำของการวัดที่ตีพิมพ์ส่วนใหญ่ไม่ได้ดีเท่าที่อ้างสิทธิ์ มันตั้งอยู่บนประสบการณ์ตลอดชีวิตและแสดงถึงความผิดหวังในภายหลังกับความแม่นยำที่อ้างสิทธิ์ ผมไม่เคยยื่นขอทุนเพื่อทำการศึกษาที่ถูกต้องเป็นวงกว้าง แต่ผมไม่สงสัยเลยว่าผลลัพธ์ของการศึกษานั้นจะเป็นอย่างไร
ปรากฏการณ์แปลกอีกอย่างที่คุณอาจพบคือตอนที่ fitting ข้อมูลกับโมเดล (model) จะมีข้อผิดพลาดทั้งในข้อมูลและในโมเดล ตัวอย่างเช่น อาจ假定การแจกแจงแบบปกติ (normal distribution) แต่ส่วนหาง (tails) อาจใหญ่หรือเล็กกว่าที่โมเดลทำนาย และอาจไม่มีค่าลบเกิดขึ้นได้ แม้ว่าการแจกแจงแบบปกติจะอนุญาตให้มีก็ตาม ดังนั้นจึงมีแหล่งที่มาของข้อผิดพลาดสองแหล่ง เมื่อความสามารถในการวัดที่แม่นยำมากขึ้นของคุณเพิ่มขึ้น ข้อผิดพลาดที่เกิดจากโมเดลก็กลายเป็นส่วนที่เพิ่มขึ้นของข้อผิดพลาดทั้งหมด
ผมนึกถึงประสบการณ์ตอนที่ผมเป็นกรรมการในบริษัทคอมพิวเตอร์แห่งหนึ่ง เรากำลังจะเปลี่ยนไปใช้คอมพิวเตอร์ตระกูลใหม่ และได้เตรียมประมาณการต้นทุนอย่างระมัดระวังในทุกแง่มุมของโมเดลใหม่ จากนั้นพนักงานขายคนหนึ่งประมาณว่าถ้าราคาขายเป็นเท่านี้ เขาจะได้ออเดอร์สิบเครื่อง ถ้าอีกราคาหนึ่งก็สิบห้า และอีกราคาหนึ่งก็ยี่สิบเครื่อง การเดาของเขา—และผมไม่ได้บอกว่ามันผิด—ถูกรวมกับข้อมูลทางวิศวกรรมที่ระมัดระวังเพื่อตัดสินใจว่าจะตั้งราคาเท่าไหร่สำหรับโมเดลใหม่! ความน่าเชื่อถือส่วนใหญ่ของการประมาณทางวิศวกรรมถูกถ่ายโอนไปยังผลรวม และความไม่แน่นอนของการเดาของพนักงานขายก็ถูกมองข้าม นั่นไม่ใช่เรื่องแปลกในองค์กรขนาดใหญ่ การประมาณอย่างระมัดระวังถูกรวมกับการเดาอย่างไร้หลักการ และความน่าเชื่อถือของทั้งหมดก็ถูกถือว่าเป็นความน่าเชื่อถือของส่วนที่เป็นวิศวกรรม คุณอาจถามอย่างถูกต้องว่าทำไมต้องกังวลกับการประมาณทางวิศวกรรมที่แม่นยำ เมื่อมันต้องไปรวมกับการเดาที่ไม่แม่นยำอื่นๆ แต่นั่นคือการปฏิบัติที่แพร่หลายในหลายสาขา!
ผมพูดถึงวิทยาศาสตร์และวิศวกรรมก่อน เพื่อว่าเมื่อผมพูดถึงข้อมูลทางเศรษฐศาสตร์ คุณจะได้ไม่ดูถูกมันมากเกินไป หนังสือที่ผมอ่านหลายรอบคือ Morgenstern's On the Accuracy of Economic Measurements , Princeton Press, ฉบับที่ 2 เขาเป็นนักเศรษฐศาสตร์ที่ได้รับการยกย่องอย่างสูง
ตัวอย่างที่ผมชอบจากหนังสือของเขาคือตัวเลขทางการเกี่ยวกับการไหลของทองคำจากประเทศหนึ่งไปยังอีกประเทศหนึ่ง ตามรายงานของทั้งสองฝ่าย ตัวเลขอาจแตกต่างกันมากกว่าสองเท่าในบางครั้ง! ถ้าพวกเขายังทำให้การไหลของทองคำถูกต้องไม่ได้ แล้วคุณคิดว่าข้อมูลอะไรจะถูกต้อง? ผมพอเข้าใจได้ว่าอุปกรณ์ไฟฟ้าที่ส่งไปยังประเทศโลกที่สามอาจถูกติดฉลากเป็นอุปกรณ์การแพทย์เพราะอัตราภาษีนำเข้าที่แตกต่างกัน แต่ทองคำก็คือทองคำ ไม่ใช่สิ่งที่เรียกชื่ออย่างอื่นได้ง่ายๆ
Morgenstern ชี้ให้เห็นว่าในช่วงเวลาหนึ่ง DuPont Chemical ถือหุ้นของ General Motors อยู่ประมาณ 23% คุณคิดว่ามันจะปรากฏอย่างไรเมื่อคำนวณตัวเลขผลิตภัณฑ์มวลรวมประชาชาติ ( gnp )? แน่นอนว่ามันถูกนับสองครั้ง!
ตัวอย่างที่ผมหาได้ด้วยตัวเองคือ สมัยหนึ่งไม่นานมานี้ กฎภาษีสำหรับการรายงานการถือครองสินค้าคงคลังถูกเปลี่ยนแปลง และผลที่ตามมาคือหลายบริษัทเปลี่ยนวิธีการรายงานสินค้าคงคลังเพื่อใช้ประโยชน์จากกฎการรายงานใหม่ ซึ่งหมายความว่าพวกเขาสามารถแสดงสินค้าคงคลังน้อยลงและเสียภาษีน้อยลง ผมเฝ้าดู Wall Street Journal ด้วยความหวังว่าจะเห็นใครพูดถึงประเด็นนี้ แต่ไม่เคยมีเลยเท่าที่ผมเห็น! ในขณะที่การถือครองสินค้าคงคลังเป็นหนึ่งในตัวชี้วัดหลักที่ใช้ในการประมาณความคาดหวังของผู้ผลิต ว่าเศรษฐกิจกำลังจะขึ้นหรือลง ข้อโต้แย้งคือเมื่อผู้ผลิตคิดว่ายอดขายจะลดลง พวกเขาก็ลดสินค้าคงคลัง และเมื่อพวกเขาคาดว่ายอดขายจะเพิ่มขึ้น พวกเขาก็เพิ่มสินค้าคงคลังเพื่อไม่ให้พลาดยอดขายบางส่วน การที่กฎหมายเปลี่ยนไปสำหรับการรายงานสินค้าคงคลังและเป็นส่วนหนึ่งของสิ่งที่อยู่เบื้องหลังการวัดนั้น ไม่เคยถูกกล่าวถึง เท่าที่ผมเห็น
นี่เป็นปัญหาใน time series ทั้งหมด นิยามของสิ่งที่กำลังถูกวัดนั้นเปลี่ยนแปลงตลอดเวลา ตัวอย่างที่ดีที่สุดอาจเป็นเรื่องความยากจน เรายกระดับเส้นความยากจนขึ้นเรื่อยๆ ดังนั้นมันจึงเป็นเกมที่แพ้ในการพยายามกำจัดมัน—พวกเขาก็แค่เปลี่ยนนิยามจนกว่าจะมีคนอยู่ใต้เส้นความยากจนมากพอที่จะดำเนินโครงการที่พวกเขาจัดการต่อไป! สิ่งที่เรียกว่า "ความยากจน" ในปัจจุบัน ในหลายแง่มุมดีกว่าสิ่งที่กษัตริย์ของอังกฤษเคยมีเมื่อไม่นานมานี้!
ในกองทัพเรือ ตำแหน่ง yeoman ก็ไม่ใช่ yeoman คนเดิมตลอดหลายปีที่ผ่านมา และเรือก็ไม่ใช่เรือลำเดิม ฯลฯ ดังนั้น time series ใดๆ ที่คุณศึกษาเพื่อหาแนวโน้มของกองทัพเรือ จะมีปัจจัยพิเศษนี้มาทำให้การตีความของคุณสับสน ไม่ใช่ว่าคุณไม่ควรพยายามทำความเข้าใจสถานการณ์โดยใช้ข้อมูลในอดีต (และระหว่างนั้นก็ใช้การประมวลผลสัญญาณขั้นสูงอย่างที่พูดในบทที่ 14–17) แต่ก็ยังมีปัญหาที่รอคุณอยู่เนื่องจากการเปลี่ยนแปลงนิยามซึ่งอาจไม่เคยถูกระบุไว้ในบันทึกทางการใดๆ เลย! นิยามมีนิสัยที่เปลี่ยนแปลงไปตามเวลาโดยไม่มีการแถลงอย่างเป็นทางการถึงข้อเท็จจริงนี้
รูปแบบของตัวชี้วัดทางเศรษฐกิจต่างๆ ที่คุณเห็นตีพิมพ์เป็นประจำ รวมถึงอัตราการว่างงาน (ซึ่งไม่แยกความแตกต่างระหว่างคนว่างงานกับคนที่ไม่สามารถทำงานได้ แต่ในความเห็นของผมควรแยก) ถูกกำหนดขึ้นเมื่อนานมาแล้ว สังคมของเราในไม่กี่ปีที่ผ่านมาได้เปลี่ยนอย่างรวดเร็วจากสังคมการผลิต (manufacturing) ไปสู่สังคมบริการ (service) แต่ทั้งวอชิงตัน ดี.ซี. และตัวชี้วัดทางเศรษฐกิจต่างก็ไม่ได้รับรู้เรื่องนี้อย่างมีนัยสำคัญ ความลังเลที่จะเปลี่ยนนิยามของตัวชี้วัดทางเศรษฐกิจนั้นอ้างเหตุผลว่าการเปลี่ยนแปลง อย่างที่ระบุในย่อหน้าข้างต้น ทำให้อดีตไม่สามารถเปรียบเทียบกับปัจจุบันได้— มีตัวชี้วัดที่ไม่เกี่ยวข้องก็ยังดีกว่ามีตัวชี้วัดที่ไม่สอดคล้องกัน พวกเขาอ้างอย่างนั้น สถาบันส่วนใหญ่ของเรา (และผู้คน) ช้าที่จะตอบสนองต่อการเปลี่ยนแปลง เช่น การเปลี่ยนจากการผลิตไปสู่บริการ และช้าลงไปอีกที่จะถามตัวเองว่าสิ่งที่พวกเขาทำเมื่อวานนี้ควรถูกปรับเปลี่ยนอย่างไรให้เหมาะกับวันพรุ่งนี้ สถาบันและผู้คนชอบที่จะดำเนินไปอย่างราบรื่น ดังนั้นจึงล้าหลังไปมาก แทนที่จะใช้ความพยายามให้ทันสมัยอย่างสมเหตุสมผล สถาบันก็เหมือนคน มักจะขยับเมื่อถูกบังคับเท่านั้น
ถ้าคุณเพิ่มความจริงง่ายๆ ที่ว่าข้อมูลทางเศรษฐกิจส่วนใหญ่ถูกเก็บรวบรวมเพื่อวัตถุประสงค์อื่น และมีเพียงบังเอิญเท่านั้นที่นำมาใช้ในการศึกษาทางเศรษฐกิจ และมักจะมีเหตุผลหนักแน่นในการปลอมแปลงข้อมูลตั้งต้นที่รายงาน คุณก็จะเข้าใจว่าทำไมข้อมูลทางเศรษฐกิจถึงไม่ดี
อีกหนึ่งแหล่งของความไม่แม่นยำที่ Morgenstern กล่าวถึงคือ การให้ส่วนลดแก่ลูกค้าพิเศษเป็นเรื่องปกติ และสิ่งเหล่านี้เป็นความลับที่ถูกปกปิดอย่างหวงแหน มันเกิดขึ้นได้ว่าในช่วงเศรษฐกิจตกต่ำ บริษัทจะให้ส่วนลดมากขึ้น และลดส่วนลงเมื่อเศรษฐกิจดีขึ้น แต่ตัวเลขต้นทุนของรัฐบาลต้องอ้างอิงจากราคาขายที่ประกาศไว้ เนื่องจากไม่สามารถทราบส่วนลดได้ ดังนั้นช่วงเศรษฐกิจตกต่ำและช่วงเศรษฐกิจบูมจึงมีความเอนเอียงอย่างเป็นระบบในทิศทางที่แตกต่างกันในข้อมูลที่เก็บรวบรวม
แล้วนักเศรษฐศาสตร์ของรัฐบาลจะใช้ข้อมูลพื้นฐานอะไรได้อีกนอกจากข้อมูลที่ไม่แม่นยำและเอนเอียงอย่างเป็นระบบนี้? ใช่ พวกเขาอาจจะรู้ถึงความเอนเอียงไม่มากก็น้อย แต่พวกเขาไม่มีทางรู้ว่าข้อมูลคลาดเคลื่อนมากแค่ไหน ดังนั้นคุณไม่ควรแปลกใจที่การคาดการณ์ทางเศรษฐกิจหลายครั้งผิดพลาดอย่างรุนแรง พวกเขามีทางเลือกอื่นน้อยมาก ดังนั้นคุณไม่ควรไว้ใจการคาดการณ์ของพวกเขามากเกินไป
จากประสบการณ์ของผม นักเศรษฐศาสตร์ส่วนใหญ่ไม่เต็มใจที่จะพูดคุยเกี่ยวกับความไม่แม่นยำพื้นฐานในข้อมูลทางเศรษฐกิจที่พวกเขาใช้ ดังนั้นผมจึงมีความเชื่อมั่นในตัวพวกเขาในฐานะนักวิทยาศาสตร์น้อยมาก แต่ว่าใครบอกว่าเศรษฐศาสตร์เป็นวิทยาศาสตร์ล่ะ? ก็มีแต่นักเศรษฐศาสตร์เท่านั้น!
ถ้าข้อมูลทางวิทยาศาสตร์และวิศวกรรมไม่แม่นยำอย่างที่พูดกัน โดยบางครั้งคลาดเคลื่อนถึงห้าเท่าหรือมากกว่า และข้อมูลทางเศรษฐกิจก็อาจแย่กว่านั้น คุณคิดว่าข้อมูลทางสังคมศาสตร์ (social science) จะเป็นอย่างไร? ผมไม่มีการศึกษาเปรียบเทียบทั้งสาขา แต่จากประสบการณ์อันจำกัดของผมก็บอกว่ามันไม่ค่อยดีเหมือนกัน อีกครั้ง อาจไม่มีข้อมูลที่ดีกว่านี้ให้ใช้ แต่นั่นก็ไม่ได้หมายความว่าข้อมูลที่มีอยู่นั้นปลอดภัยที่จะนำไปใช้
เห็นได้ชัดว่าผมให้ความสนใจอย่างมากกับเรื่องความแม่นยำของข้อมูลตลอดอาชีพการงานส่วนใหญ่ของผม เนื่องจากทัศนคติของผู้เชี่ยวชาญ ผมจึงไม่คาดหวังอะไรนอกจากการปรับปรุงอย่างช้าๆ ในอนาคตอันยาวไกล
ถ้าข้อมูลส่วนใหญ่มักจะไม่ดี และคุณพบว่าคุณต้องเก็บข้อมูลบางอย่าง คุณจะทำอย่างไรเพื่อให้ทำงานได้ดีขึ้น? อย่างแรก จงจำสิ่งที่ผมพูดซ้ำแล้วซ้ำเล่าให้คุณฟัง: มนุษย์ไม่ได้ถูกออกแบบมาให้เชื่อถือได้ มนุษย์ไม่สามารถนับได้อย่างแม่นยำ มนุษย์แทบจะทำอะไรซ้ำๆ ด้วยความแม่นยำสูงไม่ได้เลย ตัวอย่างเช่น เกมโบว์ลิ่ง สิ่งที่นักโบว์ลิ่งต้องทำก็แค่โยนลูกบอลลงเลนให้เชื่อถือได้ทุกครั้ง นักโบว์ลิ่งที่เก่งที่สุดจะทำเกมที่สมบูรณ์แบบได้น้อยแค่ไหน! ทีมฝึกซ้อม การบินที่แม่นยำ และสิ่งต่างๆ เหล่านี้เป็นที่ชื่นชมเพราะต้องใช้การฝึกฝนและการปฏิบัติอย่างระมัดระวังสูงสุด และเมื่อตรวจสอบอย่างใกล้ชิดก็ยังมีสิ่งที่ต้องปรับปรุงอีกมาก
อย่างที่สอง คุณไม่สามารถเก็บข้อมูลปริมาณมากได้อย่างแม่นยำ มันเป็นความจริงที่รู้กันดีแต่ถูกมองข้ามอยู่เสมอ มันเป็นเรื่องของทรัพยากรและเวลาที่จำกัดเสมอ ผู้บริหารมักจะต้องการการสำรวจ 100% ในขณะที่การสำรวจขนาดเล็กที่ประกอบด้วยข้อมูลน้อยกว่ามาก เช่น 1% หรือแม้กระทั่ง 0.1% จะให้ผลลัพธ์ที่แม่นยำกว่า! มันเป็นที่รู้กันนะ ผมบอกเลย แต่ก็ถูกมองข้าม บริษัทโทรศัพท์ เพื่อกระจายรายได้ให้กับบริษัทต่างๆ ที่เกี่ยวข้องในการโทรทางไกลหนึ่งครั้ง เคยใช้ตัวอย่างขนาดเล็กมากที่ถูกเลือกอย่างระมัดระวัง และจากตัวอย่างนี้พวกเขาก็จัดสรรเงินระหว่างพันธมิตร ปัจจุบันสายการบินก็ทำแบบเดียวกัน ใช้เวลานานก่อนที่พวกเขาจะยอมฟัง แต่ในที่สุดพวกเขาก็ตระหนักถึงความจริงที่ว่า ตัวอย่างขนาดเล็กที่เก็บอย่างระมัดระวังดีกว่าตัวอย่างขนาดใหญ่ที่ทำได้ไม่ดี —ดีกว่าทั้งในด้านต้นทุนที่ต่ำกว่าและความแม่นยำที่มากขึ้น
อย่างที่สาม ข้อมูลทางสังคมส่วนใหญ่ได้มาจากแบบสอบถาม (questionnaires) แต่เป็นข้อเท็จจริงที่มีการบันทึกไว้อย่างดีว่าวิธีการตั้งคำถาม ลำดับของคำถาม คนที่ถาม หรือคนที่เดินเข้ามาดูตอนที่กรอกคำตอบ ล้วนมีผลกระทบร้ายแรงต่อคำตอบ แน่นอน ในสถานการณ์ขาวดำที่เรียบง่าย สิ่งนี้ใช้ไม่ได้ แต่เมื่อคุณทำการสำรวจ สถานการณ์โดยทั่วไปจะคลุมเครือ ไม่เช่นนั้นคุณคงไม่ต้องทำการสำรวจ ผมเสียใจที่ไม่ได้เก็บแบบสำรวจที่ American Mathematical Society เคยทำกับสมาชิกไว้ ผมไม่พอใจอย่างมากกับคำถาม ซึ่งถูกวางกรอบเพื่อให้ได้คำตอบที่พวกเขาต้องการพอดี ผมเลยส่งกลับไปพร้อมข้อกล่าวหานั้น นักคณิตศาสตร์กี่คนที่เมื่อเผชิญกับคำถามที่ถูกนำทางอย่างระมัดระวังในแต่ละกรณี เช่น "มีเงินทุนสนับสนุนด้านคณิตศาสตร์เพียงพอหรือไม่ เพียงพอสำหรับสิ่งตีพิมพ์ เพียงพอสำหรับทุนการศึกษาระดับบัณฑิตศึกษา ฯลฯ?" จะบอกว่ามีเงินมากเกินพอ? แน่นอน Mathematical Society ใช้ผลลัพธ์เพื่ออ้างว่าต้องการการสนับสนุนด้านคณิตศาสตร์มากขึ้นในทุกด้าน
เมื่อเร็วๆ นี้ผมกรอกแบบสอบถามยาวๆ ที่สำคัญ (สำคัญในแง่ของการดำเนินการของฝ่ายบริหารที่อาจตามมา) ผมกรอกอย่างซื่อสัตย์ที่สุดเท่าที่จะทำได้ แต่รู้ตัวว่าผมไม่ใช่ผู้ตอบแบบสอบถามทั่วไป การคิดเพิ่มเติมชี้ให้เห็นว่ากลุ่มคนที่ถูกสำรวจนั้นไม่ได้เป็นเนื้อเดียวกันเลย แต่กลับเป็นกลุ่มย่อยที่แตกต่างกันมากมาย ดังนั้นค่าเฉลี่ยใดๆ ที่คำนวณได้จะไม่ใช้กับกลุ่มใดเลย มันคล้ายกับคำพูดดังที่ว่าครอบครัวอเมริกันโดยเฉลี่ยมีลูก 2 point something คน แต่แน่นอนว่าไม่มีครอบครัวไหนที่มีลูกเป็นเศษส่วน! ค่าเฉลี่ยมีความหมายสำหรับกลุ่มที่เป็นเนื้อเดียวกัน (เนื้อเดียวกันในแง่ของการกระทำที่อาจเกิดขึ้นภายหลัง) แต่สำหรับกลุ่มที่หลากหลาย ค่าเฉลี่ยมักจะไร้ความหมาย ดังที่กล่าวไว้ก่อนหน้านี้ ผู้ใหญ่โดยเฉลี่ยมีหน้าอกหนึ่งข้างและอัณฑะหนึ่งลูก แต่นั่นไม่ได้แทนบุคคลโดยเฉลี่ยในสังคมของเรา
ถ้าช่วงของคำตอบมีความเบ้สูง (highly skewed) เมื่อไม่นานมานี้เราก็ยอมรับกันต่อสาธารณะว่าค่ามัธยฐาน (median) มักจะดีกว่าค่าเฉลี่ย (mean) ในฐานะตัวชี้วัด ดังนั้นปัจจุบันพวกเขามักจะตีพิมพ์รายได้มัธยฐานและราคาบ้านมัธยฐาน แทนที่จะเป็นค่าเฉลี่ย
อย่างที่สี่ มีอีกแง่มุมหนึ่งที่ผมขอเร่งเร้าให้คุณใส่ใจ ผมพูดซ้ำแล้วซ้ำเล่าว่าการมีอยู่ของผู้บริหารระดับสูงขององค์กรจะเปลี่ยนสิ่งที่เกิดขึ้นในองค์กร ณ จุดนั้นและเวลานั้น ดังนั้นในขณะที่คุณยังอยู่ในระดับที่ต่ำพอที่จะมีโอกาส โปรดสังเกตด้วยตัวคุณเองว่าแบบสอบถามถูกกรอกอย่างไร ผมมีตัวอย่างชัดเจนของผลกระทบนี้เมื่อผมเป็นกรรมการในบริษัทคอมพิวเตอร์แห่งหนึ่ง ผมเห็นลูกน้องทำสิ่งที่พวกเขาคิดว่าจะทำให้ผมพอใจ แต่จริงๆ แล้วทำให้ผมโกรธมาก แม้ว่าผมจะพูดอะไรกับพวกเขาไม่ได้ก็ตาม คนที่อยู่ใต้บังคับบัญชาของคุณมักจะทำสิ่งที่พวกเขาคิดว่าคุณต้องการ และบ่อยครั้งมันไม่ใช่สิ่งที่คุณต้องการเลย! ผมขอเสนอว่า เหนือสิ่งอื่นใด คุณจะพบว่าเมื่อสำนักงานใหญ่ในองค์กรของคุณส่งแบบสอบถามออกไป คนที่คิดว่าตัวเองจะได้คะแนนสูงมักจะกรอกส่งคืนทันที และคนที่รู้สึกว่าตัวเองจะได้คะแนนไม่ดีมักจะผัดผ่อน จนกระทั่งใกล้เส้นตาย แล้วพนักงานระดับล่างบางคนก็กรอกมาจากการเดา โดยไม่ได้ทำการวัดที่ควรจะทำ—มันสายเกินไปที่จะทำให้ถูกต้อง ก็เลยส่งอะไรที่พอมีไป! รายงาน "ที่กุขึ้น" เหล่านี้ส่งผลต่อความน่าเชื่อถือของทั้งหมดยังไงก็ไม่รู้ มันอาจทำให้ผลลัพธ์สูงเกินไป ต่ำเกินไป หรือแม้กระทั่งไม่เปลี่ยนผลลัพธ์มากนัก แต่มันก็จากการสำรวจแบบนี้ที่ผู้บริหารระดับสูงต้องตัดสินใจ—และถ้าข้อมูลไม่ดี การตัดสินใจก็มักจะไม่ดี
งานอดิเรกที่ผมชอบเวลาได้อ่านหรือได้ยินเกี่ยวกับข้อมูลบางอย่างคือ การถามตัวเองว่าคนเหล่านั้นเก็บข้อมูลมาได้ยังไง—ข้อสรุปของพวกเขาจะเป็นธรรมได้อย่างไร ตัวอย่างเช่น เมื่อหลายปีก่อนที่ผมพูดถึงประเด็นนี้ในงานเลี้ยงอาหารค่ำ หญิงม่ายที่น่ารักคนหนึ่งบอกว่าเธอไม่เข้าใจว่าทำไมถึงเก็บข้อมูลในหัวข้อไหนๆ ไม่ได้ หลังจากคิดอยู่ครู่หนึ่งผมก็ตอบว่า "คุณจะวัดปริมาณการนอกใจต่อปีบน Monterey Peninsula ยังไง?" แล้วคุณจะวัดยังไง? คุณจะเชื่อแบบสอบถามไหม? คุณจะพยายามติดตามคน? ดูเหมือนยาก และอาจเป็นไปไม่ได้ ที่จะประมาณปริมาณการนอกใจต่อปีได้อย่างแม่นยำสมเหตุสมผล ยังมีอีกหลายสิ่งเช่นนี้ที่ดูเหมือนจะวัดได้ยากมาก และนี่เป็นจริงโดยเฉพาะในความสัมพันธ์ทางสังคม
มีวิธีที่ชาญฉลาดวิธีหนึ่งที่ถูกเสนอขึ้นมา ซึ่งประสิทธิภาพในทางปฏิบัติผมไม่ทราบ สมมติว่าคุณต้องการวัดปริมาณการฆาตกรรมที่รอดพ้นการตรวจจับ คุณสัมภาษณ์คนและบอกให้พวกเขาโยนเหรียญโดยไม่ให้ใครเห็นผลลัพธ์ แล้วถ้าออกหัวพวกเขาควรบอกว่าเคยฆ่าคนตาย ในขณะที่ถ้าออกก้อยพวกเขาควรบอกความจริง ในรูปแบบนี้ไม่มีทางที่ใครอื่นนอกจากตัวพวกเขาเองจะรู้ผลลัพธ์ของการโยนเหรียญ ดังนั้นจึงไม่มีทางที่พวกเขาจะถูกกล่าวหาว่าฆ่าคนตายถ้าพวกเขาบอกเช่นนั้น จากตัวอย่างขนาดใหญ่ ส่วนเกินเล็กน้อยของการฆ่าที่เกินครึ่งหนึ่งจะให้ค่าที่คุณต้องการ แต่นั่นสมมติว่าคนที่ถูกถามและได้รับการคุ้มครองจะตอบอย่างแม่นยำจริงๆ รูปแบบต่างๆ ของวิธีนี้ถูกพูดถึงอย่างกว้างขวาง แต่การศึกษาอย่างจริงจังเพื่อหาประสิทธิภาพยังขาดหายไป เท่าที่ผมรู้
สรุปท้าย คุณอาจเคยได้ยินเกี่ยวกับการเลือกตั้งดังที่หนังสือพิมพ์ประกาศชัยชนะให้กับประธานาธิบดีคนหนึ่ง ในขณะที่จริงๆ แล้วอีกคนชนะอย่างถล่มทลาย และยังมี Literary Digest Poll ที่มีชื่อเสียงซึ่งดำเนินการผ่านโทรศัพท์และผิดพลาดอย่างน่าอัศจรรย์—ผิดพลาดมากจน Literary Digest ต้องปิดตัวลงหลังจากนั้นไม่นาน บางคนบอกว่าเป็นเพราะแบบสำรวจที่ผิดพลาดนี้ มีการอ้างว่าในสมัยนั้น การเป็นเจ้าของโทรศัพท์สัมพันธ์กับความร่ำรวย และความร่ำรวยก็สัมพันธ์กับพรรคการเมืองหนึ่ง จึงเกิดข้อผิดพลาดขึ้น
การสำรวจไม่ใช่งานสำหรับมือสมัครเล่นในการออกแบบ ดำเนินการ และประเมินผล คุณต้องการคำแนะนำจากผู้เชี่ยวชาญเกี่ยวกับแบบสอบถาม (ไม่ใช่แค่นักสถิติทั่วไป) เมื่อคุณต้องเกี่ยวข้องกับแบบสอบถาม แต่ดูเหมือนว่าคงหนีแบบสอบถามไม่พ้น เราต้องการมากขึ้นเรื่อยๆ ไม่ใช่แค่ข้อเท็จจริงเกี่ยวกับสิ่งของทางวัตถุ แต่เราต้องการการสำรวจทัศนคติทางสังคมและอื่นๆ—และนี่เป็นพื้นที่ที่อันตรายจริงๆ
สรุปแล้ว เมื่อคุณเติบโตขึ้นในองค์กร คุณจะต้องการข้อมูลประเภทนี้มากขึ้นเรื่อยๆ มากกว่าที่เคยต้องการในอดีต เนื่องจากเรากำลังมุ่งสู่สังคมมากขึ้นและมีความเสี่ยงต่อการถูกฟ้องร้องในเรื่องเล็กๆ น้อยๆ คุณจะถูกบังคับ ซ้ำแล้วซ้ำเล่า ให้ทำการสำรวจทัศนคติส่วนบุคคลของผู้คน และด้วยเหตุผลเหล่านี้เองที่ผมใช้เวลามากมายในหัวข้อข้อมูลที่ไม่น่าเชื่อถือนี้ คุณต้องการข้อมูลที่เชื่อถือได้เพื่อการตัดสินใจที่เชื่อถือได้ แต่คุณแทบจะไม่เคยมีมันอย่างน่าเชื่อถือ!