Đôi điều về Nhận thức luận (epistemology)

Nhận thức luận là gì?

Nhận thức luận, có nơi còn gọi là khoa học luận, theo tôi, có thể định nghĩa như thế này: Đây là một loại lý luận giúp ta trả lời câu hỏi "Làm sao ta biết được điều đó? Tri thức về điều đó có được bằng cách nào?"

Theo định nghĩa kể trên thì hiểu biết về nhận thức luận là một yêu cầu cơ bản của một người tự xem mình là một nhà khoa học. Vì như thế mới có thể phân biệt được đâu là tri thức thật, và đâu là tin đồn nhảm, hoặc mê tín.

Quan trọng như vậy, nhưng hầu như ở VN không có nơi nào dạy cái căn bản triết lý về nhận thức này cho sinh viên. Cần nói thêm, thật ra, ở các nước khác, không phải ai cũng hiểu những điều này; và lại càng không mong đợi ai cũng biết những thuật ngữ "ghê gớm" này. (Mà thật ra cũng đâu có mấy ai cần hiểu - cũng giống như chúng ta ai cũng đều sống trên trái đất này, với vũ trụ nọ, trăng sao kia, nhưng đâu phải ai cũng cần phải học thiên văn, hoặc địa vật lý - geophysics?)

Nhưng cái khác giữa VN và các nước là ở chỗ này: ai không biết thì thôi, mà ai biết, thì biết đến nơi đến chốn. Biết thì biết mình biết, mà không biết thì biết mình không biết (ấy là biết vậy!). Còn ở VN thì hình như ai cũng có vẻ biết (thì ai cũng được học thật nhiều cái gọi là triết học mà lại), mà thật ra thì hình như chẳng ai biết!

Vậy thì đây. Trước hết là nguồn để đọc về epistemology, đáng tin cậy (sorry nó bằng tiếng Anh).

Link: http://www.iep.utm.edu/category/m-and-e/epistemology/
Cập nhật T3.2014: http://www.iep.utm.edu/epistemo/
--
Dưới đây là một ít trích dịch, diễn giải của tôi, may ra có thể giúp mọi người hiểu thêm một chút về nó.

Epistemology is the study of knowledge. Epistemologists concern themselves with a number of tasks, which we might sort into two categories.

First, we must determine the nature of knowledge; that is, what does it mean to say that someone knows, or fails to know, something? This is a matter of understanding what knowledge is, and how to distinguish between cases in which someone knows something and cases in which someone does not know something. While there is some general agreement about some aspects of this issue, we shall see that this question is much more difficult than one might imagine.

Second, we must determine the extent of human knowledge; that is, how much do we, or can we, know? How can we use our reason, our senses, the testimony of others, and other resources to acquire knowledge? Are there limits to what we can know? For instance, are some things unknowable? Is it possible that we do not know nearly as much as we think we do? Should we have a legitimate worry about skepticism, the view that we do not or cannot know anything at all?

Nhận thức luận nhằm nghiên cứu về tri thức. Các câu hỏi đặt ra cho các "nhà nhận thức luận" có thể sắp xếp thành hai loại.

Trước hết, cần xác định bản chất của tri thức, hay nói cách khác, là làm sao biết ai đó có biết, hoặc không biết, một điều gì đó? Như vậy, ở đây cần có sự hiểu biết cái gì đáng được xem là tri thức, và làm thế nào để phân biệt giữa những người biết và những người không biết một điều gì đó. Mặc dù người ta có đồng ý với nhau một số điểm chung về một vài khía cạnh của vấn đề này, chúng ta sẽ thấy rằng đây là câu hỏi khó khăn hơn so là người ta tưởng.

Thứ hai, cần phải xác định mức độ kiến thức của con người; nói cách khác, chúng ta biết một điều gì đó tới đâu, hoặc thậm chí, chúng ta có khả năng nhận thức được điều đó hay không? Chúng ta có thể sử dụng ra sao trí tuệ, giác quan của chính mình, lời khai của người khác, và các nguồn lực khác để đạt được tri thức? Có giới hạn nào đối với những gì chúng ta có thể biết hay không? Ví dụ, có điều gì được xem là "bất khả tri" hay không? Hoặc, có thể nào chúng ta biết ít hơn như chúng ta tưởng hay không? Chúng ta có nên có một sự lo lắng chính đáng về chủ nghĩa hoài nghi, tức quan điểm rằng chúng ta không thể hoặc không biết gì cả, hay không?
--
Áp dụng nhận thức luận vào thực tế?
Hiện nay, có rất nhiều thứ chúng ta đang làm (với tư cách cả một dân tộc) mà hoàn toàn không dựa trên nhận thức luận. Một ví dụ nổi tiếng mà giờ đây ta đã có câu trả lời chính xác, đó là việc "xây dựng chủ nghĩa xã hội bỏ qua giai đoạn phát triển tư bản chủ nghĩa".

Tôi nhớ khi mới vào đại học, khi học chính trị và thảo luận chính trị (lúc ấy là năm 1978, năm mà việc cải tạo tư sản công thương nghiệp đang diễn ra, cùng một lúc với phong trào hợp tác hóa nông nghiệp), với tư cách lớp phó học tập tôi đã rất hăng hái "tuyên truyền" cho việc xây dựng một chủ nghĩa xã hội nơi không có người bóc lột người, mọi người vì mình mình vì mọi người, nơi bản chất là tốt đẹp (đương nhiên) còn nếu có gì chưa tốt thì nó chỉ là hiện tượng, vả lại, chúng ta đang xây dựng một xã hội chưa có tiền lệ trong lịch sử loài người nên những vấp váp, khó khăn đó cũng là dễ hiểu và hoàn toàn có thể chấp nhận được!

Để chỉ hơn 10 năm sau, năm 1989, chúng ta chứng kiến sự sụp đổ của toàn bộ hệ thống xã hội chủ nghĩa ở Đông Âu - lúc ấy, tôi đang ở Mỹ! Và đã được đọc, và xem trên TV, rất nhiều các cuộc phỏng vấn, các tranh luận và biện giải, về lý do sụp đổ của chủ nghĩa xã hội tại Đông Âu lúc ấy. Trên tinh thần của nhận thức luận, tôi tin rằng thế.

Bây giờ cũng vậy, có nhiều việc chúng ta đang làm mà hoàn toàn không dựa trên nhận thức luận. Ví dụ, làm sao biết đến năm 2020 chúng ta có thể có một trường đại học trong top 200 thế giới? Và làm sao biết điều đó có thể làm được theo cách làm hiện nay, đó là xây dựng 4 trường, trong đó có một trường ĐH Việt Đức đã bắt đầu hoạt động, 3 trường khác sẽ hoạt động vào năm sau, mỗi trường được đầu tư 100 triệu đô?

Vậy nên mọi việc phải bắt đầu từ đầu. Bằng cách học hành cho tử tế. Nghĩa là, người biết thì phải biết là mình biết, và người không biết thì biết mình không biết. Và, cái nào biết thì làm, cái nào không biết, và không thể biết, thì không nên thử! Và nhất là, đừng thí nghiệm trên con người, và trên cả dân tộc!

Nhân dịch từ "research paradigm", nghĩ vẩn vơ về ngôn ngữ, tư duy, triết học và khoa học

Research paradigm dịch sang tiếng Việt là gì nhỉ?

Tôi viết entry này vì đang tìm cách dịch từ research paradigm để tiếp tục một cuộc trao đổi nho nhỏ thú vị với bạn bè. Và viết với nhiều mục đích, trong đó trước hết là một mục đích "vị kỷ". Tôi vốn là dân humanities (nhân văn), thích văn chương, sáng tác, và cũng thích ngôn ngữ, lý luận hàn lâm, nghiên cứu.

Nói thế để chuẩn bị giải thích về việc tôi sắp làm, đó là câu nệ câu chữ khi dịch tài liệu tiếng nước ngoài ra tiếng Việt. Tôi biết nhiều người không phải dân văn chương ngôn ngữ sẽ thấy mất thì giờ khi chúng tôi bẻ câu bẻ chữ như thế này. Nhưng đối với bọn tôi, thì ngôn ngữ có lẽ là tất cả: là công cụ tư duy, là đối tượng và khách thể nghiên cứu, và là công cụ bày tỏ, diễn đạt kết quả nghiên cứu của mình. Là alpha và omega!

Ngoài mục đích vị kỷ, làm vì mình thích làm, tôi cũng có một mục đích "vị tha" hơn, là giúp mọi người, ít ra là sinh viên của tôi, hiểu đúng, nói đúng (khi cần chuyển ngữ giữa 2 tiếng Anh và tiếng Việt), và tư duy đúng (tôi tin thế, vì tư duy mạch lạc bắt đầu bằng việc có các định nghĩa rõ ràng - cái này có liên quan đến bản thể luận phải không bác Hải?)

Nhiều sinh viên của tôi sau khi học môn Phương pháp (luận) nghiên cứu (khoa học) (research methodology) nói với tôi rằng, chẳng hiểu gì ráo, cuối cùng chỉ còn nhớ có gặp hai từ là qualitative (định tính) và quantitative (định lượng) mà thôi. Còn tại sao 2 từ này lại quan trọng thế, thì hoàn toàn không hiểu!

Còn tôi, thì khi giảng bài, hoặc hướng dẫn luận văn, vẫn luôn kêu la rằng, các bạn thiếu nhiều quá, nhiều quá! Nói như thế, có lẽ là hơi vô trách nhiệm, vì nói theo kiểu VN, thì có dốt mới đi học, chứ giỏi rồi còn đi học gì nữa. Nhưng mà ... thực sự là các bạn thiếu rất nhiều! Mà cái thiếu lớn nhất, theo tôi, là thiếu hiểu biết về triết học!

Cái gọi là triết học mà các bạn học chỉ tập trung vào có một chủ thuyết duy nhất thôi, đó là triết học của Marx. Mà như thế thì rất chưa đủ. Đó là chưa kể việc dạy triết học của Marx trong trường hiện nay cũng chưa phải là hoàn hảo. Về việc này các bạn đọc một số bài trên blog của BS Hồ Hải thì rõ. Địa chỉ blog: http://www.bshohai.blogspot.com.

Quay trở lại câu hỏi ban đầu: research paradigm dịch là gì?
Câu trả lời đây - xin lỗi đã bắt các bạn chờ lâu: có thể dịch nó là "trường phái nghiên cứu" các bạn ạ! Và đây là một yêu cầu cơ bản khi bắt đầu nghiên cứu: ít nhất bạn cũng phải nói được là mình thuộc trường phái nào chứ, phải không?

Có lẽ sẽ có rất nhiều cách phân loại, nhưng tôi thích cách phân loại này (link: http://www.celt.mmu.ac.uk/researchmethods/Modules/Selection_of_methodology/index.php).

Dưới đây tôi xin tóm tắt và diễn giải thêm một vài điểm:

- Nghiên cứu cần bắt đầu bằng cách chọn một trường phái nghiên cứu (tức research paradigm - như trong bài viết trước của tôi, thì trường phái nghiên cứu, hay hệ thuyết nghiên cứu, bao gồm 3 yếu tố: bản thể luận, hay quan điểm về bản chất của các hiện tượng nghiên cứu; khoa học luận hoặc nhận thức luận, tức quan điểm về việc làm sao có thể hiểu biết về các hiện tượng cần nghiên cứu; và phương pháp luận, tức kế hoạch về con đường cụ thể dẫn mình đến câu trả lời hoặc giải pháp cần có)

- Hai trường phái nghiên cứu cơ bản, đại diện cho 2 lãnh vực khoa học ở hai cực đối lập với nhau là khoa học (science) và nghệ thuật (art), là positivism (thực chứng luận, hay chủ nghĩa thực chứng) và anti-positivism hoặc constructivism mà tôi tạm dịch là phi thực chứng luận và kiến tạo luận, hay thuyết kiến tạo.

- Cốt lõi tư tưởng của thực chứng luận có thể tóm tắt trong một câu là "ngoài kia có một thế giới khách quan, độc lập với kinh nghiệm của con người, và ta có thể nhận thức ra nó bằng cách quan sát, đo đạc, hoặc sờ vào nó". Ngược lại với nó là quan điểm kiến tạo, tức sự vật không tồn tại khách quan mà phụ thuộc vào sự trải nghiệm và tư duy của con người, theo kiểu "con người tạo ra thượng đế" (vì mình nghĩ là có thượng đế, nên mới có cái gọi là thượng đế).

- Từ hai quan điểm trên, ta có hai cách tiếp cận nghiên cứu (research approach) chính là định lượng (dành cho quan điểm thực chứng) và định tính (dành cho quan điểm phi thực chứng, hay quan điểm kiến tạo).

- Mỗi cách tiếp cận nói trên (mà theo tôi hiểu thì nó chính là vấn đề nhận thức luận, phải không bác Hải) sẽ có nhiều phương pháp cụ thể (methods) khác nhau. Ví dụ theo cách tiếp cận định lượng thì sẽ làm điều tra (survey), thực nghiệm (experimental), hoặc phương pháp tương quan (correlational). Và rất cần hiểu biết về thống kê để làm cho đúng! Còn làm định tính thì thường là case study (tôi dịch là điển cứu), phương pháp dân tộc học (ethnographic) - tức cùng ăn cùng ở cùng làm, quan sát, trao đổi tuơng tác, ghi chép rồi sau đó diễn giải ra các ý nghĩa, và phương pháp hiện tượng học (cái này tôi không rành, phải tìm hiểu thêm, và học hỏi ở các bạn bè đồng nghiệp khác).

- Riêng khoa học xã hội (social sciences) thì nó nằm giữa art và science, nên nó có khi sử dụng trường phái này, có khi sử dụng trường phái kia. Nói thêm: ngày nay người ta có khuynh hướng kết hợp cả hai trường phái trong nghiên cứu khoa học chứ không còn sử dụng đơn thuần một trường phái nào. Và khoa học xã hội bao gồm: kinh tế, giáo dục, xã hội học (sociology), và một số ngành khác. Khoa học nhân văn, hay là art, bao gồm triết học, văn chương, ngôn ngữ, mỹ thuật, vv. Cũng nói thêm: hiện nay có hiện tượng xóa nhòa ranh giới giữa khoa học xã hội và khoa học nhân văn.

--
Wow! Tôi cũng không ngờ mình có hứng để viết một mạch được dài như thế. Hứng này có được do trao đổi, tranh luận với bạn bè, cho nên rất cám ơn các người bạn của tôi đã cho tôi cảm hứng.

Tôi muốn nói thêm một chút để giải thích cái tựa của entry này. Tôi nghĩ, muốn tư duy tốt trước hết phải có năng lực ngôn ngữ, mà quan trọng nhất là trong việc sử dụng thuật ngữ. Ví dụ triết học là triết học, mà chính trị học là chính trị học. Hối lộ là hối lộ, chứ không phải là "quà biếu trên mức tình cảm". Khi có ngôn ngữ chính xác, và tư duy tốt rồi, thì học triết chắc không có gì khó khăn lắm. Và có nền tảng triết học tốt, thì làm việc gì cũng sẽ tốt, và chắc chắn là nghiên cứu tốt. Mà tất cả những điều này bắt đầu ở trong trường, ngay từ những lớp nhỏ. Có phải vậy không bác Hải?

Còn phần ở trên là tóm tắt và diễn giải của tôi với cái Table 1 ở trong bài viết bằng tiếng Anh mà tôi giới thiệu ở trên, hy vọng giúp ích cho các bạn sinh viên ít nhiều khi đọc sách và làm nghiên cứu. Tôi cũng biết tật của mình là nói lằng nhằng khó hiểu. Có lẽ một phần do tôi nghĩ nhanh quá. Hoặc cũng có thể do đầu óc rối rắm quá ;-).

Và hy vọng các bạn đọc xong không bị nhức đầu! Nhưng nếu nhức đầu, thì ... cũng ráng chịu thôi! ;-)

Còn bạn nào không nhức đầu mà vẫn thích thú thì nên đọc thêm cái này.
Link: http://diendankienthuc.net/diendan/showthread.php?t=5553.
Enjoy!

Lại nói chuyện dịch: Ontology, epistemology, methodology, phenomenology, research paradigm, and other terms

Gửi các bạn sinh viên cao học của tôi

Mấy từ tôi mới viết ra là những từ mà một sinh viên cao học nào (well, ít ra trong lãnh vực social sciences and humanities) cũng sẽ gặp khi đọc tài liệu bằng tiếng Anh về phương pháp nghiên cứu khoa học. Nó cũng là những từ mà GS Fran Hoffmann đưa vào list vocabulary mà bà ấy dạy cho lớp Nghiên cứu khoa học mà tôi đang tổ chức tại ĐHQG.

Và chắc chắn là những từ này rất là threatening đối với sinh viên! Nên để cho nó student-friendly (!), trước hết là phải dịch nó ra tiếng Việt. Vây thì đây, dịch theo những cái tôi đã biết (cũng chẳng rõ học từ đâu, vì đa số là tự học mà!):

Ontology = bản thể luận;
Epistemology = nhận thức luận (có nơi gọi là khoa học luận)
Methodology = phương pháp luận
Phenomenology = hiện tượng học
Research paradigm = mô thức nghiên cứu

Nhưng tất nhiên dịch xong thì ... vẫn như không, vì vẫn chưa hiểu những bản thể luận, nhận thức luận, hiện tượng học, mô thức nghiên cứu ấy nó là cái gì. Vậy thì xin đọc bằng tiếng Anh tại đây.

Link: http://www.ul.edu.lb/fthm/papers/3rd%20Axis/Methodology%20greece.doc

Nếu vẫn không hiểu, có thể đọc bằng tiếng Việt, đã được viết cho người bình dân (!), ở đây. Link: http://bshohai.blogspot.com/2009/12/noi-chuyen-triet-hoc-cua-nguoi-ngoai-ao_12.html

Còn dưới đây thì xin cung cấp thêm một vài phần trích dịch từ bài viết bằng tiếng Anh mà tôi cho là đã rất rõ ràng dễ hiểu lắm rồi, nếu không hiểu có lẽ là do nhai chưa kỹ, cố gắng nhai rồi sẽ thấy nó ngon các bạn ạ!

Đây:
Abstract
There is a great number of issues related to the philosophical design and methodological approach that the researcher has to take into consideration beginning a research [...]. The nature of reality and the nature of knowledge have significant impacts in the research design. Such philosophical issues need to be addressed explicitly since they shape the choice of research instruments.

Tóm tắt
Có khá nhiều vấn đề liên quan đến khía cạnh triết lý của thiết kế và cách tiếp cận về phương pháp luận mà một nhà nghiên cứu cần phải quan tâm trước khi bắt đầu một đề tài nghiên cứu [...]. Bản chất của hiện thực và bản chất của tri thức có ảnh hưởng lớn đến thiết kế nghiên cứu. Những vấn đề triết học như vậy cần được đề cập đến một cách tường minh vì chúng sẽ quyết định việc lựa chọn công cụ nghiên cứu.

(đọc xong, chẳng hiểu gì hết phải không các bạn?)

Vậy thì tiếp nữa:
According to Denzin and Lincoln (1994), paradigm is the basic set of beliefs that guide action that can be viewed as consisting of three main elements: ontology, epistemology and methodology.

Theo Denzin và Lincoln (1994), mô thức là một bộ các niềm tin hướng dẫn hành động mà ta có thể xem là bao gồm 3 yếu tố: bản thể luận, nhận thức luận, và phương pháp luận.

Epistemology refers to the question of how we know the world. It looks at the relationship between the inquirer and what can be known by direct observation at the external world to uncover knowledge or when the observer and the subject of inquiry must interact to create knowledge.

Nhận thức luận nói về việc chúng ta hiểu biết thế giới này bằng cách nào. Nó nhìn vào mối liên hệ giữa người nghiên cứu và cái mà người đó có thể biết được thông qua quan sát trực tiếp thế giới bên ngoài để khám phá ra tri thức, hay khi người quan sát phải tương tác với khách thể nghiên cứu để tạo ra tri thức.

(Phần trên là dịch chữ, word-for-word translation, khó hiểu quá phải không. Xin dịch lại ra ngôn ngữ bình dân cho dễ hiểu:

Nhận thức luận là một quan điểm giúp ta trả lời câu hỏi "làm sao mình biết được điều đó?". Có phải chỉ cần quan sát rồi sẽ biết, hay là phải tương tác với nó rồi mới biết?

Chẳng hạn, để trả lời câu hỏi "anh ấy có yêu mình không?", có cô gái sẽ tin rằng "cứ chờ xem đến ngày sinh nhật của mình anh ấy có tặng hoa không, đi chơi chung anh ấy có trả tiền không, anh ấy có chiều mình không" là biết ngay. Còn có cô thì tin rằng những cái ấy chỉ là làm màu mà thôi, chưa thể biết được, phải "sống lâu mới biết đêm dài"! Đại khái thế.)

Tạm thời thế. Sẽ viết tiếp cho các bạn sau nhé, bây giờ bắt đọc nữa chắc là hết "dzô" rồi!
--

Viết tiếp một chút:

Về từ paradigm, nếu dịch là "mô thức" thì có lẽ chưa tốt lắm (các bạn xem comment của BS Hồ Hải bên dưới), nên có lẽ sẽ nghĩ lại. Một từ khác đã được dùng để dịch paradigm là hệ thuyết; từ này có vẻ rõ nghĩa hơn (hệ thuyết = hệ thống lý thuyết), nhưng "hệ thuyết nghiên cứu" nghe "hàn lâm, kinh viện", tối tăm quá. Tôi đang nghĩ đến từ "trường phái nghiên cứu", không biết dùng ở đây có phù hợp không (trong tiếng Anh, "trường phái" được dịch là "school").

Sẽ nghĩ thêm. Chân lý là một cuộc hành trình bất tận. Nên cô PA viết sách mãi có bao giờ xong đâu ;-). Công trình nào cũng thành Cầu Giần Xây hết (tức là xây dần dần ấy các bạn ạ - cái này là ông xã tôi nói đấy!)

Reflections on Fran's first class (6/11)

Just a quick entry lest I forget what is important to note:

1. In terms of content: not just 'how-to', but more importantly, 'why'!
2. In terms of methodology (didactic approach): interaction and student participation
3. In terms of assessment method: not (just) tests and examinations, but rather, porfolio!
4. In terms of assessment purpose: not (just) for grades, but for feedback!
5. In terms of student-teacher relationship: teachers not only teach, but also learn; teachers ask ss to give feedback on their performance; we never do that!!!!!

Phương pháp nghiên cứu điển hình (điển cứu) - Tác giả: myself!

NGHIÊN CỨU ĐIỂN HÌNH (ĐIỂN CỨU)

(bản nháp, đề nghị không trích dẫn, nếu muốn sử dụng xin liên hệ tác giả tại địa chỉ mail vtpanh@gmail.com)


Nghiên cứu điển hình hay điển cứu tức nghiên cứu dựa trên những trường hợp (còn gọi là ‘ca’, tiếng Anh là ‘case’) đặc trưng mang tính là một phương pháp được sử dụng rất phổ biến trong các ngành giáo dục học, xã hội học, quản trị học, luật học, và y học. Mục tiêu cơ bản của phương pháp này là tìm hiểu rõ về trường hợp nghiên cứu bằng cách theo dõi sát sao và toàn diện trường hợp đã chọn trong một thời gian đủ dài và ngay tại môi trường tự nhiên của nó. Kết quả nghiên cứu điển hình cho phép nàh nghiên cứu đưa ra lời giải thích tại sao mọi việc xảy ra như đã xảy ra, và thông qua đó xác định các vấn đề quan trọng cần được tiếp tục nghiên cứu rộng rãi hơn trong tương lai.

Các tài liệu truyền thống về phương pháp nghiên cứu thường phân loại điển cứu như một trong những phương pháp định tính với mục đích mô tả. Quan điểm này hiện nay đang được xem xét lại vì nó không bao trùm được hết các mục đích và phương pháp đa dạng của điển cứu. Trong một số tài liệu được xuất bản gần đây, các nhà phương pháp luận không xem điển cứu như một phương pháp mà quan niệm đây chỉ là một cách tiếp cận hoặc một chiến lược mà thông qua đó nhà nghiên cứu có thể lựa chọn một hoặc nhiều trường hợp phù hợp cho hướng nghiên cứu của riêng mình. Ngoài ra, điển cứu không thể được liệt kê vào nhóm các phương pháp định tính, vì nó sử dụng cả những chứng cứ định tính lẫn định lượng khác nhau.

Lịch sử của phương pháp điển cứu

Theo Hamel và những người khác (1993, dẫn lại theo Winston Tellis ), phương pháp điển cứu được sử dụng sớm nhất tại châu Âu, mà đặc biệt là tại Pháp. Tại Mỹ, phương pháp này gắn với Bộ môn Xã hội học của Trường Đại học Chicago từ đầu thế kỷ 20 đến khoảng năm 1935. Vào giai đoạn này rất nhiều dân nhập cư từ nhiều nơi khác nhau đến sinh sống tại Chicago. Những người này đem theo mình rất nhiều vấn đề xã hội cần được giải quyết như sự đói nghèo, thất nghiệp, và tình trạng nhà ổ chuột. Để tìm hiểu về những vấn đề này, cách tốt nhất là sử dụng phương pháp điển cứu, vì phương pháp này cho phép nhìn vấn đề một cách toàn diện theo nhiều chiều kích khác nhau của các nhân vật khác nhau.

GAO 1990 (trang 14) đã đưa ra định nghĩa như sau về điển cứu: “A case study is a method to learn about a complex instance, based on a comprehensive understanding of that instance obtained by extensive description and analysis of that instance taken as a whole and in its context.” Tạm dịch: Điển cứu là phương pháp tìm hiểu về một trường hợp phức tạp dựa trên sự hiểu biết toàn diện về trường hợp đó; hiểu biết này có được nhờ vào sự mô tả và phân tích trường hợp này như một thực thể toàn diện trong bối cảnh riêng biệt của nó.

Sau năm 1935, phương pháp điển cứu bắt đầu mất địa vị độc tôn trong lĩnh vực xã hội học. Cùng với phong trào ‘nâng cao tính khoa học’ của ngành xã hội học, việc đẩy mạnh các phương pháp định lượng trong việc thiết kế và xử lý số liệu của các công trình nghiên cứu xã hội học cũng bắt đầu. Một chuỗi các tranh luận công khai sôi nổi đã diễn ra giữa các giáo sư thuộc Đại học Columbia nơi các phương pháp định lượng được đề cao và Trường phái Chicago vốn đang giữ vị trí độc tôn vào lúc ấy. Đại học Columbia cuối cùng đã dành được thắng lợi, và cùng với đó là sự lu mờ dần của phương pháp điển cứu như một phương pháp nghiên cứu quan trọng của ngành xã hội học. Lời chỉ trích phổ biến nhất đối với phương pháp điển cứu là phương pháp này không thể đưa ra những kết luận có tính khái quát hóa do đối tượng nghiên cứu quá hạn chế. Mãi đến thập niên 1960, phương pháp điển cứu mới phục hồi được vị trí đã đạt được trước đó của mình và phát triển liên tục cho đến ngày nay.

Phân loại điển cứu
Có nhiều hệ thống khác nhau để phân loại điển cứu. Hệ thống phân loại của GAO
(1990) dựa vào mục đích nghiên cứu để chia điển cứu ra thành 6 loại sau:

1. Điển cứu minh họa (Illustrative): nghiên cứu mang tính mô tả, với mục đích cung cấp các thông tin sinh động thu được từ thực tế để bổ sung cho các nguồn thông tin các có liên quan đến trường hợp nghiên cứu.

2. Điển cứu thăm dò (Exploratory): cũng là nghiên cứu có tính mô tả, nhưng nhằm mục đích tạo ra các giả thuyết làm cơ sở cho những nghiên cứu trong tương lai về trường hợp nghiên cứu chứ không chỉ đơn thuần minh họa.

3. Nghiên cứu trường hợp đặc trưng (Critical instance): xem xét một trường hợp hoặc rất đáng chú ý hoặc là thật sự cần thiết để kiểm chứng giá trị của những lời khẳng định liên quan đến một chương trình, một chính sách, hoặc một chiến lược.

4. Nghiên cứu triển khai chương trình/ dự án (Program implementation): tìm hiểu các tác nghiệp tại các địa bàn khác nhau nhằm mục đích kiểm tra.

5. Nghiên cứu tác động chương trình (Program effect): sử dụng điển cứu để xem xét tác động của một chương trình. Thường được thực hiện ở nhiều địa bàn và sử dụng các công cụ đánh giá đa phương pháp (multimethod assessments).

6. Điển cứu tích lũy (Cumulative): tổng hợp kết quả từ nhiều điển cứu khác nhau để trả lời một câu hỏi lượng giá (evaluation question). Câu hỏi này có thể thuộc loại mô tả, quy phạm/đánh giá (normative), hoặc tác động/thực nghiệm (cause-and-effect).

Theo Case study evaluation GAO 1990, trang 9


Hệ thống phân loại của Jensen và Rodgers (2001, dẫn lại theo PA 765 Garson) không dựa vào mục đích nghiên cứu mà dựa vào kỹ thuật thu thập thông tin để chia điển cứu ra làm 5 loại như sau:

1. Điển cứu nhất thời (Snapshop case study): tìm hiểu một trường hợp điển hình vào một thời điểm nhất định.

2. Điển cứu trường kỳ (Longitudinal case study): theo sát tìm hiểu một trường hợp điển hình trong thời gian dài tại nhiều thời điểm khác nhau.

3. Điển cứu trước sau (Pre-post case study): tìm hiểu sự khác biệt của một trường hợp điển hình hai thời điểm trước và sau một biến cố quan trọng. Một biến cố được xem là quan trọng khi nhà nghiên cứu có cơ sở lý thuyết để tin rằng biến cố đó sẽ có tác động đến trường hợp nghiên cứu.

4. Điển cứu hỗn hợp (Patchwork case study): tìm hiểu các trường hợp điển hình khác nhau thuộc cùng một phạm trù đang được nghiên cứu, sử dụng nhiều cách nghiên cứu khác nhau.

5. Điển cứu so sánh (Comparative case study): tìm hiểu nhiều trường hợp điển hình thuộc các phạm trù khác nhau nhằm so sánh và tìm ra sự khác biệt giữa các trường hợp thuộc các phạm trù khác nhau này. Thông thường điển cứu so sánh có sử dụng cả so sánh định tính và định lượng.

Một hệ thống phân loại khác là Wikipedia cũng đưa ra một cách phân loại gồm 7 loại, sử dụng kết hợp 2 phương pháp phân loại theo mục đích (tương tự GAO) và theo phương pháp thực hiện. Trong hệ thống phân loại này của Wikipedia có đến 4 loại trùng với hệ thống phân loại của GAO là Điển cứu thăm dò (loại 2 của GAO), nghiên cứu trường hợp đặc trưng (loại 3 của GAO), nghiên cứu tác động chương trình (loại 4 của GAO), điển cứu tích lũy (loại 6 của GAO). Ngoài những loại này, Wikipedia có đưa ra thêm 3 loại điển cứu mới, bao gồm:

1. Điển cứu (vị lai)????: Trong thiết kế điển cứu tương lai, nhà nghiên cứu tạo ra những giả thuyết dựa trên lý thuyết liên quan đến sự tiến hóa của một quá trình xã hội hoặc văn hóa và sau đó kiểm chứng các giả thuyết theo một kế hoạch thời gian định sẵn trong tương lai bằng cách so sánh kết quả quan sát được với giả thuyết đã đưa ra.

2. Điển cứu tường thuật (Narrative case studies): Đây là các điển cứu được trình bày dưới dạng một bài tường thuật, trong đó các sự kiện được nêu ra theo một bố cục sắp đặt trước với các nhân vật và hành động của họ.

3. Điển cứu lồng ghép (embedded case studies): Là điển cứu trong đó có nhiều hơn một tầng đơn vị phân tích.

Thiết kế nghiên cứu điển hình

Theo Yin (1994, dẫn lại theo ????), thiết kế nghiên cứu điển hình gồm 5 yếu tố sau:
- câu hỏi nghiên cứu
- các tiên đề (propositions)
- các đơn vị phân tích
- cơ sở lý thuyết (cho phép liên hệ giữa số liệu và các tiên đề)
- các tiêu chí diễn giải kết quả

Những câu hỏi nghiên cứu của phương pháp điển cứu thường là những câu hỏi “tại sao” hoặc “như thế nào”, và định nghĩa các câu hỏi này là công việc đầu tiên của các nhà nghiên cứu. Các tiên đề có thể được rút ra từ các câu hỏi này và điều cần thiết giúp nhà nghiên cứu tập trung vào các mục tiêu nghiên cứu. Không phải nghiên cứu nào cũng cần có tiên đề. Một nghiên cứu mang tính thăm dò (exploratory) có thể không có tiên đề mà có mục đích được xác định rõ, hoặc các tiêu chí để đánh giá sự thành công. Đơn vị phân tích sẽ xác định trường hợp cần được chọn là gì. Một trường hợp có thể là một nhóm, một tổ chức, hoặc một quốc gia, nhưng là một thực thể lớn hay nhỏ thì một trường hợp vẫn chỉ là một đơn vị phân tích gốc.

Chọn mẫu trong điển cứu (chọn trường hợp nghiên cứu)
Cũng tương tự như các phương pháp nghiên cứu khác, chọn mẫu là một bước quan trọng trong quá trình nghiên cứu vì nó quyết định giá trị của thông tin thu thập được. Theo Wikipedia, phương pháp chọn mẫu trong nghiên cứu điển hình luôn là phương pháp chủ đích (purposive sampling) hoặc chọn mẫu theo định hướng thông tin (information-oriented sampling), tức theo những thông tin mà nhà nghiên cứu cần thu thập. Điều này trái ngược lại với phương pháp chọn mẫu định lượng trong đó mẫu được chọn phải mang tính hoàn toàn ngẫu nhiên (random sampling). Lý do của sự lựa chọn này là vì theo quan điểm của các nhà nghiên cứu theo phương pháp điển cứu thì các trường hợp trung bình không bao giờ là trường hợp đem lại nhiều thông tin nhất, mà chính những trường hợp không bình thường mới cung cấp cho ta những thông tin thú vị, do chúng sẽ tác động nhiều hơn đến các cơ chế cơ bản và đến các nhân vật trong tình huống nghiên cứu. Ngoài ra, dù đứng trên quan điểm nào thì cũng cần phải hiểu được những nguyên nhân sâu xa dẫn đến những vấn đề đang được nghiên cứu và hậu quả của chúng, hơn là chỉ đơn thuần mô tả các hiện tượng (triệu chứng) của các vấn đề này và các tần suất của chúng. Những mẫu ngẫu nhiên nhấn mạnh tính đại diện cho số đông sẽ không thể tạo cho ta sự hiểu biết này, vì vậy cần phải chọn một vài trường hợp hết sức đặc trưng vì điều đó mới đem lại giá trị cho chúng.

Cũng theo Wikipedia, khi lấy thông tin làm cơ sở để chọn mẫu, chúng ta có thể có quyết định chọn trong 3 loại trường hợp như sau:

- Trường hợp cá biệt (extreme case): phù hợp để nêu được ý tưởng của người nghiên cứu một cách nhấn mạnh (kịch tính).

- Trường hợp đặc trưng (critical case) có thể định nghĩa là trường hợp có tầm quan trọng chiến lược cho vấn đề đang được nghiên cứu. Ví dụ, một bệnh viện đa khoa chuyên chữa trị những loại bệnh nghề nghiệp cần tìm hiểu xem những người làm việc với các dung môi hữu cơ có bị ảnh hưởng đến não không. Thay vì chọn một mẫu ngẫu nhiên gồm những người làm việc tại khu vực có sử dụng dung môi hữu cơ, bệnh viện đã đặt một cách chiến lược một nơi làm việc trong đó mọi quy định về an toàn đều được tuân thủ chặt chẽ, và xem nơi này là một trường hợp đặc trưng. Nếu ở nơi này có xảy ra hiện tượng bị ảnh hưởng não do dung môi hữu cơ thì điều đó có nghĩa là các nơi khác cũng sẽ bị, đặc biệt vì những nơi khác chưa chắc đã bảo đảm mọi điều kiện an toàn vệ sinh. Thông qua trường hợp đặc trưng này nhà nghiên cứu có thể tiết kiệm được khá nhiều thời gian và công sức, tiền bạc nếu thực hiện theo cách ngẫu nhiên.

- Trường hợp mẫu mực (paradigmatic) là một trường hợp điển hình theo đúng nghĩa của từ này. Một trường hợp mẫu mực luôn chứa đựng một cách đậm đặc những đặc điểm tổng quát của vấn đề đang được tìm hiểu. Trường hợp này đóng vai trò một điểm quy chiếu và là một tiêu điểm mà từ đó người ta đưa ra những trường phái lý thuyết khác nhau.

Theo PA 765 Garson ,việc chọn mẫu trong điển cứu phải do lý thuyết quyết định. Khi lý thuyết có liên quan đến nhân quả thì nhà nghiên cứu phải chọn các trường hợp đại diện cho mỗi phạm trù. Những trường hợp này không định lượng và cũng không giải thoát nhà nghiên cứu khỏi trách nhiệm giải thích các biến phụ thuộc hoặc các biến độc lập nào có liên quan. Không những các quan sát liên quan đến các biến cần phải là một phần của điển cứu mà lý tưởng hơn thì nhà nghiên cứu còn phải nghiên cứu ít nhất một trường hợp để minh họa cho mối quan hệ nhân quả trong mô hình lý thuyết của mình. Khi không làm được điều này, nhà nghiên cứu cần phải nêu rõ những quan hệ nhân quả nào chưa chọn được trường hợp để minh họa. Những trường hợp đã được nêu ra trong lý thuyết trái ngược với mô hình nhân quả của tác giả cũng phải được nhắc đến.

USING RAPID APPRAISAL METHODS

1996, Number 5
http://www.usaid.gov/pubs/usaid_eval/ascii/pnaby209.txt


Performance Monitoring and Evaluation

TIPS

USAID Center for Development Information and Evaluation


USING RAPID APPRAISAL METHODS


What Are Rapid Appraisal Methods?


Rapid appraisal methods are quick, low-cost ways to gather data

systematically in support of managers' information needs, especially

questions about performance.


Rapid appraisal methods fall on a continuum between very informal

methods, such as casual conversations or short site visits, and highly

formal methods, such as censuses, surveys, or experiments.


Informal methods are cheap, "quick and dirty," and susceptible to

bias. They follow no established procedures, but rely on common

sense and experience. They do not generate systematic, verifiable

information, and thus may not be credible with decision-makers.


Conversely, formal methods are highly structured, following precise,

established procedures that limit errors and biases. They generate

quantitative data that are relatively accurate, enabling conclusions to

be made with confidence. Because they have high reliability and

validity, they generally have high credibility with decision-makers.

Weaknesses include their expense and requirements for highly

technical skills.


Between these two lie rapid appraisal methods. They are neither very

informal nor fully formal. They share some of the properties of both

and that is their strength as well as their weakness.


Strengths and Limitations


Strengths of rapid appraisal methods include the following:


They are relatively low-cost. Rapid appraisal studies are usually only

a fraction of the $100,000 to $200,000 often spent for a sample sur-

vey. They typically have a smaller sample size and narrower focus,

and they often require less technical and statistical expertise than

formal methods.


They can be quickly completed. Rapid appraisal methods can gather,

analyze, and report relevant information to decision-makers within

days or weeks. This is not possible with sample surveys. Rapid

appraisal methods are advantageous to decision-makers who seldom

have the option of holding up important decisions to wait for

information.


They are good at providing in-depth understanding of

complex socioeconomic systems or processes. Formal

methods, which focus on quantifiable information, lose

much in "operationalizing" social and economic phenomena.


They provide flexibility. Rapid appraisal methods allow

evaluators to explore relevant new ideas and issues that

may not have been anticipated in planning the study. Such

changes are not possible in sample surveys once the questionnaire is designed and the survey is under way.


Rapid appraisal's limitations:


They have limited reliability and validity. Information

generated may lack reliability and validity because of

informal sampling techniques, individual biases of the

evaluators or interviewers, and difficulties in recording,

coding, and analyzing qualitative data. Those using rapid

appraisal methods can minimize these problems, for example, by taking steps to reduce bias during data collection and analysis, or by using more than one method to

cross-check results (triangulation).


They lack quantitative data from which generalizations

can be made for a whole population. Most rapid appraisal

methods generate qualitative information. Even those that

generate quantitative data (such as minisurveys and direct

observation) cannot be generalized with precision, because they are almost always based on non-representative

samples. While a rapid appraisal method can give a picture of the prevalence of a situation, behavior, or attitude,

it cannot tell the extent or pervasiveness. For example, it

may show that many farmers are not using credit facilities,

but not the percentage of farmers.


Their credibility with decision-makers may be low. Most

decision-makers are more impressed with precise figures

than qualitative descriptive statements. For example, a

sample survey finding that 83 percent of local entrepreneurs were satisfied with technical assistance provided is

likely to carry more weight than the conclusion, based on

key informant interviews, that most entrepreneurs interviewed seemed satisfied with the technical assistance.



When Are Rapid Appraisal Methods

Appropriate?


Choosing between informal, rapid appraisal, and formal

methods of data collection should depend on balancing

several potentially conflicting factors:


purpose of the study ( importance and nature of

the decision hinging on it)

level of confidence in results needed

(accuracy, reliability, validity)

time frame within which it is needed (when decision must be made)

resource constraints (budget, expertise)

nature of information required


Regarding the last factor nature of the information

required rapid appraisal methods are especially useful

and appropriate:


When qualitative, descriptive information is sufficient for

decision-making. When there is no great need for precise

or representative quantitative data, rapid appraisal is a

good choice. When there is a need to understand complex

cultural, social, or economic systems and processes, qualitative information from rapid appraisal methods have an

advantage over formal methods for example, when

assessing organizations and institutions, socioeconomic

conditions of an area (communities, for example), or the

cultural patterns, behaviors, values, and beliefs of a group

or population.


When an understanding is required of the motivations and

attitudes that may affect behavior, for instance of a development activity's customers, partners, or stakeholders.

Rapid appraisal methods are successful in answering the

"why" and "how" questions. For example, key informant

interviews or focus group discussions are more likely than

sample surveys to provide insightful answers to such

questions as, "Why are farmers not adopting the recommended variety of seeds?" or "How are macroeconomic

policies being implemented?"


When available quantitative data must be interpreted.

Routinely generated quantitative data from activity records and performance monitoring data about financial

outlays, input and output volumes, products and services

provided to customers, customer usage, results targets

accomplished or missed may require explanation. Many

of the rapid appraisal methods are useful in interpreting

such data, resolving inconsistencies, and deriving meaningful conclusions. Suppose, for instance, performance

monitoring data show female farmers aren't using a technical package recommended by an agricultural development activity. Interviews with key informants and one or

two focus groups can shed light on this.


When the primary purpose is to generate suggestions and

recommendations. Often an evaluation is used to

solve a problem facing an activity. What is needed are

practical recommendations. For example, the manager of

a contraceptive social marketing activity may be concerned with finding ways to augment sales. The manager's

needs can be served by eliciting suggestions in interviews

or focus groups with doctors, pharmacists, medical workers, traders, and customers.


When the need is to develop questions, hypotheses, and

propositions for more elaborate, comprehensive formal

studies. Key informant and group interviews are widely

used for this purpose.


Common Rapid Appraisal Methods


The most commonly used methods include:


Key informant interviews. Involves interviews with 15 to

35 individuals selected for their knowledge and to refect

diverse views. Interviews are qualitative, in-depth and

semistructured. Interview guides listing topics are used,

but questions are framed during the interviews, using

subtle probing techniques.


Focus groups. Several homogeneous groups of 8 to 12

participants each discuss issues and experiences among

themselves. A moderator introduces the topic, stimulates

and focuses the discussion, and prevents domination of

discussion by a few.


Community interviews. These take place at public meetings open to all community members. Interaction is between the participants and the interviewer, who presides

over the meeting and asks questions following a carefully

prepared interview guide.


Direct observation. Teams of observers record what they

see and hear at a program site, using a detailed observation form. Observation may be of physical surroundings

or of ongoing activities, processes or discussions.


Minisurveys. Involves interviews with 25 to 50 individuals, usually selected using nonprobability sampling techniques. Structured questionnaires are used that focus on a

limited number of closed-ended questions. Generates

quantitative data that can often be collected and analyzed

quickly.



Each of these methods has particular situations in which

they are most appropriate or useful, as well as distinct

advantages and limitations. The matrix on page 4 summarizes this. For information on individual methods, see

additional Tips, or selected further readings below.














Selected Further Reading


Kumar, Krishna, Rapid, Low Cost Data Collection Methods for A.I.D., A.I.D. Program Design and Evaluation

Methodology Report No. 10. 1987 (PN-AAL-100)


Kumar, Krishna (editor), Rapid Appraisal Methods,

World Bank Regional and Sectoral Studies, 1993.


Kumar, Krishna, Conducting Key Informant Interviews in

Developing Countries, A.I.D. Program Design and

Evaluation Methodology Report No.13, 1986 ( PN-AAX-226)


Kumar, Krishna, Conducting Group Interviews in De-

veloping Countries, A.I.D. Program Design and Evalua-

tion Methodology Report No.8, 1987 (PN-AAL-088)


Kumar, Krishna, Conducting Mini Surveys in Developing

Countries, A.I.D. Program Design and Evaluation

Methodology Report No. 15, 1990 (PN-AAX-249)


Rapid Appraisal and Beyond, The Participation Forum

Workshop Notes, 1995.

COMMON RAPID APPRAISAL METHODS






METHODS





Useful for Providing



Advantages



Limitations



KEY

INFORMANT

INTERVIEWS


--general, descriptive data

--understanding of attitudes and

behaviors

--suggestions and

recommendations

--information to interpret

quantitative data

--provides in-depth, inside

information

--flexibility permits exploring

unanticipated topics

--easy to administer

--relatively inexpensive

--takes 4-6 weeks

--does not generate quantitative

data

--susceptible to interviewer and

selection biases




FOCUS

GROUP

INTERVIEWS


--customer views on services,

products, benefits

--information on

implementation problems

--suggestions and recommenda-tions for improving activities

--can be completed rapidly (5

weeks)

--very economical

--group discussion may reduce

inhibitions, allowing free

exchange of ideas


--does not provide quantitative

data

--discussion may be dominated

by a few individuals

--susceptible to moderator

biases




COMMUNITY

INTERVIEWS


--village/community level data

--views on activities and

suggestions for improvements


--permits direct interactions

between evaluator and large

numbers of individuals

--can generate some quantitative

data on community

characteristics, behaviors,

opinions

--participants tend to correct

each other, providing more

accurate information

--inexpensive and quick (5-6

weeks)

--can be manipulated by elites

or monopolized by individuals

--cultural taboos or norms may

inhibit discussion of certain

topics




DIRECT

OBSERVATION


--data on physical infrastructure,

supplies, conditions

--information about an agency's

delivery systems, services

--insights into behaviors or

events

--phenomenon can be examined

True and Quasi-Experimental Designs.

True and Quasi-Experimental Designs.
Barry Gribbons
National Center for Research on Evaluation, Standards, and Student Testing
Joan Herman
National Center for Research on Evaluation, Standards, and Student Testing

Source: http://pareonline.net/getvn.asp?v=5&n=14

Experimental designs are especially useful in addressing evaluation questions about the effectiveness and impact of programs. Emphasizing the use of comparative data as context for interpreting findings, experimental designs increase our confidence that observed outcomes are the result of a given program or innovation instead of a function of extraneous variables or events. For example, experimental designs help us to answer such questions as the following: Would adopting a new integrated reading program improve student performance? Is TQM having a positive impact on student achievement and faculty satisfaction? Is the parent involvement program influencing parents' engagement in and satisfaction with schools? How is the school's professional development program influencing teacher's collegiality and classroom practice?

As one can see from the example questions above, designs specify from whom information is to be collected and when it is to be collected. Among the different types of experimental design, there are two general categories:

true experimental design: This category of design includes more than one purposively created group, common measured outcome(s), and random assignment. Note that individual background variables such as sex and ethnicity do not satisfy this requirement since they cannot be purposively manipulated in this way.
quasi-experimental design: This category of design is most frequently used when it is not feasible for the researcher to use random assignment.
This article describes the strengths and limitations of specific types of quasi-experimental and true experimental design.

QUASI-EXPERIMENTAL DESIGNS IN EVALUATION

As stated previously, quasi-experimental designs are commonly employed in the evaluation of educational programs when random assignment is not possible or practical. Although quasi-experimental designs need to be used commonly, they are subject to numerous interpretation problems. Frequently used types of quasi-experimental designs include the following:

Nonequivalent group, posttest only (Quasi-experimental).

The nonequivalent, posttest only design consists of administering an outcome measure to two groups or to a program/treatment group and a comparison. For example, one group of students might receive reading instruction using a whole language program while the other receives a phonetics-based program. After twelve weeks, a reading comprehension test can be administered to see which program was more effective.

A major problem with this design is that the two groups might not be necessarily the same before any instruction takes place and may differ in important ways that influence what reading progress they are able to make. For instance, if it is found that the students in the phonetics groups perform better, there is no way of determining if they are better prepared or better readers even before the program and/or whether other factors are influential to their growth.

Nonequivalent group, pretest-posttest.

The nonequivalent group, pretest-posttest design partially eliminates a major limitation of the nonequivalent group, posttest only design. At the start of the study, the researcher empirically assesses the differences in the two groups. Therefore, if the researcher finds that one group performs better than the other on the posttest, s/he can rule out initial differences (if the groups were in fact similar on the pretest) and normal development (e.g. resulting from typical home literacy practices or other instruction) as explanations for the differences.

Some problems still might result from students in the comparison group being incidentally exposed to the treatment condition, being more motivated than students in the other group, having more motivated or involved parents, etc. Additional problems may result from discovering that the two groups do differ on the pretest measure. If groups differ at the onset of the study, any differences that occur in test scores at the conclusion are difficult to interpret.

Time series designs.

In time series designs, several assessments (or measurements) are obtained from the treatment group as well as from the control group. This occurs prior to and after the application of the treatment. The series of observations before and after can provide rich information about students' growth. Because measures at several points in time prior and subsequent to the program are likely to provide a more reliable picture of achievement, the time series design is sensitive to trends in performance. Thus, this design, especially if a comparison group of similar students is used, provides a strong picture of the outcomes of interest. Nevertheless, although to a lesser degree, limitations and problems of the nonequivalent group, pretest-posttest design still apply to this design.

TRUE EXPERIMENTAL DESIGNS

The strongest comparisons come from true experimental designs in which subjects (students, teachers, classrooms, schools, etc.) are randomly assigned to program and comparison groups. It is only through random assignment that evaluators can be assured that groups are truly comparable and that observed differences in outcomes are not the result of extraneous factors or pre-existing differences. For example, without random assignment, what inference can we draw from findings that students in reform classrooms outperformed students in non-reform classrooms if we suspect that the reform teachers were more qualified, innovative, and effective prior to the reform? Do we attribute the observed difference to the reform program or to pre-existing differences between groups? In the former case, the reform appears to be effective, likely worth the investment, and possibly justifying expansion; in the latter case, alternative inferences are warranted. There are several types of true experimental design:

Posttest Only, Control Group.

Posttest only, control group designs differ from previously discussed designs in that subjects are randomly assigned to one of the two groups. Given sufficient numbers of subjects, randomization helps to assure that the two groups (or conditions, raters, occasions, etc.) are comparable or equivalent in terms of characteristics which could affect any observed differences in posttest scores. Although a pretest can be used to assess or confirm whether the two groups were initially the same on the outcome of interest(as in pretest-posttest, control group designs), a pretest is likely unnecessary when randomization is used and large numbers of students and/or teachers are involved. With smaller samples, pretesting may be advisable to check on the equivalence of the groups.

Other Designs.

Some other general types of designs include counterbalanced and matched subjects (for a more detailed discussion of different designs see Campbell & Stanley, 1966). With counterbalanced designs, all groups participate in more than one randomly ordered treatment (and control) conditions. In matched designs, pairs of students matched on important characteristics (for example, pretest scores or demographic variables) are assigned to one of the two treatment conditions. These approaches are effective if randomization is employed.

Even experimental designs, however, can be problematic even when true experimental designs are employed (Cook & Campbell, 1979). One threat is that the control group can be inadvertently exposed to the program; such a threat also occurs when key aspects of the program also exist in the comparison group. Additionally, one of the conditions (groups), such as instructional programs may be perceived as more desirable than the other. If participants in the study learn of the other group, then important motivational differences (being demoralized or even trying harder to compensate) could impact the results. Differences in the quality with which a program or comparison treatment is implemented also can influence results (the teachers implementing one or the other have greater content or pedagogical knowledge). Still another threat to the validity of a design is differential participant mortality in the two groups.

LIMITATIONS OF TRUE EXPERIMENTAL DESIGN

Experimental designs also are limited by narrow range of evaluation purposes they address. When conducting an evaluation, the researcher certainly needs to develop adequate descriptions of programs, as they were intended as well as how they were realized in the specific setting. Also, the researcher frequently needs to provide timely, responsive feedback for purposes of program development or improvement. Although less common, access and equity issues within a critical theory framework may be important. Experimental designs do not address these facets of evaluation.

With complex educational programs, rarely can we control all the important variables which are likely to influence program outcomes, even with the best experimental design. Nor can the researcher necessarily be sure, without verification, that the implemented program was really different in important ways from the program of the comparison group(s), or that the implemented program (not other contemporaneous factors or events) produced the observed results. Being mindful of these issues, it is important for evaluators not to develop a false sense of security.

Finally, even when the purpose of the evaluation is to assess the impact of a program, logistical and feasibility issues constrain experimental frameworks. Randomly assigning students in educational settings frequently is not realistic, especially when the different conditions are viewed as more or less desirable. This often leads the researcher to use quasi-experimental designs. Problems associated with the lack of randomization are exacerbated as the researcher begins to realize that the programs and settings are in fact dynamic, constantly changing, and almost always unstandardized.

RECOMMENDATIONS FOR EVALUATION

The primary factor which directs the evaluation design is the purpose for the evaluation. Restated, it is critical to consider the utility of any evaluation information. If the program's impact on participant outcomes is a key concern or if multiple programs (instructional strategies, or something else) are being considered and educators are looking for evidence to assess the relative effectiveness of each to inform decisions about which approach to select, then experimental designs are appropriate and necessary. Nonetheless, resulting information should be augmented by rich descriptions of programs and mechanisms need to be established which enable providing timely, responsive feedback (For a detailed discussion of other approaches to evaluation, see Lincoln & Guba, 1985; Patton, 1997, and Reinhart & Rallis, 1994).

In addition to using multiple evaluation methods, evaluators should be careful in collecting the right kinds of information when using experimental frameworks. Measures must be aligned with the program's goals or objectives. Additionally, it is often much more powerful to employ multiple measures. Triangulating several lines of evidence or measures in answering specific evaluation questions about program outcomes increases the reliability and credibility of results. Furthermore, when interpreting this evidence, it is often useful to use absolute standards of success in addition to relative comparisons.

The last recommendation is to always consider alternative explanations for any observed differences in outcome measures. If the treatment group outperforms the control group, consider a full range of plausible explanations in addition to the claim that the innovative practice is more effective. Program staff and participants can be very helpful in identifying these alternative explanations and evaluating the plausibility of each.

ADDITIONAL READING

Campbell, D.T. & Stanley, J.C. (1966). Experimental and quasi-experimental designs for research. Chicago: Rand McNally College Pub. Co.

Cook, T.D. & Campbell, D.T. (1979). Quasi-experimentation: design and analysis issues for field settings. Chicago: Rand McNally College Pub. Co.

Lincoln, Y.S. & Guba, E.G. (1985). Naturalistic inquiry. Beverly Hills: Sage Publications.

Patton, M.Q. (1997). Utilization focused evaluation, edition 3. Thousand Oaks, CA: Sage Publications.

Reinhart, C.S. & Rallis, S.F. (1994). The qualitative-quantitative debate: New perspectives. San Francisco: Jossey-Bass.

Descriptors: *Comparative Analysis; *Control Groups; Evaluation Methods; Evaluation Utilization; *Experiments; Measurement Techniques; *Pretests Posttests; *Quasiexperimental Design; Sampling; Selection