Федчик В.А.

Донецький державний університет управління, Україна

Тест-інтерв’ю як засіб прагматичного вимірювання мовленнєвих умінь

Висунення нових, суто практичних, цілей навчання іноземних мов потребує перегляду практики викладання, відбору традиційних і розроблення нових прийомів, сукупність яких дістала назву комунікативного підходу до навчання іноземних мов.

Оволодіваючи іноземною мовою учні й студенти повинні в результаті набути практичних мовленнєвих навичок, у зв’язку з чим завданням тестування стає виявлення рівня їх комунікативної компетенції. Однією з основних рис, що відрізняють прагматичний підхід до навчання і тестування, є відведення головної ролі умінню творчо використовувати мовні засоби для спілкування іноземною мовою в різних соціокультурних контекстах (а не умінню продукувати окремі елементи іноземною мовою) [5–9].

Прагматичне тестування найрельєфніше представлене в тесті-інтерв’ю, розробленому в 50-ті рр. XX ст. в Інституті іноземної служби (Foreign Service Institute). Основною причиною для його створення стала незадоволеність традиційними дискретними тестами, що оцінюють ступінь володіння окремими компонентами мови, – фонетикою, граматикою і лексикою. Досвід, який нагромадився на той час, показував, що такі тести не мають прогностичної валідності, тобто отримані з їх допомогою дані не дають змоги передбачити, чи зуміє тестований використовувати мовні засоби в комунікативних цілях.

Другою причиною стала та обставина, що дискретні тести не мають критерійної валідності, тобто їх результати не відповідають умінню ефективно користуватися мовою в комунікативних ситуаціях.

Третьою причиною стала неможливість співвіднесення оцінок з мови, отриманих у різних вузах, де викладання ведеться за різними програмами, з орієнтацією на різні вимоги і підходи. Всі ці причини указували на необхідність розроблення стандартизованого тесту комунікативної компетенції, який ґрунтується на загальнонаціональних нормах і єдиній процедурі тестування і оцінки [3; 4; 9; 10; 11; 13].

Завдяки спільним зусиллям Інституту іноземної служби Корпусу миру, Служби тестування в освіті (Educational Testing Service), Ради з викладання іноземних мов в уряді (Interagency Language Roundtable) і Американської ради з викладання іноземних мов (American Council of Teachers of Foreign Languages, ACTFL) для встановлення рівня комунікативної компетенції був розроблений тест-інтерв’ю, що ґрунтується на загальнонаціональній нормі і на єдиній процедурі проведення і оцінки результатів [10; 11].

Метою цієї статті є дослідження тесту-інтерв’ю як стандартизованого глобального тесту усної комунікативної компетенції і його ролі у викладанні іноземних мов у Сполучених Штатах Америки.

Тест-інтерв’ю якісно відрізняється від інших тестів тим, що він не орієнтований на яку-небудь програму, і тим, що під час оцінювання не беруться до уваги ні умови, ні тривалість навчання, ні попередні оцінки тестованих. Його мета – оцінити уміння активно справлятися з комунікативними завданнями в ситуаціях, близьких до реальних, творчо використовуючи мовні засоби для передачі інформації.

Перевірка усної компетенції за допомогою тесту-інтерв’ю включає два взаємозв’язані процеси – отримання репрезентативного зразка мовлення тестованого і оцінка цього зразка за шкалою, що має в основі загальнонаціональну норму.

Тест-інтерв’ю складається з бесіди між екзаменатором і тестованим, яка проходить повністю іноземною мовою і триває від 10 до 30 хвилин залежно від рівня підготовленості випробуваного. Мета бесіди – отримати зразок мовлення, на підставі якого можна було б оцінити комунікативну компетенцію тестованого. Бесіда записується на магнітофонну плівку і потім оцінюється екзаменатором, що проводив інтерв’ю. Процедура ведення тесту жорстко стандартизована, і майстерність екзаменатора полягає в умінні побудувати інтерв’ю так, щоб воно не перетворилося на допит, щоб екзаменований відчував себе невимушено і легко вступав у розмову.

Щоб створити таку атмосферу, екзаменатор повинен грати роль зацікавленого співбесідника, який не поправляє, не перебиває, не учить, не допомагає, не говорить за екзаменованого і не повторює за ним. Екзаменаторові необхідно уміти чітко формулювати запитання, а потім заохочувати випробуваного зауваженнями типу: Дуже цікаво! Правда?! Невже?! Ви не можете розповісти детальніше? А що трапилося потім? і так далі.

Хоча інтерв’ю ведеться згідно із суворо приписаною процедурою, його зміст багато в чому залежить від відповідей тестованого, оскільки екзаменатор бере до уваги не тільки лінґвістичний рівень випробуваного, але й тематику, яка може становити для нього інтерес. Логічна послідовність і природність бесіди ґрунтуються на умінні екзаменатора діставати теми для розмови з відповідей тестованого. Наприклад, якщо випробуваний згадує, що цікавиться музикою, то бесіда може торкнутися музичної теми.

Зрозуміло, що між процедурою ведення інтерв’ю і його оцінкою існує тісний взаємозв’язок. Якщо під час інтерв’ю екзаменатор відхиляється від приписаної процедури, зразок не може бути правильно оцінений.

Процедура оцінки складається з прослуховування запису інтерв’ю і співвіднесення її з еталоном, тобто з рівнями усної компетенції, що містяться в загальнонаціональній шкалі. Тестованому виводиться оцінка, яка відповідає рівню, опис якого найточніше відображає його мовленнєві уміння. З огляду на те, що тест критерійно направлений, результати кожного інтерв’ю порівнюються тільки з еталоном, а не один з одним, оскільки останнє призвело б до поступового спотворення оцінок.

Шкала, на основі якої екзаменованому виводиться оцінка, була вперше розроблена Інститутом іноземної служби в результаті ретельних спостережень над комунікативними вимогами, що пред’являються іншомовним середовищем особам, які живуть і працюють за кордоном. Ця шкала являє собою одинадцятибальну ієрархією, крайніми точками якої є 0 (початковий рівень – відсутність комунікативної компетенції) і 5 (комунікативна компетенція, яка дорівнює компетенції освіченого носія мови). Між крайніми точками розташовуються рівні 1, 2, 3 і 4. Існують також і проміжні градації 0⁺, 1⁺, 2⁺, 3⁺, 4⁺, які означають неповне досягнення наступного рівня. Ці показники увійшли в практику тестування в всіх державних установах США.

Коли система перевірки комунікативних умінь була запозичена Американською радою з викладання іноземних мов (АРВІМ), цифрові найменування рівнів були замінені словесними (0 став початковим, 1 – середнім, 2 – просунутим, 3 – професійним). Початковий і середній рівні були поділені на три підрівні, щоб створити дрібніші градації. Крім того, через порівняно невелику кількість учнів і студентів, які володіють іноземними мовами на рівнях, що перевищують професійний, в системі АРВІМ рівні 3–5 об’єднані в один – професійний. Обидві системи можуть бути зображені у формі переверненої піраміди, в якій кожен рівень включає всі попередні.

Ієрархія рівнів являє собою не пряму, розділену на рівні інтервали, а швидше геометричну прогресію, яка відображає зростаючу кількість мовного матеріалу, що міститься в кожній подальшій градації. Досвід прагматичного тестування усної комунікативної компетенції в США показує, що кількість часу і зусиль для переходу з одного рівня в іншій геометрично збільшується. Наприклад, більшість учнів і студентів переходять з початкового рівня в середній після двох–трьох семестрів неінтенсивного навчання в класі. Проте для переходу з просунутого рівня в професійний, як правило, потрібне тривале інтенсивне спілкування з носіями мови.

Термін навчання, що забезпечує перехід з одного рівня в іншій, залежить також і від трудності виучуваної мови. Згідно з даними Інституту іноземної служби, в умовах інтенсивного навчання научуваний з хорошими даними досягає професійного рівня в іспанській мові майже в два рази швидше, ніж у російській.

Опис загальних мовленнєвих умінь, що відповідають різним рівням, поданий в універсальній шкалі, застосовній до всіх мов [1]. Існують також окремі шкали, що відображають особливості французької, німецької, іспанської, російської, китайської, японської і арабської мов, а також мови хінді. В цей час триває розроблення шкал для ряду інших мов, у тому числі індонезійської і суахілі [8]. Необхідно підкреслити, що рівні стандартні для всіх мов. Це дозволяє ввести уніфіковану систему вимірювання комунікативної компетенції незалежно від виучуваної мови.

За системою АРВІМ екзаменованому ставиться загальна глобальна оцінка. Вона виводиться з урахуванням таких критеріїв: глобальних завдань або функцій, які тестований може виконати, контексту, в якому він може використовувати мову, змісту, про який він може говорити, правильності, з якою він виконує комунікативні завдання, і тексту/дискурсу, який він продукує.

Під глобальними завданнями розуміють цілі спілкування, починаючи з найпростішої – перерахування, і кінчаючи найскладнішою – передачею знань, думок і інформації за допомогою логічно побудованого дискурсу, що містить опис, оповідання і аргументування думок і припущень. Так, випробуваний на початковому рівні може описати свою кімнату, перераховуючи предмети, що знаходяться в ній, тоді як тестований на професійному рівні може вести дискусії на абстрактні теми, наводячи доводи на підтвердження своєї позиції.

Розв’язання глобальних комунікативних завдань завжди здійснюється в соціокультурних контекстах, які визначають вибір тих або інших мовленнєвих засобів. Контексти розрізняються за трудністю залежно від того, які комунікативні вимоги вони пред’являють мовцеві. Найпростіші контексти характеризуються надмірністю лінґвістичної і екстралінґвістичної інформації, яка дозволяє мовцеві розв’язувати комунікативні завдання, спираючись на обмежений завчений матеріал. Наприклад, щоб замовити обід у ресторані, досить поставити декілька простих запитань і назвати декілька страв. З другого боку, існують контексти, що вимагають від мовця максимальної гнучкості у використанні мовних засобів. Як приклад можна навести наукову дискусію на медичному конґресі про порівняльні переваги різних типів дієти.

Третім критерієм, що враховується під час оцінювання комунікативної компетенції, є правильність мовлення, тобто дотримання мовцем фонетичних, морфосинтаксичних, лексичних, соціолінґвістичних і прагматичних норм виучуваної мови. Під соціолінґвістичними нормами розуміють доцільність вживання мовних засобів у різних соціальних оточеннях (наприклад, звернення, прохання, відмова, вибачення). Прагматичні норми – це правила спілкування (наприклад, уміння розпочати і закінчити розмову) і тактики комунікації (наприклад, уміння перефразовувати, заповнити паузу).

Четвертий критерій характеризує поступовий розвиток і ускладнення продукованого тестованими тексту/дискурсу, починаючи від окремих слів і завчених невільних сполучень на початковому рівні і кінчаючи логічно побудованим дискурсом, що складається з декількох абзаців, на професійному рівні.

Традиційно вважалося, що знання мови полягає в умінні будувати граматично і лексично правильні речення. Проте практика комунікативного підходу до тестування ступеня володіння іноземними мовами показує, що інші компоненти спілкування відіграють у ньому не менш важливу роль. Наприклад, неправильне звернення (порушення соціолінґвістичної норми) може спричинитися до серйозніших наслідків, ніж граматична або лексична помилка. Тривалі незаповнені паузи, недомовлені речення або незв’язність мовлення (відсутність прагматичних умінь) можуть призвести до втрати інтересу з боку слухача.

Поняття правильності тісно пов’язане із зрозумілістю. Шкала АРВІМ відображає прогресію зрозумілості мовлення випробуваних від початкового рівня, на якому мовець зрозумілий в основному носіям мови, звиклим до спілкування з іноземцями (викладачам, гідам), до просунутого рівня, на якому мовець зрозумілий будь-якому носієві мови незалежно від теми розмови.

Кожен рівень шкали являє собою не окрему точку на прямій, а простір у трьох вимірах. Це дає змогу поставити одну і ту ж оцінку особам з різними комунікативними «профілями». Наприклад, один екзаменований знає більше слів, але частіше робить граматичні помилки, а другий – навпаки. Якщо обидва однаково справляються з тими самими комунікативними завданнями, вони отримують однакову оцінку. Таким чином, в межах одного функціонального рівня можлива компенсація одного аспекту мови за рахунок іншого.

Стисло опишемо рівні у системі АРВІМ.

ПРОФЕСІЙНИЙ РІВЕНЬ.

– Мовець повністю задовольняє мовні потреби, пов’язані з роботою або навчанням;

– уміє вести дискусію, обстоювати думки і висловлювати припущення;

– може брати участь у неофіційних і офіційних бесідах;

– уміє обговорювати різні абстрактні, політичні, академічні, соціальні і професійні питання;

– будує мовлення, що складається з логічно зв’язаних абзаців;

– справляється з ситуаціями, що потребують детальних пояснень і уміння переконати співбесідника;

– зрідка робить несистематичні помилки, які не заважають розумінню.

ПРОСУНУТИЙ РІВЕНЬ.

– Мовець мінімально задовольняє мовні потреби, пов’язані з роботою або навчанням;

– розповідає і описує у всіх видо-часових планах;

– будує мовлення, що складається з логічно пов’язаних між собою груп речень, об’єднаних у прості абзаци;

– говорить на конкретні теми, що передбачають використання фактичного матеріалу;

– справляється із ситуаціями, в яких виникають невеликі ускладнення;

– робить помилки в нечастотних складних структурах, які не заважають розумінню.

СЕРЕДНІЙ РІВЕНЬ.

– Мовець може прожити в країні виучуваної мови як турист;

– бере участь у простих розмовах, що складаються із запитань і відповідей, творчо використовуючи вивчений матеріал;

– обмежує зміст мовлення особистими і автобіографічними темами;

– будує мовлення, що складається з окремих речень, головним чином, у теперішньому часі;

– справляється із ситуаціями, побудованими за передбачуваною схемою, наприклад, може зробити покупки в магазині, замовити обід в ресторані, пояснити, як пройти або проїхати абикуди;

– робить безліч помилок, що порушують спілкування, так що мовлення зрозуміле, головним чином, носіям мови, звиклим до спілкування з іноземцями.

ПОЧАТКОВИЙ РІВЕНЬ.

– Мовець справляється тільки з рутинними елементами простої розмови, наприклад вітаннями;

– мінімально застосовує мову на основі вивченого матеріалу, використовуючи прості мовленнєві формули і списки слів з таких груп, як кольори, дні тижня, числа, члени сім’ї, одяг, їжа;

– будує мовлення, що складається з окремих слів або невільних сполучень;

– продукує мовлення, зрозуміле тільки носіям мови, звиклим до спілкування з іноземцями [1; 3;10; 11].

У структурі інтерв’ю можна виділити чотири обов’язкові фази: ознайомлювальну, установлювальну, перевірчу і завершальну. Всі фази обов’язкові для забезпечення співвіднесеності оцінок екзаменаторів і стабільності тесту.

В ознайомлювальній фазі екзаменатор знайомиться з випробуваним, обмінюється з ним вітаннями і ставить йому прості, рутинні запитання, щоб скласти попереднє враження про рівень його мовної підготовки, а також для того, щоб дати тестованому можливість освоїтися і звикнути до його голосу. Потім екзаменованому ставиться ряд запитань для установлення «підлоги», тобто рівня, на якому він спілкується без зусиль. Коли екзаменатор задоволений, що «підлога» встановлена, він дає тестованому складніші завдання, щоб установити «стелю», тобто верхню межу його мовленнєвої компетенції. Такі завдання ведуть до «розпаду» – тестований починає запинатися, робити більше помилок, жестикулювати, відмовляється відповідати на запитання і так далі. В ході інтерв’ю екзаменатор чергує питання, спрямовані на визначення «підлоги», з питаннями, направленими на встановлення «стелі». Таке чергування повторюється доти, доки екзаменатор не створює для себе точного уявлення про нижню і верхню межу комунікативних умінь тестованого.

Після встановлення «підлоги» і «стелі» екзаменатор пропонує тестованому рольове завдання відповідної трудності. Наприклад, випробуваний із середнім рівнем комунікативної компетенції може розіграти з екзаменатором ситуацію в магазині, тоді як випробуваному, який володіє мовою на професійному рівні, дається ситуація, в якій він повинен пояснити майстрові неполадки з відеомагнітофоном, або ситуацію, в якій він повинен вітати офіційну делегацію. Ігрові ситуації дають змогу «висвітити» знання тих мовних засобів, які не завжди легко перевірити в питально-відповідній формі. Сюди надежать, в основному, соціолінґвістичні і прагматичні уміння.

У завершальній частині інтерв’ю екзаменатор ставить ряд запитань на рівні «підлоги», щоб закінчити тест в позитивному тоні і дати випробуваному можливість ще раз відчути упевненість у своєму умінні користуватися мовою [10; 11].

Щоб навчитися вести і оцінювати тест-інтерв’ю, майбутні екзаменатори проходять тривалу інтенсивну підготовку, що складається з кількох стадій: (1) чотириденного спецсемінара з теорії і практики ведення і оцінки інтерв’ю; (2) самостійного проведення 10 інтерв’ю на різних рівнях, які піддаються детальному розбору і критиці з боку досвідченого екзаменатора; (3) проведення 15 додаткових інтерв’ю на різних рівнях, у яких не повинно бути жодних відхилень від правил ведення і оцінювання. Ті, хто успішно завершив підготовку, отримують свідоцтво екзаменатора, дійсне на два роки. Для відновлення свідоцтва екзаменатор проходить додаткову перевірку. Недотримання правил ведення інтерв’ю і відхилення в оцінках можуть призвести до втрати кваліфікації.

У 80-ті рр. XX ст. тест-інтерв’ю почав органічно входити в процес навчання іноземних мов в американських середніх школах і вузах. Сьогодні він застосовується під час вступу до деяких університетів [2], для задоволення вимог з мови [6], розподілу научуваних по групах, для уточнення програми навчання окремих груп студентів, для перевірки результатів навчання іноземної мови, для вступу до аспірантури, для встановлення кваліфікації викладачів середніх шкіл [9], для відбору кандидатів на ту або іншу посаду, яка потребує знання іноземної мови, а також для винесення висновку про можливість вступу до зарубіжного навчального закладу, в якому навчання проводиться певною мовою [5].

За останні двадцять три роки тест-інтерв’ю також почав використовуватися для оцінки комунікативної компетенції научуваних, які розпочинають і завершують навчання вдповідно до зарубіжних мовних програм. Повторне тестування дає можливість не тільки визначити ступінь розвитку комунікативних умінь научуваних, але й зібрати цінні дані, які в майбутньому дозволять відповісти на запитання: які чинники в підготовці і психолінґвістичному «профілі» учня чи студента найбезпосередніше співвіднесені з успіхом у засвоєнні мови в умовах зарубіжної програми. Це дасть змогу забезпечити доцільніший відбір учнів чи студентів, а також внесення коректив у навчальні програми.

Отже, дослідження тесту-інтерв’ю як стандартизованого глобального тесту усної комунікативної компетенції і його ролі у викладанні іноземних мов у Сполучених Штатах Америки дає змогу зробити такі висновки.

1. Незадоволеність традиційними дискретними тестами, що оцінюють ступінь володіння окремими компонентами мови, спричинилася до розроблення стандартизованого тесту комунікативної компетенції, який ґрунтується на загальнонаціональних нормах і єдиній процедурі тестування і оцінки. Однією з основних рис, що відрізняють прагматичний підхід до навчання і тестування, є відведення головної ролі умінню творчо використовувати мовні засоби для спілкування іноземною мовою в різних соціокультурних контекстах (а не умінню продукувати окремі елементи іноземною мовою).

2. Якісна відмінність тесту-інтерв’ю від інших тестів полягає в тому, що, по-перше, він не орієнтований на яку-небудь програму, а по-друге – під час оцінювання не беруться до уваги ані умови, ані тривалість навчання, ані попередні оцінки тестованих.

3. У структурі інтерв’ю можна виділити чотири обов’язкові фази, що забезпечують співвіднесеність оцінок екзаменаторів і стабільність тесту:

– ознайомлювальну (екзаменатор знайомиться з випробуваним, обмінюється з ним вітаннями і ставить йому прості, рутинні запитання, щоб скласти попереднє враження про рівень мовної підготовки тестованого і дати йому можливість освоїтися і звикнути до свого голосу);

– установлювальну (екзаменатор ставить ряд запитань для установлення «підлоги», тобто рівня, на якому тестований спілкується без зусиль, і «стелі», тобто верхньої межі його мовленнєвої компетенції);

– перевірчу (екзаменатор пропонує тестованому рольові завдання відповідної трудності, які дають змогу «висвітити» знання тих мовних засобів, які не завжди легко перевірити в питально-відповідній формі);

– завершальну (екзаменатор ставить ряд запитань на рівні «підлоги», щоб закінчити тест в позитивному тоні і дати випробуваному можливість ще раз відчути упевненість у своєму умінні користуватися мовою).

4. Перевірка усної компетенції за допомогою тесту-інтерв’ю включає два взаємозв’язані процеси – отримання репрезентативного зразка мовлення тестованого і оцінка цього зразка за шкалою, що має в основі загальнонаціональну норму. Зрозуміло, що між процедурою ведення інтерв’ю і його оцінкою існує тісний взаємозв’язок.

5. За системою АРВІМ екзаменованому ставиться загальна глобальна оцінка, яка виводиться з урахуванням таких критеріїв: глобальних завдань або функцій, які тестований може виконати; контексту, в якому він може використовувати мову; змісту, про який він може говорити; правильності, з якою він виконує комунікативні завдання; і тексту/дискурсу, який він продукує.

6. Тест-інтерв’ю, який ґрунтується на майже п’ятдесятирічному досвіді тестування усної комунікативної компетенції в США, надає можливість не тільки підійти до проблеми вимірювання мовленнєвих умінь з прагматичної точки зору, але й зібрати дані, які дозволять краще зрозуміти механізм оволодіння іноземною мовою.

7. Дедалі ширше застосування тесту-інтерв’ю потребує добре спланованої і ретельно продуманої програми дослідження найважливіших теоретичних і емпіричних питань, пов’язаних з проблемою тестування комунікативної компетенції. Серед актуальних питань, що чекають на наукові дослідження, можна назвати такі:

7.1. Валідація рівнів компетенції на підставі зовнішніх критеріїв, базованих на вживанні мови в життєвих ситуаціях, тобто встановлення відповідності між глобальними завданнями, які даються тестованому під час інтерв’ю, і комунікативними завданнями, з якими він може зустрітися в житті [5].

7.2. Подальше уточнення розуміння конструкта комунікативної компетенції і його психологічного механізму [3].

7.3. Детальніший опис фонетичних, граматичних, лексичних, соціолінґвістичних і прагматичних елементів мовлення, характерних для спілкування на різних рівнях [7].

7.4. Дослідження взаємовідношення між оцінками комунікативної компетенції експертів на базі результатів усного інтерв’ю і оцінками звичайних носіїв мови на основі спостереження за мовленнєвою поведінкою тестованих у життєвих ситуаціях.

7.5. Подальше дослідження стабільності тесту-інтерв’ю методом повторної оцінки одного індивіда різними екзаменаторами і обчислення коефіцієнта кореляції між рядами даних щодо повторних тестувань для різних мов, різних груп учнів і студентів і різних груп екзаменаторів [4, 12, 13].

Література:

1. American Council on the Teaching of Foreign Languages. – ACTFL proficiency guidelines. – Hastings-on-Hudson, NY, 1986. – 245 p.

2. Arendt J. D., Lange D. L., Wakefield R. Strengthening the language requirement at the University of Minnesota: An Unitial report. – Foreign Language Annals. – 1989. – № lg. – P. 149 – 156.

3. Bachman L. F. Problems in examining the validity of the ACTFL oral proficiency interview. – Studies in Second Language Acquisition. – 1988. – № 10. – P. 149–164.

4. Clark J. L. D. A study of the comparability of speaking proficiency interview ratings across three government language training agencies. – Washington, DS: Center for Applied Linguistics, 1986. – 368 p.

5. Clark J. L. D., Clifford R. T. The FSILRACTFL proficiency scales and testing techniques: Development, current status, and needed research. – Studies in Second Language Acquisition. – 1988. – № 10. – P. 129–148.

6. Freed B. F. Preliminary impressions of the effects of а proficiency-based language requirement. – Foreign Language Annals. – 1987. – №20. – P. 139–146.

7. Garrett N. The role of grammar in the development of Communicative ability // Valdman A. (Ed.), Proceedings of the Symposium on the Evaluation of Foreign Language Proficiency. – Bloomington, IN: Indiana University Press, 1987. – P. 193–211.

8. Hiple D. V. The extension of language proficiency guidelines to the less commonly taught languages // Valdman A. (Ed.), Proceedings of the Symposium on the Evaluation of Foreign Language Proficiency. – Bloomington, IN: Indiana University Press, 1987. – P. 59–66.

9. Hiple D. V., Manley J. H. Testing how well foreign language teachers speak: A state mandate. – Foreign Language Annals. – 1987. – № 20. – P. 147–154.

10. Liskin-Gasparro J. E. The ACTFL preficiency guidelines: A historical perspective // Hiqqs T. V. (Ed.), Teaching for Proficiency, The Organizing Principle. – Lincoln-wood, IL: National Textbook Company, 1984. – P. 11–42.

11. Liskin-Gasparro J. E. The ACTFL Proficiency Guidelines: An Update // Valdman A. (Ed.), Proceedings of the Symposium on the Evaluation of Foreign Language Proficiency. – Bloomington, IN: Indiana University Press, 1987. –P. 19–27.

12. Magnan S. Assessing speaking proficiency int he undergraduate curriculum: Data from French. – Foreign Language Annals. – 1986. – № 19. – P. 429–438.

13. Mullen K. A. Rater reliability and oral proficiency evaluations // Oller J. W. and Perkins K. (Eds.), Direct testing of speaking proficiency: Theory and application. – Princeton, NJ: Educational Testing Service, 1978. – P. 171–189.