Второе достоинство форвардного анализа — более точное и надежное измерение уровней пост-оптимизационных прибыли и риска. Это тоже объясняется более детально в Главе 7. Форвардный анализ дает статистическую картину многочисленных оптимизационных и пост-оптимизационных торговых периодов. Он обеспечивает большую статистическую валидность, чем традиционная оптимизация, потому что опирается на гораздо большую выборку данных. Форвардный анализ дает возможность точного сравнения и измерения уровней прибыли форвардного трейдинга относительно прибыли оптимизационного трейдинга. [c.27]
Использование релевантных данных — это, по существу, балансирование между двумя противоположными требованиями к разработке торговой системы, максимальной эффективностью и статистической валидностью. [c.74]
В предыдущих разделах этой главы были представлены определенные четкие статистические руководства, следуя которым можно обеспечить валидность торговой модели. Должно быть достаточное число сделок, достаточное количество данных, достаточное число степеней свободы и широкий диапазон типов рынка. Теория релевантных данных предполагает, что следует использовать только данные, схожие с текущими торговыми условиями. Это правило скорее всего приведет трейдера к конфликту с указанными статистическими руководствами. [c.76]
Более того, поиск наибольшей чистой прибыли полностью игнорирует вопрос риска. Стратегия с максимальной чистой прибылью может также иметь очень большое и неприемлемое проседание счета. Другой ее недостаток в том, что лучшая прибыль могла быть получена посредством очень небольшого числа сделок. Модель с таким набором сделок имеет ограниченную статистическую валидность. [c.90]
Чтобы иметь какие-то основания говорить о валидности системы, как минимум 20% тестов должны быть на уровне прибыльности, считающемся значимым для данного рынка и системы. Такой результат показан в Примере 2 [c.99]
Другой вопрос, требующий решения — тестировать ли данные единым куском или как серию более мелких кусков. Тестирование данных единым большим массивом с точки зрения статистики выглядит более предпочтительным. Однако этот подход может скрывать некоторую важную информацию, а именно, как разные периоды соотносятся друг с другом Модель, приносящая 100,000 за 10-летний период, на первый взгляд выглядит превосходно. Но что, если такая прибыль была обеспечена одним-двумя очень хорошими годами, а другие восемь лет были убыточными или были близки к предельно допустимой эффективности Следовательно, лучше тестировать весь этот временной период в несколько меньших интервалов. Хорошим было бы деление 10-летнего периода на пять 2-летних отрезков. Если данная торговая модель более долгосрочная и генерирует слишком мало сделок, чтобы обеспечить статистическую валидность на 2-летнем периоде, более подходящими могут быть 3-х или 4-летние интервалы. Более подробно это обсуждается в Главе 7, Оптимизация торговой системы . [c.116]
Отбор подходящих данных подчиняется двум правилам объем выборки должен быть достаточно большим, чтобы обеспечить статистическую валидность, и выборка должна включать достаточно широкий диапазон рыночных условий. Эти факторы также взаимозависимы. Объем тестовых данных должен быть достаточным для генерации статистически значимой выборки сделок. В идеале, в выборке должно быть как минимум 30 сделок, и чем больше, тем лучше. [c.124]
Чтобы определить универсальность и устойчивость торговой модели, ее оптимизируют на диверсифицированной корзине рынков. Чем больше рынков, на которых модель может торговать, тем она полезней. Не столь очевидно то, что чем больше рынков, на которых модель может торговать хорошо, тем она устойчивей. Тестирование на более широкой базе обеспечивает большую статистическую валидность. Есть и другое соображение. Торговая модель, которая может давать хорошие результаты на диверсифицированной корзине рынков, чаще основана на [c.127]
Эффективность всех тестов в каждой отдельной оптимизации следует рассматривать в связке, и она должна удовлетворять статистическому критерию, обеспечивающему валидность результатов.Как минимум 30% всех тестов в оптимизации должны быть равны или выше заранее заданного минимального порога эффективности, основанного на тестах более широкого диапазона. Более высокий процент прибыльных моделей в оптимизации указывает на более устойчивую торговую модель. Очень низкий процент прибыльных моделей может быть всего лишь всплеском прибыли и статистической аномалией, с малой или вовсе отсутствующей предсказательной ценностью. [c.130]
Главная цель форвардного анализа — устранить обоснованные сомнения в валидности торговой модели и процедуры оптимизации. При этом преимущества форвардного теста распространяются на достаточно большую выборку данных и форвардных тестов, чтобы обеспечить статистическую точность. Форвардный анализ строится так, чтобы выполнить достаточно большое число форвардных тестов для устранения случайности результатов. Добиться такой надежности позволяет тест, включающий не менее 10 форвардных тестов. [c.138]
Даже беглая проверка приведет к явному отказу от данной торговой модели. Ее чистая прибыль 50,000 основана на прибыли 110,000 за 1987 год, единственный прибыльный год. Все остальные годы дали постоянный убыток 15,000. Большая чистая прибыль в 1987 году маскирует тревогу, вызываемую результатами каждого последующего года. Валидность этой модели сомни- [c.155]
Было бы весьма тревожным сигналом, если бы максимальное проседание возникло как длинная серия убытков при таких же рыночных условиях, при каких имела место крупнейшая выигрышная серия. Обычно торговые модели успешны на протяжении сильных и устойчивых трендов или периодов высокой вола-тильности, сопровождаемых сильными и четкими ценовыми свингами. Максимальное проседание в течение такого периода должно ставить под вопрос валидность данной торговой модели. [c.159]
Для обеспечения статистической валидности как минимум 90% степеней свободы должно остаться после вычета всех правил, индикаторов и затрат для выхода системы на рабочий режим. Степени свободы могут быть чрезмерно ограничены [c.171]
Надежность субъективных оценок может быть повышена, если эксперты дадут заключение о валидности их оценок (сбор данных об их надежности, оптимистических и пессимистических тенденциях ответов и т. п.), а также если будет обеспечено достаточное число независимых экспертов. [c.142]
Прогностическая валидность — характеристика теста, позволяющая оценить качество прогноза в отношении испытуемого по результатам данного теста. [c.402]
Содержательная валидность — характеристика теста, позволяющая Оценить содержание и полноту методики с точки зрения особенностей измеряемой области психических качеств. [c.402]
Разработанная модификация методики усиливает ее прогностические возможности, позволяет с помощью принятых балльных оценок проектировать успешность деятельности руководителя в соответствии с избранным эталоном по функциям планирование, организация, управление, мотивация, контроль. Методика исследования самооценки личности при апробации показала свою валидность, так как корреляционных взаимосвязей между ее основными показателями нет. [c.291]
Метод тестов представляет собой разновидность экспериментального подхода к характеристике психологических процессов и особенностей личности на языке объективных измерений. Разработка тестов и использование их на практике связаны с предварительным определением степени соответствия тестов следующим требованиям психодиагностической теории измерений (психометрии) надежности, валидности, стандартизации, практичности, прогностической ценности. Рассмотрим каждое из этих требований. [c.78]
Валидность. Валидность теста показывает, в какой мере он измеряет то психологическое качество (свойство, способность и т.п.), для оценки которого предназначен. Тесты, не обладающие валид-ностью, не пригодны для практического применения. [c.80]
Валидность и надежность — взаимосвязанные понятия. При этом валидность теста не может быть выше его надежности, а надежность — ниже валидности, т.е. надежность является верхней границей валидности. В современной психодиагностике обычно выделяют три основных вида валидности содержательную (логическую), эмпирическую и концептуальную. [c.80]
Эмпирическая валидность означает, что тест может служить индикатором строго определенной психологической особенности или [c.80]
Содержательная валидность называется также логической валидностью или валидностью по определению. [c.80]
ВАЛИДНОСТЬ — основная характеристика качества измерения в социологии, отражающая степень соответствия измеренного показателя тому, что подлежало измерению. Процедура оценки В. инструмента называется валидизацией. Оценки В. носят вероятностный характер. Весьма часто В. признака или шкалы могут быть обоснованы лишь ссылками на общепонятность, доступность и очевидность обыденного языка. В качестве синонимов В. иногда употребляют термины "обоснованность", "адекватность", а валидизацию нередко называют интерпретацией. [c.27]
Стабильность торговой системы связана с устойчивой торговлей по этой системе. Чем более устойчива торговая система по каждому из ее показателей, тем она стабильнее. Как правило, чем выше стабильность системы на статистически валидном тесте, тем выше ее надежность в процессе торговли. В Главе 8 подробно описывается, как оценивать эффективность торговой модели. Однако некоторые моменты будет полезно осветить и здесь. [c.68]
Размер шага, с которым сканируется диапазон, важен не только с точки зрения потребности в машинном времени. Слишком тщательное сканирование переменной может израсходовать не только компьютерное время оно может по невнимательности привести вас к настраиванию на кривую , особенно если вами не были приняты надлежащие меры предосторожности от выбора всплеска прибыли вместо холма прибыли. Валидным было бы сканирование краткосрочной скользящей средней от 1 до 13 Дней с шагом 1 день. [c.123]
Сканирование долгосрочной скользящей средней от 10 до 200 Дней с шагом 1 день будет повышать вероятность подстраивания под кривую, снижать валидность результатов и увеличивать вре- [c.123]
Хорошая оптимизация должна начинаться с отбора включаемых в нее переменных — тех, которые наиболее значимы для результатов. Далее, для отобранных переменных должны быть определены подходящие диапазоны сканирования, как можно более широкие и распределенные таким образом, чтобы избежать нежелательного смещения. Необходимо определить надлежащий объем выборки данных, чтобы охватить как можно больше ценовых паттернов и трендов. Для выбора наиболее устойчивой модели необходимо использовать правильный метод оценки модели. Наконец, для выбора модели, которая условиях реальной торговли скорее всего будет иметь лучшую эффективность, необходимо использовать правильный критерий оценки тестовой связки. Валидная оптимизация может быть обеспечена лишь посредством выполнения всех этих шагов. [c.127]
Должны быть свидетельства того, что выбранная топ-модель окружена другими моделями с хорошими результатами и поэтому не является изолированным всплеском прибыли. Каждая оптимизация должна охватывать достаточно большую выборку данных и группу диапазонов сканирования переменных, которые обеспечат статистически значимое число степеней свободы. Каждую оптимизацию следует разрабатывать таким образом, чтобы она генерировала статистически валидное число сделок. Торговая эффективность должна удовлетворять важнейшему критерию равномерного распределения по выборке данных. [c.130]
Вторая цель форвардного анализа — получить более точную картину профиля прибыли и риска на основе большей и более статистически валидной выборки. Этот анализ состоит из множества оптимизаций и множества форвардных тестов. Они сведены воедино, чтобы обеспечить более надежное измерение эффективности. [c.138]
Форвардный анализ дает гораздо больше возможностей изучить максимальное проседание, чем любой другой показатель тестирования. Реальная проблема в использовании максимального проседания, найденного в процессе оптимизации, в качестве меры будущих проседаний, вытекает из природы самого оптимизационного процесса. В процессе оптимизации от большинства моделей с крупными проседаниями придется отказаться. Проседания, обнаруженные в ходе форвардно-аналитического теста, имеют такую же валидность, как и постоптимизационные прибыли. Они представляют собой то, что происходит, когда после оптимизации модель сталкивается с каким-то более волатиль-ным, менее предсказуемым ценовым движением. Проседание, [c.138]
Как правило, чем больше отношение доходности к риску, тем лучше. Большее RRR свидетельствует о том, что доходность (отдача) на вложенный в торговлю доллар повышается по сравнению с риском на вложенный доллар. Многие торговые модели имеют RRR-отношение 5 1 и 10 1. Однако, необходимо отметить, что валидность этого числа прямопропорциональна статистической валидности его составляющих, чистой прибыли и максимального проседания. [c.152]
Первая прогнозная модель была настроена на ценовые данные грубо. Ее прогнозы имели широкие доверительные интервалы, торговать по которым оказалось невозможно. Но модель была статистически валидной. Она была построена с достаточным числом степеней свободы, то есть, правильным соотношением числа ограничений, или переменных, и размера выборки. Эта прогнозная модель была проверена посредством вневыборочно-го тестирования. [c.163]
Последняя прогнозная модель была жестко настроена на ценовые данные. Однако прогнозы этой модели подтвердили свою несостоятельность. У этой модели нет статистической валидное-ти, так как она была создана с небольшим количеством степеней свободы и слишком большим количеством ограничений(т.е. правил или переменных). Эта модель никогда не тестировалась на произвольных данных. [c.164]
Поскольку в пределах типичной эффективности валидная торговая модель может сгенерировать проигрышную серию, как отличить неудачу от правильной эффективности Ответ дает сравнение тестового и торгового профилей. [c.189]
Валидность — комплексная характеристика теста, дающая информацию, что измеряет данная методика и насколько хорошо. Может определяться путем вычисления корреляций показателей (шкал) теста с эмпирическими критериями (экспертными оценками, эффективностью деятельности, сходными показателями других методик и т.д.). Валидность — один из важнейших параметров любой психодиагностической методики. Если тест невалиден , пользоваться им. нельзя. Существует несколько подвидов валидности. [c.402]
Корреляционный анализ — набор методов математической статистики, которые используются для изучения взаимосвязи между переменными (показателями). Используется в психодиагностике при решении вопросов валидное и надежности тестов. Процедуры корреляционного анализа позволяют оценить уровень значимости связи изучаемых переменных (другими словами — вероятность ошибки при выдвижении гипотезы о наличии взаимосвязи между переменными), а также меру и направление влияния одной переменной на другую. В ходе корреляционного анализа вычисляются коэффициенты корреляции — количественные показатели меры и направления влияния переменных. [c.403]
Методики, применяемые специалистом по психодиагностике, должны соответствовать профессиональным требованиям (быть валидными, надежными и иметь нормы, соответствующие социально-демографическим характеристикам испытуемых). [c.417]
Известно, что валидность теста показывает, в какой мере тест или его методика измеряет то качество, для оценки которого она предназначена. Понятие валид-ности применяется лишь совместно с понятием надежности. Надежность — необходимое условие валидности, но надежный тест иногда не может быть валидным, и наоборот, валидный тест не всегда надежен. [c.286]
Содержательная валидность1 означает, что тест является валидным с точки зрения специалистов. Содержательную валидность следует отличать от очевидной валидности, т.е. валидности с точки зрения испытуемых (тестируемых), которая формируется у тестируемых при знакомстве с тестом. Очевидная валидность тоже играет важную роль в процессе тестирования, так как она в первую очередь определяет отношение тестируемого к обследованию. [c.80]
Экспериментальные критерии широко применяются при одновременном или независимом тестировании испытуемого другим тестом, предположительно измеряющим то же качество или свойство личности, что и валидизируемый тест. Коэффициент корреляции между результатами двух измерений называется эмпирической взаимной валидностью. Размер этого коэффициента зависит как от степени совпадения содержания измерений, так и от надежности тестов. Поэтому максимальные коэффициенты эмпирической ва-лидности имеются у параллельных тестов. [c.81]