|
Слуцкий
|
|
Ранг: Член сообщества Группа: Регистрация на форуме
Зарегистрирован: 6/20/2013 Сообщений: 4,457 Местонахождение: Резиноподобная
|
Интересное открытие совершил. В ФСО7 у нас имеет метод регрессионного анализа (РА). Но в ФСО7 у нас не имеется методов корреляционного анализа (КА) и корреляционно-регрессионного анализа (КРА). КА и РА - разные вещи если кто не в курсе, как я был. И КА лишний, как утверждается. Соответственно, корреляции не требуется? Достаточно только уравнения регрессии? Собственно и ошибка аппроксимации ниачём, если про интервал неопределённости никто не спрашивает - это я уже от себя, ну большая она и пусть, коли альтернативную модель не предъявили, жисть такая. На кой там коэффициенты корреляции и пр. эрквадраты со своей значимостью. Вообще к делу не относятся. Даже вместе с коэффициентом Спирмена. Аж обидно стало... Или я не прав?
|
|
NB
|
|
Ранг: Член сообщества Группа: Участник
Зарегистрирован: 1/9/2009 Сообщений: 2,010 Местонахождение: Санкт Петербург
|
"О сколько нам открытий чудных ...." Не только в ФСО7, но и в Мат.энциклопедии, нет КРА, но есть РА. Меня терзают смутные сомнения (с) - не зря весь этот заговор Подсказка: корреляция - мера линейной связи. А РА не исчерпывается линейными моделями.
|
|
Слуцкий
|
|
Ранг: Член сообщества Группа: Регистрация на форуме
Зарегистрирован: 6/20/2013 Сообщений: 4,457 Местонахождение: Резиноподобная
|
Во-во. Неспроста это. Для РА же корреляция не требуется. Ох неспроста... В то время как ум разрывается между параметрическими и непараметрическими обоснованиями наличия значимой корреляции, оказывается, что ни первое, ни второе не нужно. Достаточно уравнения регрессии с приемлемой ошибкой и фсё. "Но мы этому не даём!". Только КРА!
|
|
Марат Уфа
|
|
Ранг: Член сообщества Группа: Участник
Зарегистрирован: 9/27/2007 Сообщений: 109 Местонахождение: Уфа
|
Ну их эти ФСО..... :) Чисто практические наблюдения. 1.В однофакторных зависимостях проверка корреляции чаще всего не имеет смысла: можно сразу строить диаграмму и выбрать функцию с наибольшим R2. Если R2 устраивает, то и корреляция устроит - чего ее проверять. Хотя иногда тоже бывает..... Точки так разбросаны, что ни одна кривая их описать не может. Но в целом направлены в соответствии с нашей предварительной гипотезой. И тогда к-т корреляции более-менее разумный (например 0,6) с правильным знаком, а R2 по всем функциям меньше 0,4. То есть совсем никуда.... 2.В многофакторных моделях частная корреляция всегда не оч высокая. Очевидно, что если на цену влияют 5-7 факторов, ни один не может коррелировать на 100%. При этом не все факторы с достаточно высокой частной корреляцией значимы в моделях. По самым разным причинам. А факторы с низкой частной корреляцией (или даже с неправильным знаком к-та корреляции) могут оказаться значимыми и с правильным знаком. Но лично я все равно всегда предварительно корреляцию смотрю, т.к.: 2.1.Привычка..... 2.2.Корреляционную матрицу построить хоть по 50 факторам 10 сек. Чего уж там.... :). 2.3.Проверяющим можно показать матрицу.... 2.4.Хотя в моделях из раза в раз значимыми оказываются одни и те же факторы (а как иначе?), построение моделей начинаю с самых - самых. Строю матрицу и условно ранжирую все факторы по степени корреляции: более 0,5; менее 0,5 но с правильным знаком; с неправильным знаком. 2.5.Все качественные факторы, выраженные в баллах (например техсостояние или удаленность от кр линии), до построения моделей оптимизирую поиском решения из исходных: 1, 2, 3, - в дающие более высокую частную корреляцию. Это реальные временные затраты (полчаса не меньше), т.к. потом уже всю итоговую модель оптимизирую. Но на мой взгляд это позволяет более корректно отбирать итоговую модель (модели). 3.Мой вывод почти по Э.Рязанову: проверка частной корреляции не нужна, но она нужна...... :)
|
|
Слуцкий
|
|
Ранг: Член сообщества Группа: Регистрация на форуме
Зарегистрирован: 6/20/2013 Сообщений: 4,457 Местонахождение: Резиноподобная
|
Марат Уфа сообщал(а):Ну их эти ФСО..... :) Чисто практические наблюдения. 1.В однофакторных зависимостях проверка корреляции чаще всего не имеет смысла: можно сразу строить диаграмму и выбрать функцию с наибольшим R2. Если R2 устраивает, то и корреляция устроит - чего ее проверять. Хотя иногда тоже бывает..... Точки так разбросаны, что ни одна кривая их описать не может. Но в целом направлены в соответствии с нашей предварительной гипотезой. И тогда к-т корреляции более-менее разумный (например 0,6) с правильным знаком, а R2 по всем функциям меньше 0,4. То есть совсем никуда....
Вот меня интересует исключительно однофакторная модель - ОММВ до товарного вида доводим. Ну и там далее есть идея распространения на МКК - в конце концов всегда МКК можно к однофакторной модели цена - площадь свести перед корректировкой на торг. И вот я не согласен, как бы Н.П. меня в "школярстве" не обвинял. 1. Эрквадрат Вы явно считаете непараметрическим. А мне он больше в параметрическом виде нравится в соотношении с проверкой его значимости по Фишеру. И не "простой" эрквадрат, а скорректированный. Т.е. я к тому, что стат. значимость даже однофакторной модели изначально не гарантирована. 2. Подбор модели под максимум эрквадрат? Такого понаподбирают немонотонно - полиномиального... Хоть убегай. Ещё и в журнале опубликуют. Поэтому (не утверждаю, но считаю) при наличии стат.значимости можно отбирать более выгодную, т.е. понятную модель - линейную. В итоге. Применительно к ОММВ щетаю КА нужным именно в части показа статзначимости модели.
|
|
Марат Уфа
|
|
Ранг: Член сообщества Группа: Участник
Зарегистрирован: 9/27/2007 Сообщений: 109 Местонахождение: Уфа
|
1.Если однофакторная, то я особо не заморачиваюсь.. Беру фактор, строю диаграмму, смотрю логику, беру максим к-т аппроксимации. Просто, наглядно.... Если фишера смотреть...... В однофакторной, скорее всего, при высоком R2, все остальные параметры тоже будут в норме. Я несколько раз линейную модель проверял ч/з функции "Регрессия" и "линейн". Если R2 был высокий на диаграмме, Фишер и Стьюдент, оказывались соответствующими. 2.В многофакторной модели чаще может быть R2 более-менее, а статистика не очень...... Особенно, по конкретным факторам. Вот вчера только по селам НДЖ РБ строил. Sзу/Sокс в одной модели сразу R2, ошибку и Фишера улучшил. Стьюдент по нему тоже меньше 0,05. Но, зараза такая - знак неправильный....... :) :) :)
|
|
Марат Уфа
|
|
Ранг: Член сообщества Группа: Участник
Зарегистрирован: 9/27/2007 Сообщений: 109 Местонахождение: Уфа
|
По поводу КА. Никто не требует его делать. Но вреда тоже не будет...... Времени корреляция мало требует. Если только не на лог линейке считать...... :) свое мнение про КА я утром написал.....
|
|
Слуцкий
|
|
Ранг: Член сообщества Группа: Регистрация на форуме
Зарегистрирован: 6/20/2013 Сообщений: 4,457 Местонахождение: Резиноподобная
|
Марат Уфа сообщал(а):Если фишера смотреть...... В однофакторной, скорее всего, при высоком R2, все остальные параметры тоже будут в норме. :) Да в том то и дело, что формально "хороший" или "не очень хороший" эрквадрат может быть незначим при недостаточном числе аналогов, когда их мало. А уж если предварительно покорректировали данные по МКК, то вот вам нате - результат не значим. Конечно можно напирать, что КА не обязателен по ФСО, но факта незначимости результата это не отменяет. А может всё же от КА польза? В самом деле, много времени он не займёт. Это я к тому, что нефик против результата, полученного на 30 аналогах ставить результат, полученный на трёх и даже пяти. Ну и далее - не значимый результат с малой ошибкой - это как и куда? А значимый, но с большой ошибкой?
|
|
Марат Уфа
|
|
Ранг: Член сообщества Группа: Участник
Зарегистрирован: 9/27/2007 Сообщений: 109 Местонахождение: Уфа
|
1.Незначимый с малой ошибкой - не видел. Это что за зверь такой?. 2.Мое понимание - незначимый. 2.1.Плохая статистика: R2. Фишер, Стьюдент, коэффициенты при факторах неправильные. До кучи - Стандартная ошибка (ниже напишу). Тут чего обсуждать - если плохо - значит незначимый. Варианты плохо уже писал. 2.2.Статистика норм, но результаты дает кривые. Еще не сталкивался. Перевожу: есть ( к примеру) 4 модели для некоего сегмента рынка. Все они дают результат +/- то, что я себе представляю. Естественно для нормальных, а не уникальных объектов. Полуразрушенный скад площадью 20000 кв. в далеком селе скорее всего даст отрицательный результат. Это же не "дефект" модели, а просто объект такой. Который на самом деле "нафиг" никому не нужен..... То есть этот вариант говорит о недостаточности выборки - не охватывает весь сегмент рынка, который хотите считать. И объект оценки выходит за границы выборки. Или просто ошибка в чем-то..... 2.3.Стандартная ошибка. 2.3.1.При плохой статистике в целом, маленьких ошибок не встречал.... Не знаю, что сказать .... 2.3.2.При нормальной статистике ошибки хорошо видны (и несложно сделать) если в функции "регрессия" посмотреть остатки. На небольших выборках иногда убрав 1-несколько самых "плохих" можно всю статистику сильно улучшить. Но чаще всего этим можно заниматься до бесконечности. То есть, до до последней пары объектов.....И весь смысл регрессионного анализа тогда пропадает. Большая часть объектов на больших выборках имеет вполне разумные остатки. А небольшая часть, увеличивающая ошибку по модели, как правило, может быть объяснена. 2.3.3.В общем я для себя определил: если стандартная ошибка не превышает 1/3 от средней цены по сегменту, - значит терпимо..... Как правило, это совпадает с нормальной статистикой и логикой.
|
|
Слуцкий
|
|
Ранг: Член сообщества Группа: Регистрация на форуме
Зарегистрирован: 6/20/2013 Сообщений: 4,457 Местонахождение: Резиноподобная
|
http://tmpo.su/sluckij-a-a-sluckaya-i-a-mmv-i-ommv-primenenie-dlya-analiza-rynka-2/ Тут пример малой ошибки при плохой статистике - альтернативный ММВ, нижний сегмент. В пределе - полное отсутствие корреляции может дать нулевую ошибку. Большие ошибки при хорошей статистике - не редкость. Ну как большие … более 15%, например, средняя. Но, судя по всему, надо не среднюю смотреть, а максимальную. А из неё вычитать оценку максимального субъективного разброса из эпохальной работы Баринова. Есть мнение , что средняя ошибка в оценке мало о чём. Нет, конечно, о чём, но может и ни о чём совсем. Например. Макс. ошибка 30%, а макс. оценка субъективного разброса 18%. А в итоге 12% уже - не айс, но норм.
|
|
Guest |