Поиск Карта сайта Главная страница

           

Добро пожаловать! Поиск | Активные темы | Вход | Регистрация

Обработка выбросов в рыночных данных. Часть 1. Опции · Вид
sovconsult
От: Sunday, November 13, 2022 1:14:05 AM Ссылка на сообщение

Ранг: Кандидат
Группа: Участник

Зарегистрирован: 6/22/2016
Сообщений: 30
Местонахождение: Санкт-Петербург
Лучшей практикой оценки является работа с данными, которые непосредственно наблюдаются на открытых рынках. Это утверждение основано, в частности, на положениях МСФО 13 «Оценка справедливой стоимости», IVS 2022 и RVGS 2022. Одной из проблем рыночных данных является проблема выбросов, т. е. наблюдений, значение какого-либо признака которых значительно отличается от остальных. Данный материал не содержит теории. Он направлен на обработку выбросов с помощью языка Python. Мы будем работать на примере рынка жилой недвижимости в Алматы (Республика Казахстан). В процессе работы над данной темой мы рассмотрим следующие вопросы:

каковы основные способы работы с выбросами?
как обнаружить и обработать выбросы с помощью Python?

В целом мы рассмотрим три простых способа обработки выбросов. Python — это больше язык для бизнеса и профессиональной деятельности, чем для науки. Ряд более сложных методов работы с выбросами будет рассмотрен в отдельном материале, содержащем код на языке R. В данной статье мы ограничимся следующими методами:

подход, основанный на эмпирических соотношениях нормального распределения (The z-score approach);
заграждения Тьюки (или правило близости интерквартильного интервала (IQR));
подход на основе квантилей.

Этот список методов не является исчерпывающим. Однако они помогут покрыть потребности оценщика, который начинает применять методы машинного обучения и математической статистики в своей работе.
Смотреть полностью на сайте: https://github.com/Kirill-Murashev/AI_for_valuers_book/blob/main/Parts-Chapters/Outliers-handling/Outliers.ipynb
В начало
 
Olegovich
От: Monday, November 14, 2022 4:16:00 PM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 11/26/2009
Сообщений: 1,827
Местонахождение: -
sovconsult сообщал(а):
... Одной из проблем рыночных данных является проблема выбросов, т. е. наблюдений, значение какого-либо признака которых значительно отличается от остальных. Данный материал не содержит теории. Он направлен на обработку выбросов с помощью языка Python. ...

а в чем проблема?
тот же Z-параметр и квантиль - граница полосы вероятности вокруг среднего по критерию Шовене легко считается в экселе встроенной функцией... все легко и просто на двух элементарных формулах...
может конечно и не так точно - но просто по элементарным формулам статистики.
.
если считать по Пирсу илу упомянутым другим методам - то там без Питона конечно сложновато...
но нужно ли так заморачиваться? если только во имя науки и теории...
В начало
 
Бурцев И.
От: Monday, November 14, 2022 8:20:12 PM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 9/12/2006
Сообщений: 1,907
Местонахождение: Самара
Olegovich сообщал(а):
может конечно и не так точно - но просто по элементарным формулам статистики.

Кому она сдалась то, точность. Точность понятие относительное, для неё нужны "критерии". Я конечно видел "рыночную стоимость" недвижимости до копеек, но кому она сдалась то ...... Подобные "точности" отображают исключительно непонимание оценщика чем он занимается.

Страна должна знать героев, хотя бы из сказок. "Сказки Оценщика"
В начало
 
Olegovich
От: Tuesday, November 15, 2022 5:36:13 PM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 11/26/2009
Сообщений: 1,827
Местонахождение: -
так вот и я о том же... это не идеально точная наука
на практике выброс видно и "на глаз"... ну а для того чтобы обосновать это " на глаз" - очень заумных расчетов не нужно... все гениальное просто
В начало
 
sovconsult
От: Tuesday, November 15, 2022 5:39:03 PM Ссылка на сообщение

Ранг: Кандидат
Группа: Участник

Зарегистрирован: 6/22/2016
Сообщений: 30
Местонахождение: Санкт-Петербург
Olegovich сообщал(а):
sovconsult сообщал(а):
... Одной из проблем рыночных данных является проблема выбросов, т. е. наблюдений, значение какого-либо признака которых значительно отличается от остальных. Данный материал не содержит теории. Он направлен на обработку выбросов с помощью языка Python. ...

а в чем проблема?
тот же Z-параметр и квантиль - граница полосы вероятности вокруг среднего по критерию Шовене легко считается в экселе встроенной функцией... все легко и просто на двух элементарных формулах...
может конечно и не так точно - но просто по элементарным формулам статистики.
.
если считать по Пирсу илу упомянутым другим методам - то там без Питона конечно сложновато...
но нужно ли так заморачиваться? если только во имя науки и теории...


Многое зависит от распределения данных. При неизвестном либо сильно ассиметричном распределении расчёты "от среднего" дают сдвиг.
Критерий Шовене тоже предполагает нормальность распределения. Плюс завязан на "критические значения", что не так удобно с точки зрения
автоматизации.
Да, конечно, можно реализовать и в электронной таблице. Я сделаю на днях. Но это всё-таки не так удобно, на мой взгляд. Передать нудную работу лучше алгоритму.
В начало
 
sovconsult
От: Tuesday, November 15, 2022 5:43:29 PM Ссылка на сообщение

Ранг: Кандидат
Группа: Участник

Зарегистрирован: 6/22/2016
Сообщений: 30
Местонахождение: Санкт-Петербург
Бурцев И. сообщал(а):
Olegovich сообщал(а):
может конечно и не так точно - но просто по элементарным формулам статистики.

Кому она сдалась то, точность. Точность понятие относительное, для неё нужны "критерии". Я конечно видел "рыночную стоимость" недвижимости до копеек, но кому она сдалась то ...... Подобные "точности" отображают исключительно непонимание оценщика чем он занимается.


Оценщик определяет наиболее вероятную стоимость. То есть её вероятностный смысл предполагается по определению. Точность, кстати, может быть вычислена достаточно строго. Например, путём расчёта MDE (Minimum detectable effect). Да, копейки, указывать необязательно. Но просто "округлить" на пару миллионов — тоже плохое решение.
В начало
 
sovconsult
От: Tuesday, November 15, 2022 5:44:55 PM Ссылка на сообщение

Ранг: Кандидат
Группа: Участник

Зарегистрирован: 6/22/2016
Сообщений: 30
Местонахождение: Санкт-Петербург
Olegovich сообщал(а):
так вот и я о том же... это не идеально точная наука
на практике выброс видно и "на глаз"... ну а для того чтобы обосновать это " на глаз" - очень заумных расчетов не нужно... все гениальное просто

Только "на глаз" у всех свой. На мой взгляд, применение количественных критериев как минимум повышает уровень дискуссии о стоимости, если она всё-таки возникнет.
В начало
 
Olegovich
От: Tuesday, November 15, 2022 6:02:27 PM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 11/26/2009
Сообщений: 1,827
Местонахождение: -
многое зависит от того сегмента рынка, который мы анализируем...
но что-то мне кажется что в общем случае по ряду сегментов (за квартиры говорить не буду - там не уверен, а по остальным - вполне) сделки проходят по объектам, цены по которым не являются средними ибо благоразумный покупатель не будет приобретать объект на рынке по заявленной цене, если он может приобрести аналогичный по качествам объект дешевле.
а при неравномерном распределении, которое может уводить в противоположную сторону, результат определения таких "выбросов" может еще больше ввести в заблуждение. ну и само собой работать это может только на очень активном рынке (на вскидку - квартиры), на прочих сегментах - вряд ли.
т.е. для развития теории - это может и правильно, но на практике не имеет смысла...
я в свое время занимался исследованиями методов оценки точности неизвестных при геодезических измерениях... так вот там, например, бывают случаи когда ошибка измерений, которую в целом принято считать как СКО, таковой не является и область ошибок представляет собой не окружность, а эллипс.. и в ряде случаев это критический показатель (например при линейных измерениях.. когда тянут трассу ЛЭП, строят тоннель или протяженный мост.. видели наверно случаи, когда начинают строительство с двух сторон, и все вроде бы правильно делают, а при "стыковке" расходятся на метры... вот там это очень важно). но важный показатель только в отдельных случаях.. а в прочих остальных, с теми с которыми сталкиваются повседневно, - эти сложности нафиг не нужны...
вот и здесь тоже самое. можно заморочиться - но нужно ли? если Вы это делаете для обычной практики - сомневаюсь, если для какой-нибудь автоматизированной системы искусственного интеллекта, которая может потом подменить оценщиков, или диссер пишете - вполне годная тема.
В начало
 
Olegovich
От: Tuesday, November 15, 2022 6:10:25 PM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 11/26/2009
Сообщений: 1,827
Местонахождение: -
sovconsult сообщал(а):
Olegovich сообщал(а):
так вот и я о том же... это не идеально точная наука
на практике выброс видно и "на глаз"... ну а для того чтобы обосновать это " на глаз" - очень заумных расчетов не нужно... все гениальное просто

Только "на глаз" у всех свой. На мой взгляд, применение количественных критериев как минимум повышает уровень дискуссии о стоимости, если она всё-таки возникнет.

полностью согласен!!! никак это не опровергаю- и сам именно это и имел ввиду! я б даже уточнил, что не повышает дискуссию, а наоборот - снимает ее как весомый аргумент.
но это я к тому, что чтобы доказать, что 2+2=4 Вам не нужно приобретать супер компьютер, а достаточно просто калькулятора.
.
и еще добавлю.
я вообще не сторонник определять выбросы в выборке цен предложений... потому как эти самые выбросы могут быть следствием отличных значений ценообразующих факторов, которые устраняются в процессе расчета и введения корректировок. я сторонник проводить такой анализ по скорректированным ценам... это конечно мое ИМХО и момент дискуссионный.
В начало
 
sovconsult
От: Tuesday, November 15, 2022 6:25:07 PM Ссылка на сообщение

Ранг: Кандидат
Группа: Участник

Зарегистрирован: 6/22/2016
Сообщений: 30
Местонахождение: Санкт-Петербург
Olegovich сообщал(а):
многое зависит от того сегмента рынка, который мы анализируем...
но что-то мне кажется что в общем случае по ряду сегментов (за квартиры говорить не буду - там не уверен, а по остальным - вполне) сделки проходят по объектам, цены по которым не являются средними ибо благоразумный покупатель не будет приобретать объект на рынке по заявленной цене, если он может приобрести аналогичный по качествам объект дешевле.
а при неравномерном распределении, которое может уводить в противоположную сторону, результат определения таких "выбросов" может еще больше ввести в заблуждение. ну и само собой работать это может только на очень активном рынке (на вскидку - квартиры), на прочих сегментах - вряд ли.
т.е. для развития теории - это может и правильно, но на практике не имеет смысла...
я в свое время занимался исследованиями методов оценки точности неизвестных при геодезических измерениях... так вот там, например, бывают случаи когда ошибка измерений, которую в целом принято считать как СКО, таковой не является и область ошибок представляет собой не окружность, а эллипс.. и в ряде случаев это критический показатель (например при линейных измерениях.. когда тянут трассу ЛЭП, строят тоннель или протяженный мост.. видели наверно случаи, когда начинают строительство с двух сторон, и все вроде бы правильно делают, а при "стыковке" расходятся на метры... вот там это очень важно). но важный показатель только в отдельных случаях.. а в прочих остальных, с теми с которыми сталкиваются повседневно, - эти сложности нафиг не нужны...
вот и здесь тоже самое. можно заморочиться - но нужно ли? если Вы это делаете для обычной практики - сомневаюсь, если для какой-нибудь автоматизированной системы искусственного интеллекта, которая может потом подменить оценщиков, или диссер пишете - вполне годная тема.


Да, это именно аспекты разработки автоматизированной системы оценки. Какие-то части выкладываю заранее в общий доступ. Для анализа рынка либо построения регрессионных моделей это применимо и в отдельности. Ещё на МКОД-2021 большинство участников от банков объявили об отказе от оценщиков как таковых на горизонте нескольких лет. Сейчас конечно очень нестабильное и неопределённое время, то тренд ясен. Алгоритмы заменят оценщиков в существенной части.
В начало
 
Olegovich
От: Tuesday, November 15, 2022 7:47:36 PM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 11/26/2009
Сообщений: 1,827
Местонахождение: -
Могу порекомендовать повзаимодействовать с разработчиками СПО для ГКО. вот там эта тема будет очень интересна...
на этом форуме мне кажется Вы вряд ли найдете интересующихся такими разработками
В начало
 
sovconsult
От: Wednesday, November 16, 2022 12:23:44 PM Ссылка на сообщение

Ранг: Кандидат
Группа: Участник

Зарегистрирован: 6/22/2016
Сообщений: 30
Местонахождение: Санкт-Петербург
Olegovich сообщал(а):
Могу порекомендовать повзаимодействовать с разработчиками СПО для ГКО. вот там эта тема будет очень интересна...
на этом форуме мне кажется Вы вряд ли найдете интересующихся такими разработками


Да я не гонюсь за славой. Пусть пока лежит везде. Кому-то возможно будет интересно. Основные заказчики разработок банки и страховые. А собственно оценщики могут просто почитать и найти что-то полезное для себя.
В начало
 
sovconsult
От: Monday, November 28, 2022 11:35:09 PM Ссылка на сообщение

Ранг: Кандидат
Группа: Участник

Зарегистрирован: 6/22/2016
Сообщений: 30
Местонахождение: Санкт-Петербург
I've developed the spreadsheet for outliers detecting and handling when working with open market data. Today, the three approaches were implemented: the z-score approach, Tukey's fences approach, quantile-based approach. Processing of the data was performed by the way of winsorization.

Разработал электронную таблицу для обнаружения и обработки выбросов в рыночных данных. Реализовал три подхода, обработка выявленных выбросов была выполнена методом винсоризации.

В начало
 
Пользователей, просматривающих тему
Guest

Перейти
Вы не можете создавать новые темы в этом форуме.
Вы не можете отвечать в этом форуме.
Вы не можете удалять Ваши сообщения в этом форуме.
Вы не можете редактировать Ваши сообщения в этом форуме.
Вы не можете создавать опросы в этом форуме.
Вы не можете голосовать в этом форуме.
 

Разработка и дизайн сайта
«ИнфоДизайн» © 2005