Вопросы с тегом 'floating-accuracy'

О точности операций, выполняемых с номерами с плавающей запятой.
35
ответов

Сбита ли математика с плавающей запятой?

Рассмотрим следующий код: 0.1 + 0.2 == 0.3 -> false 0.1 + 0.2 -> 0.30000000000000004 Почему происходят эти неточности?
задан 26 февр. '09 в 0:39
9
ответов

Насколько опасно сравнивать значения с плавающей запятой?

Я знаю, что UIKit использует CGFloat из-за независимой от разрешения системы координат. Но каждый раз, когда я хочу проверить, есть ли frame.origin.x 0, это заставляет меня чувствовать себя больным: if (theView.frame.origin.x == 0) { // do im...
задан 26 апр. '12 в 16:41
3
ответов

Почему эти цифры не равны?

Следующий код явно ошибочен. В чем проблема? i <- 0.1 i <- i + 0.05 i ## [1] 0.15 if(i==0.15) cat("i equals 0.15") else cat("i does not equal 0.15") ## i does not equal 0.15
задан 01 марта '12 в 2:46
21
ответ

Что не так с использованием == для сравнения float в Java?

Согласно эта страница java.sun == - оператор сравнения равенств для чисел с плавающей запятой в Java. Однако, когда я набираю этот код: if(sectionID == currentSectionID) в мой редактор и запустить статический анализ, я получаю: "JAVA0078 значения...
задан 06 июля '09 в 20:28
12
ответов

Можно ли получить 0 путем вычитания двух неравных чисел с плавающей запятой?

Можно ли получить деление на 0 (или бесконечность) в следующем примере? public double calculation(double a, double b) { if (a == b) { return 0; } else { return 2 / (a - b); } } В обычных случаях это,...
задан 12 февр. '15 в 12:55
4
ответов

Какой ближайший двойной к 1.0, то есть 1.0?

Есть ли способ программно получить двойной, который ближе всего к 1.0, но на самом деле не 1.0? Один взломанный способ сделать это - это memcpy double с целым числом одного и того же размера, а затем вычесть его. То, как работают форматы с плавающей...
задан 06 авг. '16 в 10:52
3
ответов

Почему 0.1 + 0.2 == 0.3 в D?

assert(0.1 + 0.2 != 0.3); // shall be true - моя любимая проверка того, что язык использует собственную арифметику с плавающей запятой. С++ #include <cstdio> int main() { printf("%d\n", (0.1 + 0.2 != 0.3)); return 0; } Вывод: 1 ...
задан 29 июля '11 в 17:03
9
ответов

PHP - плавающая точность чисел

$a = '35'; $b = '-34.99'; echo ($a + $b); Результаты в 0,009999999999998 Что с этим связано? Я задавался вопросом, почему моя программа продолжала сообщать о нечетных результатах. Почему PHP не возвращает ожидаемый 0.01?
задан 16 сент. '10 в 15:39
5
ответов

(.1f +.2f ==. 3f)!= (.1f +.2f).Equals(.3f) Почему?

Мой вопрос не о плавающей точности. Речь идет о том, почему Equals() отличается от ==. Я понимаю, почему .1f + .2f == .3f есть false (while .1m + .2m == .3m is true). Я получаю, что == является ссылкой и .Equals() является сопоставлением значен...
задан 27 февр. '13 в 19:21
5
ответов

Обработка точности float в Javascript

У меня есть большое количество числовых значений y в javascript. Я хочу сгруппировать их, округляя их до ближайшего кратного x и преобразуя результат в строку. Как мне обойти раздражающую точность с плавающей запятой? Например: 0.2 + 0.4 = 0.6000...
задан 28 июля '12 в 0:03
4
ответов

Неточность десятичного в .NET.

Вчера во время отладки со мной произошло что-то странное, и я не могу это объяснить: Так что, возможно, я не вижу здесь очевидного, или я неправильно понял что-то о десятичном значении в .NET, но не должен ли результат быть тем же самым?
задан 25 авг. '15 в 10:34
20
ответов

Усечение (не округление) десятичных чисел в javascript

Я пытаюсь усечь десятичные числа до десятичных знаков. Что-то вроде этого: 5.467 -> 5.46 985.943 -> 985.94 toFixed(2) делает почти правильную вещь, но это округляет ценность. Мне не нужно, чтобы значение округлялось. Надеюсь, это возмож...
задан 06 февр. '11 в 13:42
2
ответов

Каково стандартное решение JavaScript для обработки больших чисел (BigNum)?

Есть ли библиотека bignum для JavaScript или встроенная программа, которую я могу включить, например, <script type="text/javascript" src="the_bignum_library.js"></script> ? Я думаю, что мои пользователи предпочтут вводить числа на веб...
задан 18 июня '10 в 21:47
5
ответов

отрицательный ноль в python

[Python 3.1] Я столкнулся с отрицательным нолем в выводе из python; он создается, например, следующим образом: k = 0.0 print(-k) Выход будет -0.0. Однако, когда я сравниваю -k с 0.0 для равенства, он дает True. Есть ли разница между 0.0 и -0...
задан 03 нояб. '10 в 3:57
6
ответов

Большие числа ошибочно округлены в Javascript

Смотрите этот код: <html> <head> <script src="http://www.json.org/json2.js" type="text/javascript"></script> <script type="text/javascript"> var jsonString = '{"id":714341252076979033,"type":"FUZZY"}'; var js...
задан 04 сент. '09 в 18:24