Вопросы с тегом 'precision'

По вопросам, связанным с численной точностью в программировании.
19
ответов

Ограничение поплавков на две десятичные точки

Я хочу, чтобы a округлялся до 13.95. >>> a 13.949999999999999 >>> round(a, 2) 13.949999999999999 Функция round работает не так, как я ожидал.
задан 18 янв. '09 в 21:16
7
ответов

десятичное и двойное! - Кого я должен использовать и когда?

Я продолжаю наблюдать, как люди используют удвоение в С#. Я знаю, что я где-то читал, что удваивается, иногда теряют точность. Мой вопрос в том, когда следует использовать double и когда следует использовать десятичный тип? Какой тип подходит для рас...
задан 22 июля '09 в 17:37
10
ответов

Как напечатать двойное значение с полной точностью с помощью cout?

Итак, я получил ответ на мой последний вопрос (я не знаю, почему я об этом не думал). Я печатал double с помощью cout, который был округлен, когда я этого не ожидал. Как я могу сделать cout распечатать a double с полной точностью?
задан 16 февр. '09 в 21:15
3
ответов

Как интерпретировать точность и масштаб числа в базе данных?

У меня есть следующий столбец, указанный в базе данных: десятичный (5,2) Как это интерпретировать? В соответствии со свойствами столбца, рассмотренными в студии SQL Server Management, я вижу, что это означает: десятичное (числовая точность, числова...
задан 04 марта '10 в 8:54
36
ответов

Неожиданные результаты при работе с очень большими целыми числами на интерпретируемых языках

Я пытаюсь получить сумму 1 + 2 + ... + 1000000000, но я получаю смешные результаты в PHP и Node.js. PHP $sum = 0; for($i = 0; $i <= 1000000000 ; $i++) { $sum += $i; } printf("%s", number_format($sum, 0, "", "")); // 500000000067108992 ...
задан 04 авг. '13 в 21:46
4
ответов

Почему конверсия туда и обратно с помощью строки, небезопасной для двойной?

Недавно мне пришлось сериализовать двойной текст, а затем вернуть его. Значение кажется не эквивалентным: double d1 = 0.84551240822557006; string s = d1.ToString("R"); double d2 = double.Parse(s); bool s1 = d1 == d2; // -> s1 is False Но соглас...
задан 19 июня '14 в 8:58
5
ответов

JavaScript, отображающий поплавок до 2 знаков после запятой

Я хотел отобразить число до двух знаков после запятой. Я думал, что могу использовать toPrecision(2) в JavaScript. Однако, если число 0.05, я получаю 0.0500. Я бы предпочел, чтобы он остался прежним. Посмотрите на JSbin. Каков наилучший способ ...
задан 02 июля '10 в 6:21
10
ответов

Является ли математика с плавающей запятой в С#? Может ли так быть?

Нет, это не другое. "Почему вопрос (1/3.0) * 3!= 1". В последнее время я много читал о плавающих очках; в частности, как тот же расчет может дать разные результаты для разных архитектур или параметров оптимизации. Это проблема для видеоигр, в кот...
задан 13 июля '11 в 20:29
3
ответов

Почему добавление 0,1 несколько раз остается без потерь?

Я знаю, что десятичное число 0.1 не может быть представлено точно с конечным двоичным числом (объяснение), поэтому double n = 0.1 потеряет некоторую точность и не будет точно 0.1. С другой стороны, 0.5 можно представить точно, потому что это 0.5 = ...
задан 30 сент. '14 в 14:59
8
ответов

Получить DateTime.Now с точностью до миллисекунды

Как я могу точно построить временную метку фактического времени с точностью миллисекунд? Мне нужно что-то вроде 16.4.2013 9: 48: 00: 123. Это возможно? У меня есть приложение, где я выбираю значения 10 раз в секунду, и мне нужно показать их в график...
задан 16 апр. '13 в 11:41
20
ответов

Сохранять точность с двойным в Java

public class doublePrecision { public static void main(String[] args) { double total = 0; total += 5.6; total += 5.8; System.out.println(total); } } Вышеприведенный код печатает: 11.399999999999 Как я мог...
задан 27 нояб. '08 в 4:54
11
ответов

В каком порядке следует добавлять поплавки, чтобы получить наиболее точный результат?

Это был вопрос, который меня задали в моем недавнем интервью, и я хочу знать (я действительно не помню теорию численного анализа, поэтому, пожалуйста, помогите мне:) Если у нас есть некоторая функция, которая накапливает числа с плавающей запятой: ...
задан 14 июля '11 в 22:44
7
ответов

Какая разница между операцией с плавающей точкой с двойной точностью и двойной точностью?

В чем разница между операцией с плавающей запятой с одиночной точностью и плавающей операцией с двойной точностью? Меня особенно интересуют практические аспекты относительно игровых консолей. Например, Nintendo 64 имеет 64-битный процессор, и если э...
задан 29 апр. '09 в 9:30
6
ответов

Сколько двойных чисел существует между 0.0 и 1.0?

Это то, что было у меня на уме в течение многих лет, но я никогда не тратил время, чтобы спросить раньше. Многие (псевдо) генераторы случайных чисел генерируют случайное число между 0.0 и 1.0. Математически в этом диапазоне есть бесконечные числа, н...
задан 05 июня '10 в 5:51
2
ответов

Почему 199.96 - 0 = 200 в SQL?

У меня есть некоторые клиенты, получающие странные счета. Я смог выделить основную проблему: SELECT 199.96 - (0.0 * FLOOR(CAST(1.0 AS DECIMAL(19, 4)) * CAST(199.96 AS DECIMAL(19, 4)))) -- 200 what the? SELECT 199.96 - (0.0 * FLOOR(1.0 * CAST(199.96 ...
задан 20 июля '18 в 15:32