Вопросы с тегом 'precision'

По вопросам, связанным с числовой точностью в программировании. Для классификации точности используйте тег [Precision-Recall].
23

Ограничение поплавков на две десятичные точки

Я хочу, чтобы a округлялся до 13.95. >>> a 13.949999999999999 >>> round(a, 2) 13.949999999999999 Функция round работает не так, как я ожидал.
18 янв. '09 в 18:16
7

десятичное и двойное! - Кого я должен использовать и когда?

Я продолжаю наблюдать, как люди используют удвоение в С#. Я знаю, что я где-то читал, что удваивается, иногда теряют точность. Мой вопрос в том, когда следует использовать double и когда следует использовать десятичный тип? Какой тип подходит для рас...
22 июл. '09 в 14:37
11

Как напечатать двойное значение с полной точностью с помощью cout?

Итак, я получил ответ на мой последний вопрос (я не знаю, почему я об этом не думал). Я печатал double с помощью cout, который был округлен, когда я этого не ожидал. Как я могу сделать cout распечатать a double с полной точностью?
16 февр. '09 в 18:15
8

JavaScript, отображающий поплавок до 2 знаков после запятой

Я хотел отобразить число до двух знаков после запятой. Я думал, что могу использовать toPrecision(2) в JavaScript. Однако, если число 0.05, я получаю 0.0500. Я бы предпочел, чтобы он остался прежним. Посмотрите на JSbin. Каков наилучший способ ...
02 июл. '10 в 3:21
3

Как интерпретировать точность и масштаб числа в базе данных?

У меня есть следующий столбец, указанный в базе данных: десятичный (5,2) Как это интерпретировать? В соответствии со свойствами столбца, рассмотренными в студии SQL Server Management, я вижу, что это означает: десятичное (числовая точность, числова...
04 мар. '10 в 5:54
36

Неожиданные результаты при работе с очень большими целыми числами на интерпретируемых языках

Я пытаюсь получить сумму 1 + 2 + ... + 1000000000, но я получаю смешные результаты в PHP и Node.js. PHP $sum = 0; for($i = 0; $i <= 1000000000 ; $i++) { $sum += $i; } printf("%s", number_format($sum, 0, "", "")); // 500000000067108992 ...
04 авг. '13 в 18:46
4

Почему конверсия туда и обратно с помощью строки, небезопасной для двойной?

Недавно мне пришлось сериализовать двойной текст, а затем вернуть его. Значение кажется не эквивалентным: double d1 = 0.84551240822557006; string s = d1.ToString("R"); double d2 = double.Parse(s); bool s1 = d1 == d2; // -> s1 is False Но соглас...
19 июн. '14 в 5:58
12

Получить DateTime.Now с точностью до миллисекунды

Как я могу точно построить временную метку фактического времени с точностью миллисекунд? Мне нужно что-то вроде 16.4.2013 9: 48: 00: 123. Это возможно? У меня есть приложение, где я выбираю значения 10 раз в секунду, и мне нужно показать их в график...
16 апр. '13 в 8:41
6

Почему числа с плавающей запятой неточные?

Почему некоторые цифры теряют точность при сохранении чисел с плавающей запятой? Например, десятичное число 9.2 может быть выражено точно как отношение двух десятичных целых чисел (92/10), оба из которых могут быть точно выражены в двоичном (0b1011...
20 февр. '14 в 0:39
10

Является ли математика с плавающей запятой в С#? Может ли так быть?

Нет, это не другое. "Почему вопрос (1/3.0) * 3!= 1". В последнее время я много читал о плавающих очках; в частности, как тот же расчет может дать разные результаты для разных архитектур или параметров оптимизации. Это проблема для видеоигр, в кот...
13 июл. '11 в 17:29
3

Почему добавление 0,1 несколько раз остается без потерь?

Я знаю, что десятичное число 0.1 не может быть представлено точно с конечным двоичным числом (объяснение), поэтому double n = 0.1 потеряет некоторую точность и не будет точно 0.1. С другой стороны, 0.5 можно представить точно, потому что это 0.5 = ...
30 сент. '14 в 11:59
10

Какая разница между операцией с плавающей точкой с двойной точностью и двойной точностью?

В чем разница между операцией с плавающей запятой с одиночной точностью и плавающей операцией с двойной точностью? Меня особенно интересуют практические аспекты относительно игровых консолей. Например, Nintendo 64 имеет 64-битный процессор, и если э...
29 апр. '09 в 6:30
20

Сохранять точность с двойным в Java

public class doublePrecision { public static void main(String[] args) { double total = 0; total += 5.6; total += 5.8; System.out.println(total); } } Вышеприведенный код печатает: 11.399999999999 Как я мог...
27 нояб. '08 в 1:54
7

Разница между toFixed() и toPrecision()?

Я новичок в JavaScript и только что открыл toFixed() и toPrecision() круглые числа. Однако я не могу понять, какая разница между ними. В чем разница между number.toFixed() и number.toPrecision()?
26 июл. '10 в 18:35
11

В каком порядке следует добавлять поплавки, чтобы получить наиболее точный результат?

Это был вопрос, который меня задали в моем недавнем интервью, и я хочу знать (я действительно не помню теорию численного анализа, поэтому, пожалуйста, помогите мне:) Если у нас есть некоторая функция, которая накапливает числа с плавающей запятой: ...
14 июл. '11 в 19:44